kali上安装pip3:
apt-get install python3-pip
使用pip安装bs4模块:
pip3 install beautifulsoup4
创建soup对象方式1:
#获取网页 res=requests.get('http://www.makedangdang.com') #创建soup对象 res_bs=bs4.BeautifulSoup(res.text,'html.parser')
创建soup对象方式2:
#打开本地文件 loacl_file=open('hello.html') #创建soup对象 res_bs=bs4.BeautifulSoup(local_file)
demo1,抓取高能的新闻标题,并保存到一个文本中
import requests,os,bs4 a=[] #定义一个函数pkq,用于将制定页码的新闻标题放到一个数组中 def pkq(page_id): gn_res=requests.get('http://www.gaoneng.com/news.php?page='+str(page_id)+'&cid=') try: gn_res.raise_for_status() except Exception as wr: print('wrong: %s'%(wr)) gn_bs4=bs4.BeautifulSoup(gn_res.text,'html.parser') gn_title=gn_bs4.select('td a') x=len(gn_title) for i in range(x): a.append(gn_title[i].getText()) return(a) #循环页码,最大有13页,将结果追加到数组中 i=1 while i<=13: c=[] c=pkq(i)+c i=i+1 #把数组循环输出到文件 gngn=open('title.txt','a+') for q in range(len(c)): gngn.write(c[q]+'\n') gngn.close()
成功生成文件title.txt
俄罗斯联邦电力部门考察通讯
长园高能参加北京EP展
长园高能参加长园集团第六届羽毛球联赛
长园高能被评为“广东省守合同重信用企业”
ABB优秀供应商
携手电力，开疆拓土
2016捷报频传，直流特高压喜迎开门红
长园高能三月丽人行
2016，开工大吉
长园高能举行2016年迎春晚宴
长园高能参加长园集团2015年度乒乓球赛
长园高能参加上海国际电力设备及技术展览会
长园高能“±1100kV直流复合绝缘子系列产品”通过技术鉴定
长园高能志愿者完成首次志愿服务活动
长园高能参与长园集团第五届羽毛球联赛
中标喜讯 ---市场部国网大区再传捷报
“羽”动青春-----记长园高能2015年度羽毛球赛
长园高能电气股份有限公司“三大体协”正式成立
扬帆出海会有时，谋划海外发展新格局
长园高能参加南非电力展
“真情送温暖 爱心铸和谐”--- 市总工会送温暖活动深受员工好评
同心协力 共度难关
高能大事记
互助互爱 彰显高能人精神
热烈祝贺我公司党支部正式成立!
《唐山大地震》观后感集锦
苦难与幸福
珍惜
珍惜生命，关爱他人——《唐山大地震》观后感
巾帼不让须眉：女子投篮赛二十球七中
团结就是力量：拔河比赛成功举行 炼胶班第一
支撑美好 尽显霸气
女子跳绳比赛顺利举行 拉开公司年度运动会序幕
浪淘沙
満江红
习习心雨，馨人心田
我能为你做什么
我对高能企业文化的认识
微笑服务，快乐你我!
凉凉的夏天
给心灵放假，迎接新挑战
付出与回报
带薪休假 我之享用与畅想
2009年7月在国家电网公司第4批集中招投标±500kV三沪直流Ⅱ回输电线路工程的投标
抢险复电，心系灾区
长园高能电气股份有限公司更名通知
中标喜讯
海外拓展再传捷报，印度市场喜获2500万元大单
印度市场签订千万大单 外贸部喜迎开门红
高能斩获大单 岁首初战告捷
顽强拼搏 反败为胜
捷报：我公司成功中标南网糯扎渡±800KV工程
捷报：国网2011年第五批集中采购招标，我公司第一
高能公司±800kV直流复合绝缘子获第十二届中国专利优秀奖
篮球K歌精彩纷呈 人气比赛结果出炉
我公司收获“招商银行—长园集团乒乓球联赛”季军
高能文化节火热举行
我公司进行ISO内审员培训
我公司成功获批组建“广东省工程技术研究开发中心”
我公司通过ISO19001、ISO14001、OSH28001认证
我公司勇夺长园集团第七届篮球联赛亚军
我公司荣获“东莞市2010年度专利金奖
省科技厅副厅长张明、省科技厅巡视员刘庆茂等领导莅临我公司
东莞高能2011年迎春晚宴圆满举行
高能奖学金第一批成功发放 清华学子送来感谢信
祝贺我公司杜道明同志荣获“优秀新莞人”称号
我公司支持茂名抗洪复电建设 获赠锦旗表彰
高能•清华大学深圳研究生院研究生实践基地正式成立
强强联袂 科技盛宴
开门红 我公司轻松赢得第一届“民科杯”篮球赛首场胜利
民科杯”男子篮球赛 我公司再下一城
捷报：国网2010年第五批集中采购招标，我公司勇夺第一
我公司成功举办“迎中秋 庆国庆”系列活动
我公司荣获2009年度东城区科学技术奖
发展不忘责任 扶贫济困日高能捐20万
我公司成功通过省特高压复合绝缘子工程技术研究开发中心可行性论证
我公司顺利通过方圆ISO 9000：08版质量管理体系年审
北京大学汇丰商学院CEO班来我公司参观调研
捷报：我公司成功中标国网2010第二批项目集中规模招标
省科技厅、市科技局领导莅临我公司指导工作
中国电力科学研究院专家莅临我公司监造
广东省证监局、东莞市金融办领导莅临我公司指导上市工作
我公司成功中标国网2010第一批项目集中规模招标
贺我公司生产力再上新台阶
佛山汇源通企业管理有限公司莅临参观我公司
热烈庆祝我公司胜利通过东莞市特高压电气重点实验室论证
好事连连，再传捷报
逆势上扬，喜传捷报
广东电网公司电科院莅临我公司指导工作
亲切的关怀，殷切的期望
“把握美好机会，成就精彩人生”
我公司隆重举行庆祝建国60周年“祖国在我心中”赛歌会
捷报：我公司中标省电力局500kV输电线路第二捆绑招标工程
祝贺东莞市高能电气股份有限公司荣获两项2009年度东莞市科学技术奖
热烈祝贺东莞市高能电气股份有限公司连续九年获得（市级）重合同守信用单位
高能公司召开庆“八•一”退伍军人座谈会
高能公司举办2009年第三期新员工培训
生产部“快乐大本营”举办的快乐杯篮球联赛于2009年7月21日圆满拉下序幕
我公司顺利通过韩国电力公司对公司管理系统的评估
生产部“快乐大本营”成功举办拔河比赛
热烈祝贺高能公司向上线首批特高压复合绝缘子完成生产，顺利启运！
国家电网公司专家莅临高能公司对向上线特高压复合绝缘子进行现场监造
热烈祝贺国家电网公司向家坝—上海±800kV特高压复合绝缘子正式投产
公司顺利通过2009年度ISO9001质量管理体系监督审核
2008年6月20日ISO9001方圆认证中心专家对我公司进行了为期一天的认证评审工作
公司特别召开南方电网公司云广±800kV直流复合绝缘子投产动员大会
国家电网公司领导专家莅临我公司指导工作
2008年5月28日虎门沙角电厂一行领导莅临我公司新厂区参观指导
广东省统计局、东莞市统计局相关领导专家莅临公司
08年3月26日讯：南方电网公司超高压输电公司抗冰抢险答谢会
质量技术监督局领导莅临公司指导工作！
省标准化企业研究院专家莅临公司指导工作。
★★冰雪无情人有情，抗灾保电齐响应★★
喜报!我公司再创佳绩!
再传捷报！
特大喜讯！
东莞市人大、科技局领导考察高能公司
热烈庆祝我公司在国网集中招标中又中大标！
07年2月15日讯：热烈庆祝我公司荣获“东莞市50强民营企业”荣誉称号！
热烈庆祝我公司荣获“国家免检”产品荣誉称号！
国务院副总理曾培炎等领导一行莅临公司视察!
我公司±800kV直流、1000kV交流棒形悬式复合绝缘子鉴定胜利召开。