基于python的统计公报关键数据爬取

时间:2024-09-15 19:03:32
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 8 14:23:14 2017 @author: 123
""" import requests
'''from bs4 import BeautifulSoup
import traceback'''
import re
import urllib
import random '''用于获取HTML源代码'''
def getHTMLText(url):
try:
r = requests.get(url , timeout = 30) r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "ERROR!" '''通过去除标签获取HTML源代码中的正文信息'''
def getRealText(html):
dre = re.compile(r'<[^>]+>',re.S)
real_Text = dre.sub('',html)
'''print(real_Text)'''
return real_Text def write_into(real_Title,real_Text):
f = open(real_Title,'w')
f.write(real_Text)
f.close() def test(real_Text):
GDP = re.findall(".*地区生产总值(.*?)亿元.*",real_Text)
for x in GDP:
print(x)
'''通过正则表达式匹配出地区生产总值和亿元之间的数字,即excel表格中的数值''' get = re.findall(".*地方公共财政预算收入(.*?)亿元.*",real_Text)
for x in get:
print(x) def main():
url = "http://xxgk.xiaogan.gov.cn/xxgk/jcms_files/jcms1/web30/site/art/2017/4/1/art_5130_17454.html"
html = getHTMLText(url)
Title = re.search('<title>.*</title>',html)
'''获取html的title信息,即excel表格中的数据来源'''
real_Title = Title.group().strip("</title>") real_Text = getRealText(html)
write_into(real_Title,real_Text) test(real_Text)
main()

能够实现基于给出的网页连接爬取html后 进行正文内容的提取(测试网页反应情况良好)

基于python的统计公报关键数据爬取

通过正则表达式匹配左右给定的字符串,可以获取对应的数字。

基于python的统计公报关键数据爬取

通过设定左右字符串分别为”地区生产总值“和”亿元“,可以爬取出地区生产总值为1576.69

目前存在的问题:

1. 设想通过excel直接生成搜索关键词,并自动进行百度搜索 获取带有gov后缀的网站链接进行自动爬取,但是现在发现,通过百度爬取的网站链接被百度加密,没有很好可用的方法进行加密链接破解。

2.在本样例中不能准确的爬取出地方公共财政预算收入,因为正文包括 全市地方公共财政预算收入和市本级地方公共财政预算收入,正则不能很好的区分两者的区别,根据贪婪原则,本次测试爬取了较后的市本级一般公共预算收入,与预期不符。