Python 爬取单个网页所需要加载的地址和CSS、JS文件地址

Python 爬取单个网页所需要加载的URL地址和CSS、JS文件地址

通过学习Python爬虫，知道根据正式表达式匹配查找到所需要的内容（标题、图片、文章等等）。而我从测试的角度去使用Python爬虫，希望爬取到访问该网页所需要的CSS、JS、URL，然后去请求这些地址，根据响应的状态码判断是否都可以成功访问。

---

代码

'''
Created on 2017-08-02  

@author: Lebb  
'''
import sys
import urllib2
import re
reload(sys)
sys.setdefaultencoding('utf-8')

url = "https://www.szrtc.cn/"
http = "http"
request = urllib2.Request(url,headers=Headers)
responsecode = None
errorcount = 0
itemurl = url

def getResponse():
    try:
        response = urllib2.urlopen(request)
    except urllib2.HTTPError,he:
        print he.code
    except urllib2.URLError,ue:
        print ue.reason
    else :
        return response.read().decode('utf-8')

def getUrl():
    html = getResponse()
    patterncss ='<link href="(.*?)"'
    patternjs = '<script src="(.*?)"'
    patternimg = '<img src="(.*?)"'
    patternpage = '<a.*?href="(.*?)"'
    patternonclick = "openQuestion.*?'(.*?)'"
    href = re.compile(patterncss, re.S).findall(html)
    href += re.compile(patternimg, re.S).findall(html)
    href += re.compile(patternpage, re.S).findall(html)
    href += re.compile(patternjs, re.S).findall(html)
    href += re.compile(patternonclick, re.S).findall(html)
return href

def reasonCode():
    global errorcount
    itemurl = getUrl()
    for item1 in itemurl:
        if http in item1:
            sendurl = item1
        else:
            sendurl = url + item1
        try:
            print sendurl
            responseurl = urllib2.urlopen(sendurl,timeout=8)
        except urllib2.HTTPError,he:
            responsecode = he.code
            errorcount += 1
        except urllib2.URLError,ue:
            responsecode = ue.reason
            errorcount += 1
        else:
            responsecode = responseurl.getcode()
            if(responsecode != 200):
                errorcount += 1    
        print responsecode
        #return responsecode
    print errorcount

运行的结果：

错误截图：

实际上这条请求复制到浏览器是可以访问的，但是Python 的urllib2访问时，因为请求带中文参数，没有进行编码转换，导致报400错误。

尝试在代码中加入utf-8，还是没有效果，仍然报错。

这个问题先记下来，后面去找到其他解决办法