Python 爬取网站资源文件

时间：2021-10-05 10:00:20

爬虫原理：

以下来自知乎解释

首先你要明白爬虫怎样工作。
想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。
在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。
突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。
好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

链接：http://www.zhihu.com/question/20899988/answer/24923424

1.爬取一个匿名可访问upload目录的网站
import re,os

import urllib.request

import urllib

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

from collections import deque

queue = deque()

visited = set()

origurl=url = 'http://www.***.cn/Upload/'  # 入口页面, 可以换成别的

path = 'C:/Users/Administrator/Desktop/a/'

queue.append(url)

cnt = 0

while queue:

    url = queue.popleft()  # 队首元素出队

    print('已经抓取: ' + str(cnt) + '     正在抓取 <---    ' + url)

    cnt += 1

    try:

        urlop = urllib.request.urlopen(url, timeout=3)

    except:

        continue

    if 'image' in urlop.getheader('Content-Type'):

        xpath=url.replace(origurl,'')

        orig_list=xpath.split("/")

        orig_ext_file = orig_list[-1]

        path_sub = orig_list[:-1]

        new_path=path+('/'.join(path_sub))

        try:

            os.makedirs(new_path)

        except Exception as e:

            print(e)

        urllib.request.urlretrieve(url, new_path+'/'+orig_ext_file)

    if 'html' not in urlop.getheader('Content-Type'):

        continue

    # 处理异常

    try:

        data = urlop.read().decode('utf-8')

    except:

        continue

    # 正则表达 提取页面中所有队列, and判断or访问过, too加入待爬队列

    linkre = re.compile('href="(.+?)"')

    for x in linkre.findall(data):

        if re.match(r"\?C=.", x):

            continue

        if re.match(r"/Upload/", x):

            continue

        if x not in visited:

            queue.append(url + x)

            visited |= {url}  # 标记为已访问

            print('加入队列 --->    ' + x)

Python 爬取网站资源文件Python 爬取网站资源文件Python 爬取网站资源文件

2.抓取一个美图高清壁纸网站

import re

import urllib.request

import urllib

import ssl

ssl._create_default_https_context = ssl._create_unverified_context  # 取消ssl验证https://

from collections import deque

queue = deque()

visited = set()

website = 'http://www.***.com/'

website_column = 'column/'

url = website + website_column + '80827.html'  # 入口页面

path = './images/'

queue.append(url)  # 加入队列

cnt = 0

while queue:

    url = queue.popleft()  # 队首元素出队

    visited |= {url}  # 已访问

    print('已经抓取: ' + str(cnt) + '     正在抓取 <---    ' + url)

    cnt += 1

    try:

        urlop = urllib.request.urlopen(url, timeout=3)

    except:

        continue

    current_num_re = re.compile(r'/' + website_column + '(\d+)/')

    current_num = current_num_re.findall(url)

    if url == website + website_column:

        continue

    if 'html' not in urlop.getheader('Content-Type'):

        continue

    # 处理异常

    try:

        data = urlop.read().decode('gbk')

    except:

        try:

            data = urlop.read().decode('utf-8')

        except:

            continue

    # 正则表达 提取页面中所有队列, and判断or访问过, too加入待爬队列

    linkre = re.compile('href="(.+?)"')

    inside1 = re.compile(r'/' + website_column + '(.*)')

    inside2 = re.compile(r'(\d+).htm')

    for x in linkre.findall(data):

        if 'http' not in x and x not in visited:

            resulturl = ''

            c = inside1.findall(x)

            if c:

                resulturl = website + website_column + c[0]

            else:

                c = inside2.findall(x)

                if c:

                    cnum = ''

                    cnum = current_num[0] if current_num else ''

                    resulturl = website + website_column + cnum + '/' + c[0] + '.htm'

            if resulturl:

                queue.append(resulturl)

                print('加入队列 --->    ' + resulturl)

    linkrerr = re.compile('<p><img src="(.*)" onload="btnaddress\(1\);')

    src = linkrerr.findall(data)

    if src:

        print(src)

        req = urllib.request.Request(src[0], headers={

            'Connection': 'Keep-Alive',

            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

            'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',

            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',

            'Referer': url

        })

        resource = urllib.request.urlopen(req, timeout=30)

        orig_list = src[0].split("/")

        orig_ext_file = orig_list[-1]

        path_sub = orig_list[:-1]

        # urllib.request.urlretrieve(src[0], path  + orig_ext_file)  #网站拒绝爬虫使用Referer 时， urlretrieve无法下载

        foo = open(path + orig_ext_file, "wb")

        str = resource.read()

        foo.write(str)

        foo.close()

参考地址： https://jecvay.com/2014/09/python3-web-bug-series1.html

相关文章