文件名称:Python-我的爬虫练习
文件大小:102KB
文件格式:ZIP
更新时间:2022-08-30 01:23:15
Python开发-Web爬虫
爬取豆瓣读书。只爬取了每个标签类别的首页的图书信息,若稍加修改,可以爬取任意页数的信息。
【文件预览】:
myCrawler-master
----getWebpage()
--------test.html(110KB)
--------c1.py(396B)
----doubanBook()
--------bookCrawler3()
--------bookSpiderXPath.py(2KB)
--------bookCrawler2()
--------book_list.txt(15KB)
--------book_list_spider.py(3KB)
--------README.md(941B)
----proxyInfo()
--------proxyInfo2.py(1KB)
----baiduTranslate()
--------translater.py(943B)
----tieba()
--------tiebaspider.py(2KB)
--------content.txt(82KB)
----.gitignore(15B)
----srtpInfo()
--------srtpSpider.py(715B)
----qiushibaike()
--------main.py(3KB)
--------log.txt(69KB)
----README.md(2KB)
----bdbaike()
--------spider_main.py(1KB)
--------baike_spider()