前提:进行爬虫的时候需要进行站点的爬取,再选用合适的爬虫框架
所以这里不得不需要知道一下一个网站到底有多少个网页组成,一个域名网站中到底有多少个站点
查看的方法很简单:
直接百度就可以了:
例如需要知道豆丁网的站点有多少个:
直接在百度中输入:site:www.docin.com
结果都在画圈中进行体现了。
前提:进行爬虫的时候需要进行站点的爬取,再选用合适的爬虫框架
所以这里不得不需要知道一下一个网站到底有多少个网页组成,一个域名网站中到底有多少个站点
查看的方法很简单:
直接百度就可以了:
直接在百度中输入:site:www.docin.com
结果都在画圈中进行体现了。