在进行爬虫之前,一般我们都会对要爬取的网站进行识别,识别我们要爬取的网站所使用到的技术,这样才能更有利于我们爬虫工作的进行。所以在此介绍以下如何用Python去识别一个网站所使用到的技术。
环境:Python-3.3,builtwith模块
例子:先看看天猫购物网站。
#首先导入builtwith模块
>>> import builtwith
#识别网站
>>>builtwith.parse("https://www.tmall.com")
在图上可以看到,web-servers用的是Tengine,另外还使用了一些通用的JavaScript库。
再来看看京东的例子:
>>> builtwith.parse("https://www.jd.com")