用Python识别网站使用的技术

时间:2022-09-25 16:01:30

在进行爬虫之前,一般我们都会对要爬取的网站进行识别,识别我们要爬取的网站所使用到的技术,这样才能更有利于我们爬虫工作的进行。所以在此介绍以下如何用Python去识别一个网站所使用到的技术。

环境:Python-3.3,builtwith模块

例子:先看看天猫购物网站。

#首先导入builtwith模块

>>> import builtwith

#识别网站

>>>builtwith.parse("https://www.tmall.com")

用Python识别网站使用的技术

在图上可以看到,web-servers用的是Tengine,另外还使用了一些通用的JavaScript库。

再来看看京东的例子:

>>> builtwith.parse("https://www.jd.com")

用Python识别网站使用的技术