爬取简单反爬虫网站实战

时间:2021-10-21 03:15:24

实战一,爬取京东商品


import requests

url = "https://item.jd.com/27217068296.html"

try:
    r = requests.get(url)
    r.raise_for_status()    #获取爬取失败异常
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

结果:

爬取简单反爬虫网站实战

实战二,爬取亚马逊


  • URL更为复杂
  • 有一定的反爬虫措施
import requests

url = "https://www.amazon.cn/dp/B07746N2J9/459-3461623-5096824?_encoding=UTF8&pf_rd_i=desktop&pf_rd_m=A1AJ19PSB66TGU&pf_rd_p=64065c3b-d3b2-4b04-b0ae-f565f28d2a3e&pf_rd_r=7W3EH45JP9MRMY040XR2&pf_rd_s=Tcg-slide-1&pf_rd_t=36701&ref_=p-Tcg-slide-1--cb755e89-28c8-4498-81e4-3ff3328e7310"

try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

结果:

爬取简单反爬虫网站实战

  • 检查状态编码和返回的信息:

爬取简单反爬虫网站实战

  • 可以从服务器获得信息,说明不是网络的问题。可能是亚马逊对网络爬虫加以限制,所以我们来查看我们给亚马逊服务器发送请求的头部信息:
  • 请注意,服务器返回给我们的头部信息用r.headers查看,查看我们给服务器请求的头部信息要用r.request.headers来查看:

爬取简单反爬虫网站实战

  • 找到了问题所在,原来我们的程序很诚实的告诉了亚马逊服务器,我是一个python requests程序产生的访问,所以被拒绝。
  • 所以我们要让我们的程序模仿浏览器的访问。没错,我们要用到可选字段中的headers

爬取简单反爬虫网站实战

  • 查看我们给服务器请求的头部信息:

爬取简单反爬虫网站实战

  • 查看返回的网页信息:

爬取简单反爬虫网站实战

  • 贴出全部代码:
import requests

url = "https://www.amazon.cn/dp/B07746N2J9/459-3461623-5096824?_encoding=UTF8&pf_rd_i=desktop&pf_rd_m=A1AJ19PSB66TGU&pf_rd_p=64065c3b-d3b2-4b04-b0ae-f565f28d2a3e&pf_rd_r=7W3EH45JP9MRMY040XR2&pf_rd_s=Tcg-slide-1&pf_rd_t=36701&ref_=p-Tcg-slide-1--cb755e89-28c8-4498-81e4-3ff3328e7310"
kv = { 'user-agent' : 'Mozilla/5.0' }

try:
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:3000])
except:
    print("爬取失败")