用Python做爬虫也很久了,今天分享一个轻巧的爬虫库:you-get
you-get 是用 Python3写成的视频,图片,音频下载工具,堪称盗链,爬虫神器。其支持的网站,都是直接破解其算法,直接算出playurl的方式,
不仅仅能抓取目标的封面,标题描述等信息,还可以下载源视频,非常的好用。
首先你需要安装python3,然后安装pip,具体操作这里不赘述。
配置好环境变量之后,在cmd下执行
pip install you-get
安装完成之后就可以去试试身手啦,比如我们爬取一个腾讯视频,就直接在cmd中敲:you-get "https://v.qq.com/x/cover/2tr6sh7iw7wyvhl/w0025xphmun.html"
可以看到正在执行爬取
you-get 支持的网站很多,具体可以在github上看GitHub - soimort/you-get: Dumb downloader that scrapes the web