在爬数据的时候很多时候需要下载文件比如压缩文件,音频,视频,图片等等,这些文件通常有一个请求的url,这个时候使用request模块或者urllib模块都很慢,而且很不稳定,这个时候使用wget或者axel等系统工具并结合os模块的system命令就很稳定并且很快
在数据抓取的时候很能加快速度
sudo apt-get install axel
亲测比wget快非常多:)
如果在 Windows平台可以使用迅雷会员下载更快一些,
linux上面有 xware desktop
推荐多线程下载工具axel替代wget