定向爬取股票数据——记录一次爬虫实战
今天是八月2号，自学python爬虫已经一整个月了。不学不理解，真正学了才发现，python不愧是一门博大精深的高级编程语言，我学到现在也才只见识到它冰山一脚，python应用的范围即便相比于c、c++、java等老牌语言也不逞多让；爬虫只是它庞大功能体系的一种，而我一个月来的学习单论爬虫这一块来说...
简单爬取github下载链接
这几天在看《python3 网络爬虫实战》，里面用到了tesseract和它对应的语言包，为了避免使用这个库出错，我就开始在github上下载对应的语言包，但是无论是使用浏览器，还是wget下载，都会在下载一大半的时候出错，于是萌生了一个分开下载的念头。转念一想，自己手动根据链接下载比较简单，但是麻...
爬取百度翻译接口
https://fanyi.baidu.com/v2transapi 会报错2 尝试切换到移动端看看结果 https://fanyi.baidu.com/basetrans 这才是正确的接口 3 代码展示 # -*- coding: utf-8 -*-import requestsimport ...
python爬虫-从QQ邮箱获取好友信息并爬取头像
本篇博客利用python爬虫实现半自动爬取好友头像和以前一样，先上效果：以上就是我的好友头像，怎么获取呢？我采取的方法可能有点低级，首先打开我们的qq邮箱,按F12找见如下的包：我们需要的好友信息就保存在这个包里面了，但是！QQ邮箱设置了访问权限，我们并不能直接通过requests访问这个链接，所以...
Python3爬取淘宝网商品数据！
分析淘宝网这次选择的是淘宝网热卖而不是淘宝网，二者虽然名字有不同，但是数据还是一样的，区别就在于前者把后者的所有店铺和商品的海量数据按照销售量、好评度、信誉度综合测评、重新计算、重新排序展现给买家的一个导购网站。找到准确数据：请求参数对比： jsv: 2.4.0appKey: 12574478t: ...
Python3 + BeautifulSoup 爬取Steam热销商品数据
这次用了BeautifulSoup库来爬取Steam的热销商品，BeautifulSoup更侧重的是从页面的结构解析，根据标签元素等来爬取数据，这次遇到两个问题：1.Steam热销商品列表经常有重复的，所以我建了一个列表，把爬到的数据存进去，每次爬的时候都校验跟列表里有没有重复，有的话就跳过，防止重...
python爬取 下载的图片无法显示的问题
python爬取 下载的图片无法显示的问题刚开始学习python爬虫，记录一下这个问题。跟着视频写好了代码，然后找了个网站去爬图片，发现图片下载下来但是打开提示文件损坏，然后去网上找了很多没有找到。代码：最后发现是请求头中少了一个参数：Refererheaders = {’Referer’ : ‘h...
爬取学习强国视频小示例
因为需要爬取的视频数量并不是很大，总共需要将131个视频下载下来，所以就直接去手动找找视频的地址和名称保存下来的。由于页面是动态加载的，所以我们无法在网站源码中直接找到视频的超链接。设想是可以用Selenium模拟浏览器点击进行动态加载获取视频链接和标题的，不过很久没有用Selenium了，就图简单...
【Python】爬虫入门级实战讲解：爬取商城的商品名称及价格
需求：1.对于某某商城，爬取其商品名称和商品价格2.要求：用户动态输入爬取特定商品；3.爬取结果导入excel表格，并写入数据库中；思路：1.查看搜索商品的接口信息，包括接口名称，接口方法（get/post），接口请求参数，及请求头2.爬取出来的信息，利用正则表达进行抽取有用信息（商品名称，价格）3...
python实战爬取豆瓣电影top250
本次python实战，主要目标是利用python爬取豆瓣电影 Top 250信息，如上图所示。这些信息主要包括排名、片名、评分、上映时间、主演等信息。爬取的网址url是https://movie.douban.com/top250，爬取后的结果会保存在csv文件里面。主要分为三个步骤:1.分析url...
python利用requests自定义user-agent爬取网站
前一段写了一个爬取墨迹天气的小爬虫，今天突然发现不能用了，因为是墨迹天气，反爬机制应该没有那么严格，应该解决一下user-agent的问题就可以了，写这篇博客，说一下requests的自定义user-agent的方式。首先登录你想要爬取的网站：我使用的是Chrome，按F12或者右键检查...
用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium）
抖音很火，楼主使用python随机爬取抖音视频，并且无水印下载，人家都说天下没有爬不到的数据，so，楼主决定试试水，纯属技术爱好，分享给大家。。1.楼主首先使用Fiddler4来抓取手机抖音app这个包，具体配置的操作，网上有很多教程供大家参考。上面得出抖音的视频的url，这些url均能在网页中打开...
Python爬虫之如何爬取抖音小姐姐的视频
介绍这次爬的是当下大火的APP--抖音，批量下载一个用户发布的所有视频。各位也应该知道，抖音只有移动端，官网打开除了给你个APP下载二维码啥也没有，所以相比爬PC网站，还是遇到了更多的问题，也花了更多的时间，不过好在基本实现了，除了一点咱在后面说。思路梳理其实如果看了其他博主爬抖音的教程就发现，大部...
python爬取小视频-40行代码教你利用Python网络爬虫批量抓取小视频
/1 前言/还在为在线看小视频缓存慢发愁吗？还在为想重新回味优秀作品但找不到资源而忧虑吗？莫要慌，让python来帮你解决，40行代码教你爬遍小视频网站，先批量下载后仔细观看，岂不美哉！/2 整理思路/这类网站一般大同小异，本文就以凤凰网新闻视频网站为例，采用倒推的方式，给大家介绍如何通过流量分析获...
python爬虫小项目--飞常准航班信息爬取variflight（上）
很久不更新博客，分享下最近一个小项目 飞常准 。飞常准是飞友科技旗下一个航班信息数据网络品牌。主要为用户提供航空相关数据。目前核心业务为航班动态和便宜机票搜索引擎。飞友科技旗下总有飞友网、飞常准、VariFlight、AirTu等品牌。废话不多说，开始搞事情。分析页面，首页有航班号和升降地有列表，要...
Scrapy 通过登录的方式爬取豆瓣影评数据
Scrapy 通过登录的方式爬取豆瓣影评数据爬虫Scrapy豆瓣Fly由于需要爬取影评数据在来做分析，就选择了豆瓣影评来抓取数据，工具使用的是Scrapy工具来实现。scrapy工具使用起来比较简单，主要分为以下几步：1、创建一个项目 ==scrapy startproject Douban得到一个...
使用Scrapy爬虫框架简单爬取图片并保存本地(妹子图）
初学Scrapy，实现爬取网络图片并保存本地功能一、先看最终效果保存在F:\pics文件夹下 二、安装scrapy1、python的安装就不说了，我用的python2.7，执行命令pip install scrapy，或者使用easy_install 命令都可以2、可能会报如下错误*********...
爬取微信好友列表数据，原来获取微信好友数据后都是这样的！
最近几天干啥都不来劲，昨晚偶然了解到Python里的itchat包，它已经完成了wechat的个人账号API接口，使个人爬取微信好友列表数据更加方便。鉴于自己很早之前就想知道诸如自己微信好友性别比例都来自哪个城市之类的问题，于是乎玩心一起，打算爬一下自己的微信。首先，在终端安装一下itchat包。p...
python整合selenium爬取QQ空间访客记录
利用周末放假两天时间写了个QQ空间访客记录的爬虫，在这里分享出来；本文将会把要做的步骤都列出来，一步一步的实现这个爬虫程序。特别注明：本程序仅供学习交流目的请勿用于不可描述的事情爬取过程中需要获取的关键信息如下：访客列表的URL登录cookie参数g_tk参数skey需要准备的工具有：浏览器...
(4)分布式下的爬虫Scrapy应该如何做-规则自动爬取及命令行下传参
本次探讨的主题是规则爬取的实现及命令行下的自定义参数的传递，规则下的爬虫在我看来才是真正意义上的爬虫。我们选从逻辑上来看，这种爬虫是如何工作的：我们给定一个起点的url link ，进入页面之后提取所有的ur 链接，我们定义一个规则，根据规则(用正则表达式来限制)来提取我们想要的连接形式，然后爬取这...