twitterNode:基于Node.js的Twitter Streaming API 1.1爬网程序

时间:2021-02-13 07:32:31
【文件属性】:
文件名称:twitterNode:基于Node.js的Twitter Streaming API 1.1爬网程序
文件大小:21KB
文件格式:ZIP
更新时间:2021-02-13 07:32:31
JavaScript twitterNode 基于Node.js的Twitter Streaming API 1.1爬网程序 这是一个基于node.js的搜寻器,用于从Twitter Streaming API v1.1收集信息。 它通过使用node.js oAuth库与oAuth配合使用(运行“ npm install oauth”进行安装)。 搜寻器可以很好地处理大量数据,将Twitter发送的多块消息整理在一起,并在将数据写入文件之前检查数据的完整性。 我已经运行了长达9个月,没有任何问题,而且爬虫每秒处理多达50条推文。 输出文件格式为JSON,各个推文之间用“,\ n”组合分隔,易于解析。 搜寻器会为每天的数据收集自动创建一个新文件,从而可以非常快速地提取必要的tweet。 这很简单,这就是重点。 要使用它,请使用Twitter API登录信息填充包含的爬网程序文件(即stateCollegeC
【文件预览】:
twitterNode-master
----distributedReader.2.2.js(15KB)
----distributedReader.2.1.js(13KB)
----distributedReader.2.0.js(12KB)
----crawlerOptionsTemplate.js(315B)
----LICENSE(18KB)
----README.md(1KB)
----.gitignore(2KB)
----stateCollegeCrawler.js(185B)

网友评论