文件名称：twitterNode：基于Node.js的Twitter Streaming API 1.1爬网程序
文件大小：21KB
文件格式：ZIP
更新时间：2024-03-05 01:19:11
JavaScript
twitterNode 基于Node.js的Twitter Streaming API 1.1爬网程序 这是一个基于node.js的搜寻器，用于从Twitter Streaming API v1.1收集信息。 它通过使用node.js oAuth库与oAuth配合使用（运行“ npm install oauth”进行安装）。 搜寻器可以很好地处理大量数据，将Twitter发送的多块消息整理在一起，并在将数据写入文件之前检查数据的完整性。 我已经运行了长达9个月，没有任何问题，而且爬虫每秒处理多达50条推文。 输出文件格式为JSON，各个推文之间用“，\ n”组合分隔，易于解析。 搜寻器会为每天的数据收集自动创建一个新文件，从而可以非常快速地提取必要的tweet。 这很简单，这就是重点。 要使用它，请使用Twitter API登录信息填充包含的爬网程序文件（即stateCollegeC
【文件预览】：
twitterNode-master
----distributedReader.2.2.js(15KB)
----distributedReader.2.1.js(13KB)
----distributedReader.2.0.js(12KB)
----crawlerOptionsTemplate.js(315B)
----LICENSE(18KB)
----README.md(1KB)
----.gitignore(2KB)
----stateCollegeCrawler.js(185B)