文件名称:shivtr-selenium-scraper:一个使用Selenium WebDriver收集300页IP信息的Web抓取工具
文件大小:4KB
文件格式:ZIP
更新时间:2024-06-07 11:21:13
JavaScript
内容:使用Selenium-webdriver从抓取IP地址的网络抓取工具,作为复古游戏社区成员要求的IP跟踪系统的一部分 原因:通过Selenium驱动的浏览器可以更轻松地浏览Shivtr管理面板。 这种方法减慢了抓取速度,但是由于仅需使用Selenium来抓取300页仍是完全可行的 方法:使用Selenium-webdriver实现时,抓取器使用提供的登录信息登录,然后抓取3个月IP日志历史记录的每一页。 需要将用户名和密码常量添加到应用程序根目录中的constants.js文件中,并应将其导出: var export = module.exports = {}; '; Exports.password ='passwordexample123'; constants.js不应添加到版本控制中
【文件预览】:
shivtr-selenium-scraper-master
----.gitignore(36B)
----extractIPs.js(433B)
----package.json(294B)
----scraper.js(5KB)
----README.md(845B)