casper-crowly:基于 casper.js 的网络爬虫

【文件属性】：

文件名称：casper-crowly:基于 casper.js 的网络爬虫

文件大小：6KB

文件格式：ZIP

更新时间：2024-06-22 05:31:26

JavaScript

如何跑步 克隆存储库后，运行npm install 如果你在全局安装了 casperjs，你可以简单地运行 - casperjs --ssl-protocol=any index.js 或使用以下本地安装的 casperjs 运行它 - ./node_modules/.bin/casperjs --ssl-protocol=any index.js 可以将附加选项--max-depth传递给命令以设置要抓取的页面数。 工具 有很多工具可以编写一个简单的爬虫/站点地图生成器，但是当网站大量使用 javascript 并且在页面加载后用 javascript 填充内容时，大多数工具都不能很好地工作。 这是我选择来完成任务的主要原因。 这是一个基于 node.js 的无头浏览器，我之前在很多项目中都使用过它，我对它非常熟悉。 它以 phantom.js 为核心，并提

【文件预览】：
casper-crowly-master
----helpers.js(2KB)
----index.js(4KB)
----package.json(624B)
----.gitignore(13B)
----sitemaps()
--------.gitignore(13B)
----README.md(3KB)