文件名称：askJames-serverlessCrawler:一个使用 Lambda 和 DynamoDB 的简单的无服务器网络爬虫
文件大小：7KB
文件格式：ZIP
更新时间：2024-06-18 15:26:14
JavaScript
Ask James - 无服务器网络爬虫 这里有一篇文章解释了这段代码的用法： : 。 这是一个天真的爬虫，它是一个概念证明，不适合生产使用。 不要用于生产网站。 不要用于您无权抓取的网站。 不要违反 AWS 条款和条件。 此代码仅用于教育目的，不暗示任何保证。 滥用可能会导致大量 AWS 费用，并可能对目标网站产生负面影响。 除非您了解网络爬网的含义，否则请不要运行此代码。 您对运行此代码的后果负全部责任。 目录 安装 克隆和npm install在您下载的目录中。 用法 不要忘记： 更新您的 testEvent.json 创建 DynamoDB 表 'crawler' - 该表应该有一个名为 'url' 的分区键，没有将排序键和容量设置为按需。 在 serverless.yaml 中添加流 ARN（准备好后） 花时间测试和理解代码在做什么 支持 如果您有任何问题或意见，
【文件预览】：
askJames-serverlessCrawler-master
----processURL.js(693B)
----.gitignore(86B)
----package.json(438B)
----serverless.yml(472B)
----handler.js(606B)
----dynamodb.js(836B)
----testEvent.json(909B)
----test.js(139B)
----.eslintrc.js(47B)
----README.md(1KB)
----example.js(1012B)
----crawl.js(2KB)