【文件属性】：
文件名称：askJames-serverlessCrawler:一个使用 Lambda 和 DynamoDB 的简单的无服务器网络爬虫
文件大小：7KB
文件格式：ZIP
更新时间：2021-05-29 21:39:34
JavaScript
Ask James - 无服务器网络爬虫
这里有一篇文章解释了这段代码的用法： : 。
这是一个天真的爬虫，它是一个概念证明，不适合生产使用。 不要用于生产网站。 不要用于您无权抓取的网站。 不要违反 AWS 条款和条件。
此代码仅用于教育目的，不暗示任何保证。
滥用可能会导致大量 AWS 费用，并可能对目标网站产生负面影响。
除非您了解网络爬网的含义，否则请不要运行此代码。 您对运行此代码的后果负全部责任。
目录
安装
克隆和npm install在您下载的目录中。
用法
不要忘记：
更新您的 testEvent.json
创建 DynamoDB 表 'crawler' - 该表应该有一个名为 'url' 的分区键，没有将排序键和容量设置为按需。
在 serverless.yaml 中添加流 ARN（准备好后）
花时间测试和理解代码在做什么
支持
如果您有任何问题或意见，
【文件预览】：
askJames-serverlessCrawler-master
----processURL.js(693B)
----.gitignore(86B)
----package.json(438B)
----serverless.yml(472B)
----handler.js(606B)
----dynamodb.js(836B)
----testEvent.json(909B)
----test.js(139B)
----.eslintrc.js(47B)
----README.md(1KB)
----example.js(1012B)
----crawl.js(2KB)