meteor-spiderable:使应用程序可爬网蜘蛛

时间:2024-06-01 11:06:34
【文件属性】:

文件名称:meteor-spiderable:使应用程序可爬网蜘蛛

文件大小:9KB

文件格式:ZIP

更新时间:2024-06-01 11:06:34

JavaScript

蜘蛛式在制品 流星v1.6 + 使用Google的 它很好用,但是代码很乱:P 最新变化: 将Puppeteer 9.0.0与Chrome r869685 添加了缓存(使用spidercache mongo集合) 添加了sitemap.xml特殊规则(hacky) 添加了铁路由器的404页面,实际上返回了404 - page not found 如果发出太多请求,它将返回409 - try again later 去做: 尝试使用puppeteer-core来减小程序包的大小(200MB太可笑了!) 清理一切! 安装 添加流星包 meteor add nooitaf: spiderable 环境变量 您可以选择使用URL指向其他端口,ip或域。 默认URL是http://localhost:3000/ 。 # examples export SPIDERABLE_UR


【文件预览】:
meteor-spiderable-master
----.gitignore(25B)
----README.md(5KB)
----package.js(1KB)
----spiderable.js(18B)
----spiderable.html(48B)
----spiderable_server.js(11KB)
----spiderable_client.js(2KB)

网友评论