文件名称：websight:with使用Node.js和TypeScript构建的简单但“真正”快速的爬虫
文件大小：508KB
文件格式：ZIP
更新时间：2024-05-22 03:18:15
nodejs javascript crawler typescript monzo
网路视讯 一个简单的搜寻器，可获取给定网站中的所有页面并打印它们之间的链接。 :megaphone: 请注意，该项目是为应对编码挑战而专门设计的（请参阅），并且不适用于生产用途（除非您尚未达到）。 :hammer_and_wrench: 设置 在运行此应用程序之前，请确保已安装 建议使用 ，但可以与npm互换使用。 如果您希望在Docker容器中运行所有内容，请参阅部分。 git clone https://github.com/paambaati/websight cd websight yarn install && yarn build :laptop:用法 yarn start < website> :test_tube: 测试与覆盖 yarn run coverage :spouting_whale: Docker安装 docker build -t websight . docker run -ti websight < website> :package: 可执行二进制 yarn bund
【文件预览】：
websight-master
----Dockerfile(737B)
----.gitignore(113B)
----tsconfig.json(906B)
----README.md(6KB)
----tsconfig.test.json(174B)
----.github()
--------workflows()
----PROBLEM-STATEMENT.md(698B)
----test()
--------logger.test.ts(1KB)
--------sitemap.test.ts(4KB)
--------index.test.ts(1KB)
--------fixtures()
--------fetcher.test.ts(1KB)
--------parser.test.ts(901B)
--------helpers()
--------crawler.test.ts(3KB)
--------url-resolver.test.ts(3KB)
--------link-extractor.test.ts(3KB)
----LICENSE(462B)
----.dockerignore(43B)
----.eslintrc.test.json(177B)
----package.json(2KB)
----.huskyrc.json(76B)
----SCREENSHOT.png(467KB)
----src()
--------parser.ts(4KB)
--------url-resolver.ts(2KB)
--------sitemap.ts(3KB)
--------fetcher.ts(2KB)
--------crawler.ts(2KB)
--------index.ts(538B)
--------logger.ts(2KB)
--------link-extractor.ts(3KB)
----yarn.lock(116KB)
----.eslintrc.json(319B)
----.npmrc(52B)
----.nycrc.json(283B)