文件名称：crawler:页面搜寻器，确定网站的所有网址
文件大小：29KB
文件格式：ZIP
更新时间：2024-04-15 00:44:09
Rust
履带式 搜寻网页以收集所有可能的页面/ URL 入门 确保已安装 。 确保创建一个.env文件，并添加CRAWL_URL=http://api:8080/api/website-crawl进行开发，并CRAWL_URL_PROD=https://yourproductionendpoint/api/website-crawl用您的域替换您的生产端点 curl --proto '=https' --tlsv1.2 https://sh.rustup.rs -sSf | sh cargo run 依存关系 执照 检查项目根目录中的许可证文件。
【文件预览】：
crawler-main
----.dockerignore(6B)
----.DS_Store(6KB)
----Cargo.toml(537B)
----Cargo.lock(131KB)
----src()
--------main.rs(258B)
--------interface()
--------lib.rs(754B)
--------routes()
----Dockerfile(240B)
----scripts()
--------pre-install.sh(131B)
----rust-toolchain(18B)
----Procfile(74B)
----README.md(628B)
----.env.example.txt(43B)
----tests()
--------lib.rs(80B)
----Dockerfile.dev(148B)
----.gitignore(23B)