webCrawler:一个简单的Web爬网程序从根域中获取URL链接并将其写入文件

时间:2024-05-03 00:10:32
【文件属性】:

文件名称:webCrawler:一个简单的Web爬网程序从根域中获取URL链接并将其写入文件

文件大小:63KB

文件格式:ZIP

更新时间:2024-05-03 00:10:32

Java

webCrawler 一个简单的Web爬虫从根域中获取URL链接并将其写入文件。 一,关于 这个简单的网络抓取工具应用通过swagger-ui或使用API​​交互客户端工具(如Postman)(位于通过提供的Api接受用户的 。 用户必须在上述终点处发送POST请求,请求正文为{“ url”:“ ”},并希望收到2XX成功消息。 它是用Java-8编写的,并且使用springboot且爬虫api是jsoup。 站点地图将写入在项目的根目录下创建的* .txt文件中。 二。 下载,构建,测试和运行 带有链接的git存储库上提供了源代码


【文件预览】:
webCrawler-webCrwaler_01
----pom.xml(2KB)
----mvnw(10KB)
----src()
--------test()
--------main()
----.gitignore(449B)
----.mvn()
--------wrapper()
----README.md(784B)
----mvnw.cmd(6KB)

网友评论