文件名称:weibo_hotnews_crawler:新浪微博热门信息爬取
文件大小:164KB
文件格式:ZIP
更新时间:2024-06-18 17:01:05
Java
微博热门新闻爬取 爬取的内容主要是新浪的热门话题页() 爬取第一页的内容 拿到新闻标题和类别 并读取页面 爬取阅读数 讨论数和关注数 crawler为爬虫小程序 使用java编写 在运行前 需要编辑 crawler/conf/application.conf 中的相关属性 sub是页面cookie 请自行用浏览器获取这个cookie值 原本的可能已经失效 db相关的是数据库配置 具体的数据库在crawler/sql中 请自行导入 运行App.java 启动程序 server作为数据可视化后台服务器 主要使用D3.js 做出来的效果比较糟糕
【文件预览】:
weibo_hotnews_crawler-master
----LICENSE(7KB)
----README.md(656B)
----crawler()
--------sql(1KB)
--------conf()
--------.project(536B)
--------src()
--------.settings()
--------pom.xml(1KB)
--------.classpath(1KB)
--------.gitignore(9B)
----.gitignore(189B)
----server()
--------conf()
--------.project(1KB)
--------src()
--------.settings()
--------pom.xml(929B)
--------.classpath(2KB)
--------.gitignore(9B)