文件名称：Crawl-Robots:从 HIT 网站自动抓取数据
文件大小：55KB
文件格式：ZIP
更新时间：2024-07-01 10:23:08
Ruby
Crawl-Robots Automatically crawl data from HIT websites Websites List How to install Install MySQL and libmysqlclient-dev Install Ruby 2.1.2 or greater using either or gem install bundler rbenv rehash # If you use rbenv, rehash to be able to run the bundle command bundle install License MIT License
【文件预览】：
Crawl-Robots-master
----CSAnnoExtractor.rb(421B)
----cwc.hit.edu.cn.json(697B)
----jwc.hit.edu.cn.json(691B)
----last_update_init.json(34KB)
----software.hit.edu.cn.json(1KB)
----jtxy.hit.edu.cn.json(989B)
----sa.hit.edu.cn.json(1000B)
----CSAnnoFetcher.rb(177B)
----public()
--------index.html(5KB)
--------sticky-footer.css(603B)
--------style.css(129B)
----SSFetcher.rb(179B)
----today.hit.edu.cn.json(49KB)
----PBGeneralRouter.rb(607B)
----PBGeneralFetcher.rb(186B)
----Gemfile(104B)
----power.hit.edu.cn.json(704B)
----CSRouter.rb(216B)
----PBDBConnector.rb(4KB)
----cs.hit.edu.cn_news.json(382B)
----tagtable.json(115KB)
----crawl_daemon.rb(2KB)
----ssc.hit.edu.cn.json(969B)
----TodayExtractor.rb(652B)
----TodayDecisionMaker.rb(173B)
----tagsList.json(29KB)
----LICENSE(1KB)
----rwxy.hit.edu.cn.json(712B)
----TodayFetcher.rb(301B)
----mse.hit.edu.cn.json(719B)
----server_daemon.rb(2KB)
----README.md(807B)
----db_init.sql(679B)
----chemeng.hit.edu.cn.json(1KB)
----Broadcast.rb(453B)
----router.json(2KB)
----PBNewsObject.rb(1KB)
----SSExtractor.rb(469B)
----PBTAO.rb(1018B)
----PBPushController.rb(2KB)
----CSNewsExtractor.rb(551B)
----.gitignore(832B)
----sme.hit.edu.cn.json(699B)
----PBGeneralExtractor.rb(463B)
----CSNewsFetcher.rb(177B)
----cs.hit.edu.cn_anno.json(373B)