文件名称：MOOC_Scrapy:中国大学MOOC Scrapy 爬虫
文件大小：421KB
文件格式：ZIP
更新时间：2024-05-24 20:51:31
python crawler pyecharts mooc-scrapy HTML
MOOC_Scrapy 基于Scrapy的小爬虫，主要包括： 各个学科频道下的所有科目的基本信息(包括课程二级界面的评分信息) 指定关键词的搜索页面课程信息 爬取数据的存储和两种可视化库的小试水( & ) 主要目的是写一个走Ajax接口的爬虫练手（和交作业:sad_but_relieved_face:，初期的测试都是从零开始查看XHR信息，再fiddler抓包和模拟POST，测试完成再开写。 可视化试了 和 ，都各有各的优缺点，dash的页面写的真的很戳 （当时还没学完web基础！）数据分析意义其实感觉不是很大，尽量多花了几张图熟悉库操作而已。 ps ：cookie文件内容如失效请自行替换
【文件预览】：
MOOC_Scrapy-master
----README.md(909B)
----img()
--------img1.jpg(153KB)
--------img2.png(263KB)
----requirements.txt(279B)
----.idea()
--------.gitignore(234B)
--------other.xml(186B)
--------encodings.xml(287B)
--------vcs.xml(180B)
--------misc.xml(195B)
--------modules.xml(274B)
--------inspectionProfiles()
--------MOOC_Scrapy.iml(527B)
----MOOC()
--------中国大学MOOC数据可视化结果.html(2KB)
--------pyecharts_demo3.py(3KB)
--------app.py(6KB)
--------pyecharts_demo2.py(1KB)
--------main3.py(230B)
--------main.py(2KB)
--------scrapy.cfg(251B)
--------main2.py(945B)
--------pyecharts_demo.py(5KB)
--------当前全部开放课程可视化.html(62KB)
--------MOOC()
--------各学科开课数量排名.html(169KB)
--------评分人数2000人以上的课程评分排名.html(11KB)