文件名称:FundCrawler:爬取天天基金网,辅助对投资基金的选择
文件大小:234KB
文件格式:ZIP
更新时间:2024-06-14 22:11:24
cralwer fund-crawler Python
天天基金爬虫 爬取天天基金网上的所有基金,辅助对基金投资的选择 购买基金前,请务必在官方网站上确认爬取的数据无误! 2021-01-24更新 若存在问题,请切换回Release版本 功能特性 爬取基金的近1、3、6月,近1、3年及成立来的收益率,当前基金经理及其任职时间、任职来的收益率及总的任职时间 模仿tcp的拥塞避免的线程数量控制,慢开始,当出现错误时,线程最大值减半,成功则线程最大值+1 爬取全部数据需要505s,瓶颈为网站的反爬策略 结果展示 2021-01-24 共有10203个基金 食用方法 环境依赖 运行环境Python3.7 依赖见requirements.txt 下载所有.py脚本文件(除MonkeyTest外) 爬取基金数据 运行CrawlingFund.py并等待 筛选基金 还没做 基金分析 也没做 文件结构 -CrawlingFund 爬取主文件,描述整个的
【文件预览】:
FundCrawler-Dev
----.gitignore(1KB)
----requirements.txt(33B)
----DataStructure.py(3KB)
----MonkeyTest.py(2KB)
----FakeUAGetter.py(3KB)
----CrawlingFund.py(6KB)
----Parser.py(10KB)
----README.md(2KB)
----.idea()
--------misc.xml(199B)
--------encodings.xml(1KB)
--------vcs.xml(180B)
--------FundCrawler.iml(469B)
--------modules.xml(274B)
----FundListProvider.py(3KB)
----image()
--------result-3.png(16KB)
--------result-2.png(200KB)
--------result-1.png(9KB)
----CrawlingCore.py(4KB)