funds_data:抓取网上的基金数据,将数据存储到本地的Mysql数据库中

时间:2024-06-05 07:28:58
【文件属性】:

文件名称:funds_data:抓取网上的基金数据,将数据存储到本地的Mysql数据库中

文件大小:21KB

文件格式:ZIP

更新时间:2024-06-05 07:28:58

Python

funds_data 抓取网上的基金数据,将数据存储到本地的mysql或postgresql数据库中。 主要通过两个类:OurkuFundsInfoFetcher、FundsDataDB以及get_funds_data.py中的几个函数来实现。 get_funds_data.get_jrj_data(data_date) 从 网站上抓取基金净值数据。 函数:get_funds_data.get_ourku_data(data_date) 从 网站上抓取基金净值数据。 函数:get_funds_data.data2db_simple(conn, funds) 将抓取的净值数据写入数据库,利用DBAPI的方式操作数据库,速度较快。 函数:get_funds_data.data2db(engine, funds) 将抓取的净值数据写入数据库,利用sqlalchemy操作数据库,插入数据速度较


【文件预览】:
funds_data-master
----FundsDataDB.py(2KB)
----get_funds_data.py(11KB)
----OurkuFundsInfoFetcher.py(5KB)
----changelog(69B)
----test.py(5KB)
----film_view.py(7KB)
----crawdive()
--------crawdiveintopython3-zh.conf(55B)
--------crawdiveintopython3-zh.py(1KB)
----funds_data.ini(218B)
----TODO(750B)
----funds_data_postgres.sql(4KB)
----.gitconfig(122B)
----.gitignore(354B)
----ourku()
--------scrapy.cfg(252B)
--------ourku()
----README.md(1KB)
----funds_data.sql(4KB)

网友评论