本文实例讲述了python抓取某只基金历史净值数据。分享给大家供大家参考,具体如下:
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下来,我们需要动手把这些html抓取下来(这部分知识我们之前已经学过,现在不妨重温)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
# coding: utf-8
from selenium.webdriver.support.ui import webdriverwait
from selenium import webdriver
from bs4 import beautifulsoup
from threading import thread,lock
import os
import csv
# 下面是利用 selenium 抓取html页面的代码
# 初始化函数
def initspider():
driver = webdriver.phantomjs(executable_path = r "你phantomjs可执行文件的绝对路径" )
driver.get( "http://fund.eastmoney.com/f10/jjjz_519961.html" ) # 要抓取的网页地址
# 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数
getpage_text = driver.find_element_by_id( "pagebar" ).find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]" ).get_attribute( "innerhtml" )
# 得到总共有多少页
total_page = int ("".join( filter ( str .isdigit, getpage_text)))
# 返回
return (driver,total_page)
# 获取html内容
def getdata(myrange,driver,lock):
for x in myrange:
# 锁住
lock.acquire()
tonum = driver.find_element_by_id( "pagebar" ).find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']" ) # 得到 页码文本框
jumpbtn = driver.find_element_by_id( "pagebar" ).find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']" ) # 跳转到按钮
tonum.clear() # 第x页 输入框
tonum.send_keys( str (x)) # 去第x页
jumpbtn.click() # 点击按钮
# 抓取
webdriverwait(driver, 20 ).until( lambda driver: driver.find_element_by_id( "pagebar" ).find_element_by_xpath( "div[@class='pagebtns']/label[@value={0} and @class='cur']" . format (x)) ! = none)
# 保存到项目中
with open ( "../htmls/details/{0}.txt" . format (x), 'wb' ) as f:
f.write(driver.find_element_by_id( "jztable" ).get_attribute( "innerhtml" ).encode( 'utf-8' ))
f.close()
# 解锁
lock.release()
# 开始抓取函数
def beginspider():
# 初始化爬虫
(driver, total_page) = initspider()
# 创建锁
lock = lock()
r = range ( 1 , int (total_page) + 1 )
step = 10
range_list = [r[x:x + step] for x in range ( 0 , len (r), step)] #把页码分段
thread_list = []
for r in range_list:
t = thread(target = getdata, args = (r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 这一步是需要的,等待线程全部执行完成
print ( "抓取完成" )
# #################上面代码就完成了 抓取远程网站html内容并保存到项目中的 过程
|
需要说明一下这3个函数:
initspider
函数,初始化了selenium的webdriver
对象,并且先获取到我们需要抓取页面的总页码数。getdata
函数,有3个参数,myrange我们还是要分段抓取,之前我们学过多进程抓取,这里我们是多线程抓取;lock参数用来锁住线程的,防止线程冲突;driver就是我们在initspider
函数中初始化的webdriver
对象。
在getdata
函数中,我们循环myrange,把抓取到的html内容保存到了项目目录中。beginspider
函数,我们在此函数中给总页码分段,并且创建线程,调用getdata
。
所以最后执行:
1
|
beginspider()
|
就开始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 这个基金的”历史净值明细”,共有31个页面。
2、根据已经学过的python和mysql交互的知识,我们也可以再把这些数据 写入到数据表中。
这里就不再赘述,给出基金详细表结构:
1
2
3
4
5
6
7
8
9
10
11
|
create table `fund_detail` (
` id ` int ( 11 ) unsigned not null auto_increment,
`fcode` varchar( 10 ) not null default ' ' comment ' 基金代码',
`fdate` datetime default null comment '基金日期' ,
`nav` decimal( 10 , 4 ) default null comment '单位净值' ,
`accnav` decimal( 10 , 4 ) default null comment '累计净值' ,
`dgr` varchar( 20 ) default null comment '日增长率' ,
`pstate` varchar( 20 ) default null comment '申购状态' ,
`rstate` varchar( 20 ) default null comment '赎回状态' ,
primary key (` id `)
) engine = innodb default charset = utf8mb4 comment = '基金详细数据表' ;
|
希望本文所述对大家python程序设计有所帮助。
原文链接:https://blog.csdn.net/github_26672553/article/details/78662563