小说、图片、小视频都弄了,今天就下载电影或者电视剧吧,目标网站:https://www.okzyw.com/
首先进入搜索页面:https://www.okzyw.com/index.php?m=vod-search
搜索自己喜爱的剧(比如我就喜欢西部世界^ _ ^)
进入Network查看发现是POST请求:
我把数据也截下来了,直接上代码就行:
import requests
import parsel,os
from ffmpy3 import FFmpeg
from concurrent.futures import ThreadPoolExecutor as pool
headers ={
\'User-Agent\': \'Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1\'
}
wd = "西部世界第一季"
params = {
\'wd\': wd,
\'submit\': \'search\',
}
target = \'http://www.okzyw.com\'
url = \'https://www.okzyw.com/index.php?m=vod-search\'
html = requests.get(url,params=params,headers=headers).text
res = parsel.Selector(html)
for each in res.xpath(\'//div[@class="xing_vb"]/ul[2]/li\'):
link = target + each.xpath(\'./span[2]/a/@href\').get()
print(link)
内容页拿到:
output:
http://www.okzyw.com/?m=vod-detail-id-12790.html
进入内容页后我们需要将电影标题作为文件夹,免得后面会乱:
html = requests.get(link).text
res = parsel.Selector(html)
# 获取电影标题做文件夹
title = res.xpath(\'//div[@class="vodh"]/h2/text()\').get()
# 创建文件夹
if title not in os.listdir("./"):
os.mkdir(title)
里面有两种格式,我们选择m3u8格式的:
因为是静态网页,我就直接上代码了:
for each in res.xpath(\'//div[@id="2"]/ul/li\'):
# 获取集数
num = each.xpath(\'./text()\').get().split("$")[0]
# 获取每一集对应的链接
m3u8 = each.xpath(\'./input/@value\').get()
dic_url[m3u8] = num
print(m3u8)
顺利拿到:
接下来就是把m3u8格式的下载下来就行了,m3u8格式是由多个ts格式组成的,也是现在大多数网站都会选择的方式,也就是说,你会了这个,然后再去爬其他的也同样有用:
既然是由多个ts组成,那么如何合并呢,这里我们需要用到一个库:ffmpy3
直接pip就行
pip install ffmpy3
之后就是两行代码就能将ts合并:
from ffmpy3 import FFmpeg
FFmpeg(inputs={URL:None}, outputs={name:None).run()
不过在此之前需要下载一个文件,解压后将FFmpeg.exe放在py文件目录下,我已经放在网盘了,需要的朋友可以自行下载,这个是64位的,下载链接:在底部
因为每一集都有几百M,所以开8个线程:
import requests
import parsel,os
from ffmpy3 import FFmpeg
from concurrent.futures import ThreadPoolExecutor as pool
headers ={
\'User-Agent\': \'Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1\'
}
wd = input("请输入您要下载的影片名称(比如:西部世界第一季):")
# wd = "西部世界第一季"
params = {
\'wd\': wd,
\'submit\': \'search\',
}
target = \'http://www.okzyw.com\'
url = \'https://www.okzyw.com/index.php?m=vod-search\'
html = requests.get(url,params=params,headers=headers).text
res = parsel.Selector(html)
for each in res.xpath(\'//div[@class="xing_vb"]/ul[2]/li\'):
link = target + each.xpath(\'./span[2]/a/@href\').get()
dic_url = {}
html = requests.get(link).text
res = parsel.Selector(html)
# 获取电影标题做文件夹
title = res.xpath(\'//div[@class="vodh"]/h2/text()\').get()
# 创建文件夹
if title not in os.listdir("./"):
os.mkdir(title)
for each in res.xpath(\'//div[@id="2"]/ul/li\'):
# 获取集数
num = each.xpath(\'./text()\').get().split("$")[0]
# 获取每一集对应的链接
m3u8 = each.xpath(\'./input/@value\').get()
dic_url[m3u8] = num
def down_movie(k,v):
print("正在下载:",end="")
print(k,v)
name = os.path.join(title, v +".mp4")
FFmpeg(inputs={k:None}, outputs={name:\'-loglevel quiet\'}).run()
if __name__ == "__main__":
# 开启线程池
pl = pool(max_workers=8)
pl.map(down_movie,dic_url.keys(),dic_url.values())
pl.shutdown()
因为没有做优化,所以在输入名字的时候尽量详细点:
搞定:
可以看到,确实是在同时下载,趁这个时间可以出去活动一下,回来应该就下载完了。
- END -
【FFmpeg.exe获取方式】
识别文末二维码,回复:FFmpeg
欢迎关注公众号:Python爬虫数据分析挖掘,方便及时阅读最新文章
回复【开源源码】免费获取更多开源项目源码;