python网络爬虫数据中的三种数据解析方式

时间：2022-09-02 08:42:41

一.正则解析

常用正则表达式回顾:

单字符：

        . : 除换行以外所有字符

        [] ：[aoe] [a-w] 匹配集合中任意一个字符

        \d ：数字  [0-9]

        \D : 非数字

        \w ：数字、字母、下划线、中文

        \W : 非\w

        \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。

        \S : 非空白

    数量修饰：

        * : 任意多次  >=0

        + : 至少1次   >=1

        ? : 可有可无  0次或者1次

        {m} ：固定m次 hello{3,}

        {m,} ：至少m次

        {m,n} ：m-n次

    边界：

        $ : 以某某结尾

        ^ : 以某某开头

    分组：

        (ab)

    贪婪模式： .*

    非贪婪（惰性）模式： .*?

    re.I : 忽略大小写

    re.M ：多行匹配

    re.S ：单行匹配

    re.sub(正则表达式, 替换内容, 字符串)
  • 回顾练习：
import re

#提取出python

key="javapythonc++php"

re.findall('python',key)[0]

#####################################################################

#提取出hello world

key="<html><h1>hello world<h1></html>"

re.findall('<h1>(.*)<h1>',key)[0]

#####################################################################

#提取170

string = '我喜欢身高为170的女孩'

re.findall('\d+',string)

#####################################################################

#提取出http://和https://

key='http://www.baidu.com and https://boob.com'

re.findall('https?://',key)

#####################################################################

#提取出hello

key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>

re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

#####################################################################

#提取出hit.

key='bobo@hit.edu.com'#想要匹配到hit.

re.findall('h.*?\.',key)

#####################################################################

#匹配sas和saas

key='saas and sas and saaas'

re.findall('sa{1,2}s',key)

#####################################################################

#匹配出i开头的行

string = '''fall in love with you

i love you very much

i love she

i love her'''

re.findall('^.*',string,re.M)

#####################################################################

#匹配全部行

string1 = """<div>静夜思

窗前明月光

疑是地上霜

举头望明月

低头思故乡

</div>"""

re.findall('.*',string1,re.S)

项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import requests

import re

import os

if __name__ == "__main__":

     url = 'https://www.qiushibaike.com/pic/%s/'

     headers={

         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

     }

     #指定起始也结束页码

     page_start = int(input('enter start page:'))

     page_end = int(input('enter end page:'))

     #创建文件夹

     if not os.path.exists('images'):

         os.mkdir('images')

     #循环解析且下载指定页码中的图片数据

     for page in range(page_start,page_end+1):

         print('正在下载第%d页图片'%page)

         new_url = format(url % page)

         response = requests.get(url=new_url,headers=headers)

         #解析response中的图片链接

         e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'

         pa = re.compile(e,re.S)

         image_urls = pa.findall(response.text)

          #循环下载该页码下所有的图片数据

         for image_url in image_urls:

             image_url = 'https:' + image_url

             image_name = image_url.split('/')[-1]

             image_path = 'images/'+image_name

             image_data = requests.get(url=image_url,headers=headers).content

             with open(image_path,'wb') as fp:

                 fp.write(image_data)

二.Xpath解析

测试页面数据

<html lang="en">

<head>

    <meta charset="UTF-8" />

    <title>测试bs4</title>

</head>

<body>

    <div>

        <p>百里守约</p>

    </div>

    <div class="song">

        <p>李清照</p>

        <p>王安石</p>

        <p>苏轼</p>

        <p>柳宗元</p>

        <a href="http://www.song.com/" title="赵匡胤" target="_self">

            <span>this is span</span>

        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>

        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>

        <img src="http://www.baidu.com/meinv.jpg" alt="" />

    </div>

    <div class="tang">

        <ul>

            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

            <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

            <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

            <li><a href="http://www.sina.com" class="du">杜甫</a></li>

            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>

            <li><b>杜小月</b></li>

            <li><i>度蜜月</i></li>

            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

        </ul>

    </div>

</body>

</html>

常用xpath表达式回顾

属性定位：

    #找到class属性值为song的div标签

    //div[@class="song"]

层级&索引定位：

    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a

    //div[@class="tang"]/ul/li[2]/a

逻辑运算：

    #找到href属性值为空且class属性值为du的a标签

    //a[@href="" and @class="du"]

模糊匹配：

    //div[contains(@class, "ng")]

    //div[starts-with(@class, "ta")]

取文本：

    # /表示获取某个标签下的文本内容

    # //表示获取某个标签下的文本内容和所有子标签下的文本内容

    //div[@class="song"]/p[1]/text()

    //div[@class="tang"]//text()

取属性：

    //div[@class="tang"]//li[2]/a/@href

代码中使用xpath表达式进行数据解析

1.下载：pip install lxml

2.导包：from lxml import etree

3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点

　　2.1 本地文件：tree = etree.parse(文件名)

                tree.xpath("xpath表达式")

　　2.2 网络数据：tree = etree.HTML(网页内容字符串)

                tree.xpath("xpath表达式")
  • 安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式

    • 将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功

    • 启动和关闭插件 ctrl + shift + x

  • 项目需求：获取好段子中段子的内容和作者   http://www.haoduanzi.com

from lxml import etree

import requests

url='http://www.haoduanzi.com/category-10_2.html'

headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',

    }

url_content=requests.get(url,headers=headers).text

#使用xpath对url_conten进行解析

#使用xpath解析从网络上获取的数据

tree=etree.HTML(url_content)

#解析获取当页所有段子的标题

title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')

ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

text_list=[] #最终会存储12个段子的文本内容

for ele in ele_div_list:

    #段子的文本内容（是存放在list列表中）

    text_list=ele.xpath('./div[@class="cont"]//text()')

    #list列表中的文本内容全部提取到一个字符串中

    text_str=str(text_list)

    #字符串形式的文本内容防止到all_text列表中

    text_list.append(text_str)

print(title_list)

print(text_list)

【重点】下载煎蛋网中的图片数据：http://jandan.net/ooxx 

import requests

from lxml import etree

from fake_useragent import UserAgent

import base64

import urllib.request

url = 'http://jandan.net/ooxx'

ua = UserAgent(verify_ssl=False,use_cache_server=False).random

headers = {

    'User-Agent':ua

}

page_text = requests.get(url=url,headers=headers).text

#查看页面源码：发现所有图片的src值都是一样的。

#简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。

#在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址

#加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。

#通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。

#在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索

#搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密

#print(page_text)

tree = etree.HTML(page_text)

#在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。

#获取了加密的图片url数据

imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')

imgUrl_list = []

for url in imgCode_list:

    #base64.b64decode(url)为byte类型，需要转成str

    img_url = 'http:'+base64.b64decode(url).decode()

    imgUrl_list.append(img_url)

for url in imgUrl_list:

    filePath = url.split('/')[-1]

    urllib.request.urlretrieve(url=url,filename=filePath)

    print(filePath+'下载成功')

三.BeautifulSoup解析

  • 环境安装
  • - 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等
    
   - windows
    
    （1）打开文件资源管理器(文件夹地址栏中)
    
    （2）地址栏上面输入 %appdata%
    
    （3）在这里面新建一个文件夹  pip
    
    （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可
    
        [global]
    
        timeout = 6000
    
        index-url = https://mirrors.aliyun.com/pypi/simple/
    
        trusted-host = mirrors.aliyun.com
    
   - linux
    
    （1）cd ~
    
    （2）mkdir ~/.pip
    
    （3）vi ~/.pip/pip.conf
    
    （4）编辑内容，和windows一模一样
    
- 需要安装：pip install bs4
    
     bs4在使用时候需要一个第三方库，把这个库也安装一下
    
     pip install lxml

    基础使用

  • 使用流程：
    
    - 导包：from bs4 import BeautifulSoup
    
    - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
    
        （1）转化本地文件：
    
             - soup = BeautifulSoup(open('本地文件'), 'lxml')
    
        （2）转化网络文件：
    
             - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')
    
        （3）打印soup对象显示内容为html文件中的内容

基础巩固：
    
    （1）根据标签名查找
    
        - soup.a   只能找到第一个符合要求的标签
    
    （2）获取属性
    
        - soup.a.attrs  获取a所有的属性和属性值，返回一个字典
    
        - soup.a.attrs['href']   获取href属性
    
        - soup.a['href']   也可简写为这种形式
    
    （3）获取内容
    
        - soup.a.string
    
        - soup.a.text
    
        - soup.a.get_text()
    
       【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
    
    （4）find：找到第一个符合要求的标签
    
        - soup.find('a')  找到第一个符合要求的
    
        - soup.find('a', title="xxx")
    
        - soup.find('a', alt="xxx")
    
        - soup.find('a', class_="xxx")
    
        - soup.find('a', id="xxx")
    
    （5）find_all：找到所有符合要求的标签
    
        - soup.find_all('a')
    
        - soup.find_all(['a','b']) 找到所有的a和b标签
    
        - soup.find_all('a', limit=2)  限制前两个
    
    （6）根据选择器选择指定的内容
    
               select:soup.select('#feng')
    
        - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
    
            - 层级选择器：
    
                div .dudu #lala .meme .xixi  下面好多级
    
                div > p > a > .lala          只能是下面一级
    
        【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

    需求：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储   http://www.shicimingju.com/book/sanguoyanyi.html

  • #!/usr/bin/env python
    
# -*- coding:utf-8 -*-
    
import requests
    
from bs4 import BeautifulSoup

headers={
    
         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    
     }
    
def parse_content(url):
    
    #获取标题正文页数据
    
    page_text = requests.get(url,headers=headers).text
    
    soup = BeautifulSoup(page_text,'lxml')
    
    #解析获得标签
    
    ele = soup.find('div',class_='chapter_content')
    
    content = ele.text #获取标签中的数据值
    
    return content

if __name__ == "__main__":
    
     url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    
     reponse = requests.get(url=url,headers=headers)
    
     page_text = reponse.text

     #创建soup对象
    
     soup = BeautifulSoup(page_text,'lxml')
    
     #解析数据
    
     a_eles = soup.select('.book-mulu > ul > li > a')
    
     print(a_eles)
    
     cap = 1
    
     for ele in a_eles:
    
         print('开始下载第%d章节'%cap)
    
         cap+=1
    
         title = ele.string
    
         content_url = 'http://www.shicimingju.com'+ele['href']
    
         content = parse_content(content_url)

         with open('./sanguo.txt','w') as fp:
    
             fp.write(title+":"+content+'\n\n\n\n\n')
    
             print('结束下载第%d章节'%cap)

python网络爬虫数据中的三种数据解析方式的更多相关文章

  1. Android中的三种XML解析方式

    在Android中提供了三种解析XML的方式:SAX(Simple API XML),DOM(Document Objrect Model),以及Android推荐的Pull解析方式.下面就对三种解析 ...

  2. Hibernate中的三种数据状态

    Hibernate中的三种数据状态(临时.持久.游离) 1.临时态(瞬时态) 不存在于session中,也不存在于数据库中的数据,被称为临时态. 比如:刚刚使用new关键字创建出的对象. 2.持久态 ...

  3. 浅谈Hibernate中的三种数据状态

    Hibernate中的三种数据状态:临时.持久.游离 1.临时态(瞬时态) 不存在于session中,也不存在于数据库中的数据,被称为临时态. 数据库中没有数据与之对应,超过作用域会被JVM垃圾回收器 ...

  4. JAVA中的四种JSON解析方式详解

    JAVA中的四种JSON解析方式详解 我们在日常开发中少不了和JSON数据打交道,那么我们来看看JAVA中常用的JSON解析方式. 1.JSON官方 脱离框架使用 2.GSON 3.FastJSON ...

  5. Java三大框架之——Hibernate中的三种数据持久状态和缓存机制

    Hibernate中的三种状态   瞬时状态:刚创建的对象还没有被Session持久化.缓存中不存在这个对象的数据并且数据库中没有这个对象对应的数据为瞬时状态这个时候是没有OID. 持久状态:对象经过 ...

  6. &period;NET中的三种接口实现方式

    摘自:http://www.cnblogs.com/zhangronghua/archive/2009/11/25/1610713.html 一般来说.NET提供了三种不同的接口实现方式,分别为隐式接 ...

  7. Python网络爬虫与信息提取（三）—— Re模块

    regular expression / regex / RE 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配.Python 自1.5版本起增加了re 模块,它提供 ...

  8. python网络爬虫（6）爬取数据静态

    爬取静态数据并存储json import requests import chardet from bs4 import BeautifulSoup import json user_agent='M ...

  9. python——remove，del，pop三种删除元素方式的区别

    记性不好,整理出来以作保存 1.remove ①直接删除元素,remove(obj),顺序删除第一个遇到的,所以想要全部删除 ,需要遍历 aList = [123, 'xyz', 'zara', 'a ...

随机推荐

  1. winform进程、线程、TreeView递归加载

    进程: 一般来说,一个程序就是一个进程,不过也有一个程序需要多个进程支持的情况. 进程所使用的类:Process 所需命名空间:System.Diagnostics; 可以通过进行来开启计算机上现有的 ...

  2. C&num;类遍历

    foreach语句的基本用法大家都应该知道,就是对对象进行遍历,取出相应的属性名称或属性值.Foreach(for)用法在js中使用很简单,基本如下: var objA={name:'mayday', ...

  3. VS 6&period;00 工程项目文件详解

    *.dsp(DeveloperStudio Project):是VC++的工程配置文件,比如说你的工程包含哪个文件,你的编译选项是什么等等,编译的时候是按照.dsp的配置来的.*.dsw(Develo ...

  4. 内存就是RAM？

    内存不全是RAM,让我们看看当今的Intel计算机是如何连接各个组件的吧.下图展示了主板上的主要组件: 现代主板的示意图,北桥和南桥构成了芯片组. 当你看图时,请牢记一个至关重要的事实:CPU一点也不 ...

  5. 湖大 11404 manacher

    链接   http://acm.hunnu.edu.cn/online/?action=problem&type=show&id=11404&courseid=0 求 最长回文 ...

  6. Sql2008中使用DataTable作为存储过程的参数

    使用DataTable作为存储过程的参数   最近工作中写了几个存储过 程,需要向存储过程中传递字符串,因为SQL Server 2000中没有内置类似于 split 的函数,只好自己处理,将前台数据 ...

  7. VC&plus;&plus;学习之网络编程中的套接字

    VC++学习之网络编程中的套接字 套接字,简单的说就是通信双方的一种约定,用套接字中的相关函数来完成通信过程.应用层通过传输层进行数据通信时,TCP和UDP会遇到同时为多个应用程序进程提供并发服务的问 ...

  8. 百度地图API 级别自动缩放

    今天做一个基于百度地图API的小项目 查了很长时间apid都没有找到地图呈现出来的时候地图按坐标的多少自动缩放显示的等级比例,特此记录笔记!var points = [point1, point2,p ...

  9. Python学习笔记——基础篇【第五周】——常用模块学习

    模块介绍 本节大纲: 模块介绍 time &datetime模块   (时间模块) random   (随机数模块) os   (系统交互模块) sys shutil   (文件拷贝模块) j ...

  10. 从虚拟机指令执行的角度分析JAVA中多态的实现原理

    从虚拟机指令执行的角度分析JAVA中多态的实现原理 前几天突然被一个"家伙"问了几个问题,其中一个是:JAVA中的多态的实现原理是什么? 我一想,这肯定不是从语法的角度来阐释多态吧 ...

相关文章