Python如何利用正则表达式爬取网页信息及图片

一、正则表达式是什么?

概念:

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。

个人理解:

简单来说就是使用正则表达式来写一个过滤器来过滤了掉杂乱的无用的信息(eg:网页源代码…)从中来获取自己想要的内容

二、实战项目

1.爬取内容

获取上海所有三甲医院的名称并保存到.txt文件中

2.访问链接

上海三甲医院网站 link：https://yyk.99.com.cn/sanjia/shanghai/

3.正则表达式书写的灵感

进入网站查看本页面的源代码发现：医院的名称都是放在一个

				?

									<div class="province-box"> ...... </div>

盒子里我们只需要直接把这个盒子里面的数据过滤一下就行

正则表达式:

法一:

1.一级过滤 :

开头是:<div class="province-box"> (.*) 结尾是:<div class="wrap-right">

2.二级过滤:

title="(.*[院心部]）*)" 获取title=" " 里面的信息

法二:

优化后一次性过滤:

结尾是:

Python如何利用正则表达式爬取网页信息及图片

4.项目源代码

									import requests

									import re

									url = "https://yyk.99.com.cn/sanjia/shanghai/"

									# 模拟浏览器的访问

									headers ={'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64; rv:87.0) '

									                        'gecko/20100101 firefox/87.0'}

									res = requests.get(url,headers=headers)

									if res.status_code == 200:

									    #1.获取网页源代码

									    raw_text = res.text

									    #2.正则表达式书写:

									    #2.2注意:正则表达式默认匹配的是一行  我们的源代码是多行匹配的要加另一个参数 re.dotall

									    #2.3正则法一:

									        #re.findall() 返回的是lsit集合 一次过滤

									    re_res = re.findall(r'<div class="province-box">(.*)<div class="wrap-right">', raw_text,re.dotall)

									        #re_res[0] 获取下标是的数据    二次过滤

									    res=re.findall(r'title="(.*[院心部]）*)"',re_res[0])

									        #检查打印获取到的信息

									    print(res)

									    #2.4正则法二:

									        #(优化)不用二次过滤 一次过滤就解决了

									    # re_list = re.findall(r'<li><a href="/[^/].*/" rel="external nofollow"  rel="external nofollow"  target="_blank"  src="/uploads/allimg/211013/14492222R-2.jpg" />

	部分结果:

	python 正则表达式-提取图片地址
				?

									import os,sys,time,json,time

									import socket,random,hashlib

									import requests,configparser

									import json,re

									from datetime import datetime

									from multiprocessing.dummy import pool as threadpool

									def getpicurl(url):

									    url = "http://www.mzitu.com/zipai/comment-page-352"

									    html = requests.get(url).text

									    pic_url = re.findall('img src="(.*?)"',html,re.s)

									    for key in pic_url:

									        print(key + "\r\n")

									    #print(pic_url)

									getpicurl("http://www.mzitu.com/zipai/comment-pag.e-352")

	输出结果：

		python mmm.py

		http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu6578k1j20sg15nk4x.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu64q4lgj20j60nz0ua.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu67hhbaj20sg110toc.jpg

		http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66bw56j20sg0zjtlr.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65vvvtj20sg0mmtfc.jpg

		http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66gtnzj20sg0zk48h.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65q1qyj20sg11vtmo.jpg

		http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu64wgejj20e60iwtax.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu66a8xfj20lt0rptgw.jpg

		http://wx4.sinaimg.cn/mw1024/9d52c073gy1fsnr6n7n66j20k00ozn52.jpg

		http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsnr6njhjyj20sg0zkn88.jpg

		http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsnr6n2zmyj20sg0ldten.jpg

	总结
	到此这篇关于python如何利用正则表达式爬取网页信息及图片的文章就介绍到这了,更多相关python正则表达式爬取内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！

	原文链接：https://blog.csdn.net/Jun_Jun_0/article/details/115702833

正则表达式

Python

爬取

延伸 · 阅读

精彩推荐

Python

Python 隐藏输入密码时屏幕回显的实例

今天小编就为大家分享一篇Python 隐藏输入密码时屏幕回显的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...

PlatoWG10732021-05-30
Python

Django实现登录随机验证码的示例代码

登录验证码是每个网站登录时的基本标配，这篇文章主要介绍了Django实现登录随机验证码的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个...

金角大王5572021-03-07
Python

Python计算矩阵的和积的实例详解

在本篇内容里小编给大家整理的是关于Python计算矩阵的和积的实例详解内容，需要的朋友们参考下。 ...

爱喝马黛茶的安东尼6152020-09-11
Python

用Python下载一个网页保存为本地的HTML文件实例

今天小编就为大家分享一篇用Python下载一个网页保存为本地的HTML文件实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...

麦克斯韦的妖精12032021-02-22
Python

Python查找算法之插补查找算法的实现

这篇文章主要介绍了Python查找算法之插补查找算法的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋...

Amo Xiang4882021-10-07
Python

python语言是免费还是收费的？

在本篇文章里小编给大家分享的是关于python语言是否免费的相关知识点，需要的朋友们可以学习下。...

silencement8912020-06-15
Python

python快速安装OpenCV的步骤记录

这篇文章主要给大家介绍了关于python快速安装OpenCV的相关资料，文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋...

迎着黎明那道光12072021-09-07
Python

Python运算符重载用法实例

这篇文章主要介绍了Python运算符重载用法,实例分析了Python运算符重载实现加法运算的技巧,需要的朋友可以参考下...

imzoer4912020-07-09