python （2）xpath与定向爬虫

时间：2022-08-27 11:37:56

内容来自：极客学院，教学视频；

写在前面：

提取Item

选择器介绍

我们有很多方法从网站中提取数据。Scrapy 使用一种叫做 XPath selectors的机制，它基于 XPath表达式。
这是一些XPath表达式的例子和他们的含义

  • /html/head/title: 选择HTML文档<head>元素下面的<title> 标签。
  • /html/head/title/text(): 选择前面提到的<title> 元素下面的文本内容
  • //td: 选择所有 <td> 元素
  • //div[@class="mine"]: 选择所有包含 class="mine" 属性的div 标签元素

这只是几个使用XPath的简单例子，但是实际上XPath非常强大。

为了方便使用XPaths，Scrapy提供XPathSelector 类， 有两种口味可以选择， HtmlXPathSelector
(HTML数据解析) 和XmlXPathSelector (XML数据解析)。 为了使用他们你必须通过一个 Response
对象对他们进行实例化操作。你会发现Selector对象展示了文档的节点结构。因此，第一个实例化的selector必与根节点或者是整个目录有关
。 
Selectors 有三种方法

  • select()：返回selectors列表, 每一个select表示一个xpath参数表达式选择的节点.
  • extract()：返回一个unicode字符串，该字符串为XPath选择器返回的数据
  • re()： 返回unicode字符串列表，字符串作为参数由正则表达式提取出来

一.xpath与定向爬虫

知识点：（话说秒杀 正则表达式啊）

// 定位根节点

/往下层寻找

/text（）获取标签中的内容

/@xxxx提取属性的内容

 #-*-coding:utf8-*-

 from lxml import etree

 html = '''

 <!DOCTYPE html>

 <html>

 <head lang="en">

     <meta charset="UTF-8">

     <title>测试-常规用法</title>

 </head>

 <body>

 <div id="content">

     <ul id="useful">

         <li>这是第一条信息</li>

         <li>这是第二条信息</li>

         <li>这是第三条信息</li>

     </ul>

     <ul id="useless">

         <li>不需要的信息1</li>

         <li>不需要的信息2</li>

         <li>不需要的信息3</li>

     </ul>

     <div id="url">

         <a href="http://jikexueyuan.com">极客学院</a>

         <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a>

     </div>

 </div>

 </body>

 </html>

 '''

 selector = etree.HTML(html)

 #提取文本

 content = selector.xpath('//ul[@id="useful"]/li/text()')#提取li标签里的内容

 for each in content:

     print each

 #提取属性

 link = selector.xpath('//a/@href')#提取标签里面的链接

 for each in link:

     print each

 title = selector.xpath('//a/@title')

 print title[0]

运行结果：

python （2）xpath与定向爬虫

二. xpath的特殊用法

例如：1. start-with（@属性名称，属性地址相同的部分）

2.string（.）

 #-*-coding:utf8-*-

 from lxml import etree

 html1 = '''

 <!DOCTYPE html>

 <html>

 <head lang="en">

     <meta charset="UTF-8">

     <title></title>

 </head>

 <body>

     <div id="test-1">需要的内容1</div>

     <div id="test-2">需要的内容2</div>

     <div id="testfault">需要的内容3</div>

 </body>

 </html>

 '''

 html2 = '''

 <!DOCTYPE html>

 <html>

 <head lang="en">

     <meta charset="UTF-8">

     <title></title>

 </head>

 <body>

     <div id="test3">

         我左青龙，

         <span id="tiger">

             右白虎，

             <ul>上朱雀，

                 <li>下玄武。</li>

             </ul>

             老牛在当中，

         </span>

         龙头在胸口。

     </div>

 </body>

 </html>

 '''

 selector = etree.HTML(html1)

 content = selector.xpath('//div[starts-with(@id,"test")]/text()')

 for each in content:

     print each

 selector = etree.HTML(html2)

 content_1 = selector.xpath('//div[@id="test3"]/text()')

 for each in content_1:

     print each

 data = selector.xpath('//div[@id="test3"]')[0]

 info = data.xpath('string(.)')

 content_2 = info.replace('\n','').replace(' ','')

 print content_2

运行结果：

python （2）xpath与定向爬虫

三：实战演练 百度贴吧

 #-*-coding:utf8-*-

 from lxml import etree

 from multiprocessing.dummy import Pool as ThreadPool

 import requests

 import json

 import sys

 reload(sys)

 sys.setdefaultencoding('utf-8')

 '''重新运行之前请删除content.txt，因为文件操作使用追加方式，会导致内容太多。'''

 def towrite(contentdict):

     f.writelines(u'回帖时间:' + str(contentdict['topic_reply_time']) + '\n')

     f.writelines(u'回帖内容:' + unicode(contentdict['topic_reply_content']) + '\n')

     f.writelines(u'回帖人:' + contentdict['user_name'] + '\n\n')

 def spider(url):

     html = requests.get(url)

     selector = etree.HTML(html.text)

     content_field = selector.xpath('//div[@class="l_post l_post_bright "]')

     item = {}

     for each in content_field:

         reply_info = json.loads(each.xpath('@data-field')[0].replace('&quot',''))

         author = reply_info['author']['user_name']

         content = each.xpath('div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content "]/text()')[0]

         reply_time = reply_info['content']['date']

         print content

         print reply_time

         print author

         item['user_name'] = author

         item['topic_reply_content'] = content

         item['topic_reply_time'] = reply_time

         towrite(item)

 if __name__ == '__main__':

     pool = ThreadPool(4)

     f = open('content.txt','a')

     page = []

     for i in range(1,21):

         newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)

         page.append(newpage)

     results = pool.map(spider, page)

     pool.close()

     pool.join()

     f.close()

python （2）xpath与定向爬虫的更多相关文章

  1. Python 中国大学排名定向爬虫

    代码来自于中国大学Mooc北京理工大学Pythont教学团队:https://www.icourse163.org/learn/BIT-1001870001#/learn/content?type=d ...

  2. Python淘宝商品比价定向爬虫

    1.项目基本信息 目标: 获取淘宝搜索页面的信息,提取其中的商品名称和价格理解: 淘宝的搜索接口.翻页的处理 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道 ...

  3. 定向爬虫 - Python模拟新浪微博登录

    当我们试图从新浪微博抓取数据时,我们会发现网页上提示未登录,无法查看其他用户的信息. 模拟登录是定向爬虫制作中一个必须克服的问题,只有这样才能爬取到更多的内容. 实现微博登录的方法有很多,一般我们在模 ...

  4. Python定向爬虫实战

    转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/7019963.html 一:requests模块介绍 requests是第三方http库,可以十分方便地实现py ...

  5. 放养的小爬虫--京东定向爬虫&lpar;AJAX获取价格数据&rpar;

    放养的小爬虫--京东定向爬虫(AJAX获取价格数据) 笔者声明:只用于学习交流,不用于其他途径.源代码已上传github.githu地址:https://github.com/Erma-Wang/Sp ...

  6. python beautifulsoup&sol;xpath&sol;re详解

    自己在看python处理数据的方法,发现一篇介绍比较详细的文章 转自:http://blog.csdn.net/lingojames/article/details/72835972 20170531 ...

  7. python Cmd实例之网络爬虫应用

    python Cmd实例之网络爬虫应用 标签(空格分隔): python Cmd 爬虫 废话少说,直接上代码 # encoding=utf-8 import os import multiproces ...

  8. 使用python做最简单的爬虫

    使用python做最简单的爬虫 --之心 #第一种方法import urllib2 #将urllib2库引用进来response=urllib2.urlopen("http://www.ba ...

  9. Python之定向爬虫Scrapy

    1.Scrapy介绍 Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试 ...

随机推荐

  1. Atiti&period;大企业病与小企业病 大公司病与小公司病

    Atiti.大企业病与小企业病 大公司病与小公司病 1. 大企业病,一般会符合机构臃肿 .多重领导 .人才流失的特点.1 2. 大企业病避免方法1 3. 小企业病 1 3.1.1. 表现1 4. 如何 ...

  2. DBobjectsCompareScript（数据库对象比较）&period;sql

    use master goIF EXISTS (SELECT * FROM sysobjects WHERE id = OBJECT_ID(N'[func_CompareDBobjectsReColu ...

  3. Java开发者值得关注的7款新工具

    云计算.大数据地快速发展催生了不少热门的应用及工具.作为老牌语言Java,其生态圈也出来了一些有关云服务.监控.文档分享方面的工具.本文总结了7款较新的Java工具,大家不妨看下. 1. JClari ...

  4. 移动端JS 触摸事件基础

    一.手机上的触摸事件   基本事件:   touchstart   //手指刚接触屏幕时触发 touchmove    //手指在屏幕上移动时触发 touchend     //手指从屏幕上移开时触发 ...

  5. C&num;项目打包后安装的桌面快捷方式图标怎么设置成自己想要的图标

    #项目打包后安装的桌面快捷方式图标怎么设置成自己想要的图标 2012-08-25 09:11匿名 | 浏览 3286 次  C#编程 C#项目用vs2005自带的工具打包后安装的桌面快捷方式图标怎么设 ...

  6. MYSQL里的索引类型介绍

    首先要明白索引(index)是在存储引擎(storage engine)层面实现的,而不是在server层面.不是所有的存储引擎支持有的索引类型. 1.B-TREE 最常见的索引类型,他的思想是所有的 ...

  7. SQL Server 2012 内存管理 &lpar;memory management&rpar; 改进

    SQL Server 2012 的内存管理和以前的版本相比,有以下的一些变化. 一．内存分配器的变化 SQL Server 2012以前的版本,比如SQL Server 2008 R2等, 有sing ...

  8. HDU 4786 生成树 并查集&plus;极大极小值 黑白边 确定选择白边的数量

    题意: 给定一个无向图 n 个点 m条无向边 u v val val == 1 表示边(u, v) 为白边 问能否找到n个点的生成树, 使得白边数为斐波那契数 思路: 并查集求图是否连通( 是否存在生 ...

  9. 「七天自制PHP框架」第三天：PHP实现的设计模式

    往期回顾:「七天自制PHP框架」第二天:模型与数据库,点击此处 原文地址:http://www.cnblogs.com/sweng/p/6624845.html,欢迎关注:编程老头 为什么要使用设计模 ...

  10. Xamarin调用JSON&period;net来解析JSON

      https://www.cnblogs.com/zjoch/p/4458516.html   再来我们要怎么解析JSON格示呢?在.net 中,我们很孰悉的JSON.net,没错,我们依然可以在X ...

相关文章