孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5

时间:2022-04-23 00:51:38

孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5

(完整学习过程屏幕记录视频地址在文末)

今天在上一天的基础上继续完成对我的第一个代码程序的书写。

直接上代码。详细过程见文末屏幕录像。

```

import requests

from bs4 import BeautifulSoup

import re

import datetime

import pymongo

import _mty

import _mf

import _mbs4

import _mmongo

import _mre

import _mdb

import _mword

intc=0

def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def myfirst(s,h):

c2=_mdb.conLocaldbGhlh(r'C:\ProgramData\SQLITE3\slone.s3db')

lstNm=['id','title','newdate','source','content','adddate']

lstType=['int','string','date','str','memo','date']

lstLong=[0,255,0,255,0,0]

lstNull=['not null','not null','not null','null','not null','null']

lstPrimary=[True,False,False,False,False,False]

lstAuto=[True,False,False,False,False,False]

c3=_mdb.conLocaldbGhlh(r'C:\ProgramData\SQLITE3\new163.accdb')

strt='news163'

a=_mdb.newTablePlusGhlh('sqlite',c2,strt,lstNm,lstType,lstLong,lstNull,lstPrimary,lstAuto)

msgbox(str(a))

cursor=c2.cursor()

b=_mdb.newTablePlusGhlh('acc',c3,strt,lstNm,lstType,lstLong,lstNull,lstPrimary,lstAuto)

cursor3=c3.cursor()

cursor.execute('select * from ' + strt + ';')

data=cursor.fetchall()

for i in data:

msgbox(str(i))

cursor3.execute('select * from ' + strt + ';')

data=cursor3.fetchall()

for i in data:

msgbox(str(i))

#return True

#-------------------------

r=requests.get(s,headers=h)

#print(r.text) #r.text得到的是页面源html代码

_mf.writeAllTextToTxtFileGhlh('1.txt',r.text)

bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

s=bs.prettify()

_mf.writeAllTextToTxtFileGhlh('2.txt',str(s))

rs=bs.select('.bigsize') #选择指定style样式表的html标签元素

for i in rs:

ele=i.find_all('a') #每个h5标签下只有一个a标签

strls=ele[0].get('href')

#msgbox(strls) #取出地址

getcontentpage(strls,h,c2,cursor,c3,cursor3,strt)

#break

#---------------------

#cursor.execute('select * from ' + strt + ';')

#data=cursor.fetchall()

#for i in data:

#    msgbox(str(i))

#cursor3.execute('select * from ' + strt + ';')

#data=cursor3.fetchall()

#for i in data:

#    msgbox(str(i))

def getcontentpage(strurl,h,c2,cursor,c3,cursor3,strt):

r=requests.get(strurl,headers=h)

_mf.writeAllTextToTxtFileGhlh('3.txt',r.text)

bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

s=bs.prettify()

_mf.writeAllTextToTxtFileGhlh('4.txt',str(s))

#---------------------------

#eletemp=bs.find_all("#epContentLeft") #现在eletemp是一个rs集合对象

#上一句是错误的,通过html标签对象的id值来查找应当使用的方法是:select方法

eletemp=bs.select('#epContentLeft') #list

#msgbox(str(type(eletemp)))

eletitleparent=eletemp[0] #bs.element.Tag

#msgbox(str(type(eletitleparent)))

eletitle=eletitleparent.h1

elesource=eletitleparent.div #elesource这种对象现在被称为:bs.element.Tag对象,可以被转换为列表,但不是列表

#msgbox(str(elesource))

strtitle=_mbs4.getAllTextGhlh(eletitle)

strdate=list(elesource)[0]

strdate=_mre.getDateAndTimeString(strdate)

strsource=_mbs4.getAllTextGhlh(elesource.a)

#msgbox(strtitle)

#msgbox(strsource)

#msgbox(strdate)

#取正文

elecontent=bs.select('#endText') #所有的正文内容都这个div中,elecotent是一个List?

strcontent=_mbs4.getAllTextGhlh(elecontent)

data={

u'标题':strtitle,

u'日期':strdate,

u'来源':strsource,

u'内容':strcontent,

u'添加日期':datetime.datetime.now().__format__('%Y-%m-%d %H:%M:%S')

}

#msgbox(str(data))

#写入Mongodb数据库

c=_mmongo.conMongoDbGhlh('localhost')

db=c.news163

jh=db.first

isok=_mmongo.addNewDataGhlh(jh,data)

#msgbox(isok)

#写入sqlite3和ACCESS数据库

try:

strsql="insert into " + strt + "(title,newdate,source,content,adddate) values('" + strtitle + "','" + strdate + "','" + strsource + "','" + strcontent + "','" + datetime.datetime.now().__format__('%Y-%m-%d %H:%M:%S') + "');"

cursor.execute(strsql)

cursor3.execute(strsql)

c2.commit()

c3.commit()

except:

msgbox('出错了')

#写入word文档

try:

global intc

intc=intc+1

strf='%03d' %intc

strf=strf + '.docx'

strf='I:\\MAKEAPP\\python\\Python365\\边学习边测试文件夹\\自学PYTHON部分\\0075第七十五天爬虫实战5\\' + strf

f=_mword.newDocX(strf)

f.add_heading(strtitle,level=2)

f.add_heading(strsource,level=3)

_mword.addPToDocx(f,strcontent)

f.save(strf) #保存时必须有文件名作参数

#f.close() #没有这个命令

except:

msgbox('写word出错!')

pass

strurl='http://tech.163.com/special/techscience/'

header={

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Accept-Encoding':'gzip, deflate',

'Accept-Language':'zh-CN,zh;q=0.9',

'Cache-Control':'max-age=0',

'Connection':'keep-alive',

'Cookie':'_ntes_nuid=4c64ad6c80e3504f05302ac133efb277; _ntes_nnid=eb7c24e0daf48e922e31dc81e431fde2,1536978956105; Province=023; City=023; NNSSPID=acab5be191004a2b81a3a6ee60f516dc; NTES_hp_textlink1=old; UM_distinctid=1683adcaeaf2f8-0e31bcdad8532c-3c604504-144000-1683adcaeb094d; vjuids=-7a5afdb26.1683adccded.0.d9d34439a4e48; vjlast=1547175776.1547175776.30; ne_analysis_trace_id=1547175775731; s_n_f_l_n3=7476c45eb02177f91547175775852; vinfo_n_f_l_n3=7476c45eb02177f9.1.0.1547175775852.0.1547176062972',

'Host':'tech.163.com',

'If-Modified-Since':'Fri, 11 Jan 2019 03:01:05 GMT',

'Referer':'http://tech.163.com/',

'Upgrade-Insecure-Requests':'1',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

header2={

'Host':'tech.163.com',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

}

myfirst(strurl,header2)

```

二、今天为了将爬到的新闻放到word文档中,写了辅助的word模块自定义的函数模块

【_mword.py】

```

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

import string

from docx import *

from docx.shared import Inches

import _mty

import _cl #常用常量模块

import _mre

mwordErrString=''

def msgbox(info,titletext='孤荷凌寒的word模块对话框QQ578652607',style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def newDocX(strfilenm,isShowMsg=False):

'''

创建一个新的docx并保存在指定的路径下成为指定文件名的文件 。

'''

try:

f=Document() #创建新文档 对象

f.save(strfilenm) #保存这个文件

return f #f的类型是:<class 'docx.document.Document'>

except Exception as e:

mwordErrString='尝试创建一个新的word文件时出错:' + str(e) + '\n此函数由【孤荷凌寒】创建,QQ578652607'

if isShowMsg==True:

msgbox(mwordErrString)

return None

else:

pass

finally:

pass

def addPToDocx(f,strp,isShowMsg=False):

try:

lst=strp.split('\n')

for i in lst:

i.strip()

p=f.add_paragraph(i)

#---接下来可调整格式

return True

except Exception as e:

mwordErrString='尝试将来自网页的内容写入word文档正文时出错:' + str(e) + '\n此函数由【孤荷凌寒】创建,QQ578652607'

if isShowMsg==True:

msgbox(mwordErrString)

return False

else:

pass

finally:

pass

#f=newDocX(r'I:\MAKEAPP\python\Python365\边学习边测试文件夹\自学PYTHON部分\0075第七十五天爬虫实战5\孤荷凌寒.docx')

#print(type(f))

```

三、安装word模块与了解到的一些知识

(一)、安装Python-docx

在windows的命令行窗口中输入:

pip install python-docx

(二)、官方文档的引用此模块的声明书写:

from docx import *

from docx.shared import Inches

官方文档:

https://python-docx.readthedocs.io/en/latest/index.html

今天只进行了初略了解,对此模块对象还没有深入研究。

四、其它感受

今天已成功解决了昨天没有解决的写入sqlite数据库的问题,而且今天发现,

关系型数据库的

insert

sql语句应当是可以通用的,那么完成一个统一的通用添加函数,最好与nosql数据库都统一起来就更好,这样对数据存取入数据库的代码书写和记忆来说都要简化很多。

——————————

今天整理的学习笔记完成,最后例行说明下我的自学思路:

根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记 。

通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。

于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!

根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)

链接:https://pan.baidu.com/s/1zjlWH2maPabigrLeDnSnbg

提取码:2adh

Bilibili:

https://www.bilibili.com/video/av40813661/

喜马拉雅语音笔记:

https://www.ximalaya.com/keji/19103006/154269324

孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5的更多相关文章

  1. 孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9并使用pydocx模块将结果写入word文档

    孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天终于完成了对docx模块针对 ...

  2. 孤荷凌寒自学python第七十八天开始写Python的第一个爬虫8

    孤荷凌寒自学python第七十八天开始写Python的第一个爬虫8 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天止基本完成了对docx模块针 ...

  3. 孤荷凌寒自学python第七十七天开始写Python的第一个爬虫7

    孤荷凌寒自学python第七十七天开始写Python的第一个爬虫7 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 今天的学习仍然是在纯粹对docx模 ...

  4. 孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6

    孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 不过由于对python-docx模 ...

  5. 孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4

    孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  6. 孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3

    孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  7. 孤荷凌寒自学python第七十二天开始写Python的第一个爬虫2

    孤荷凌寒自学python第七十二天开始写Python的第一个爬虫2 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  8. 孤荷凌寒自学python第七十一天开始写Python的第一个爬虫

    孤荷凌寒自学python第七十一天开始写Python的第一个爬虫 (完整学习过程屏幕记录视频地址在文末) 在了解了requests模块和BeautifulSoup模块后,今天开始真正写一个自己的爬虫代 ...

  9. 孤荷凌寒自学python第七十天学习并实践beautifulsoup对象用法3

    孤荷凌寒自学python第七十天学习并实践beautifulsoup对象用法3 (完整学习过程屏幕记录视频地址在文末) 今天继续学习beautifulsoup对象的属性与方法等内容. 一.今天进一步了 ...

随机推荐

  1. 源码编译Chrome

    官网描述 http://www.chromium.org/developers/how-tos/build-instructions-windows 为啥还要写这篇博客 太久没在这里写博客 Chrom ...

  2. hihoCoder 1082然而沼跃鱼早就看穿了一切 (字符串处理)

    http://hihocoder.com/problemset/problem/1082 首先将字符串全部字母变成小写,不断用find查找字符串中的Marshtomp,并把每个字符变为’#‘ ,最后统 ...

  3. Android 儿子Activity在启动过程中的流程组件 &amp&semi;amp&semi;&amp&semi;amp&semi; 儿子Activity在一个新的进程组件启动过程

    1.儿子Activity在启动过程中的流程组件 在Android Activity启动过程http://blog.csdn.net/jltxgcy/article/details/35984557一文 ...

  4. spring boot高性能实现二维码扫码登录&lpar;中&rpar;——Redis版

    前言 本打算用CountDownLatch来实现,但有个问题我没有考虑,就是当用户APP没有扫二维码的时候,线程会阻塞5分钟,这反而造成性能的下降.好吧,现在回归传统方式:前端ajax每隔1秒或2秒发 ...

  5. MyBatis动态SQL小结

    6:用于实现动态sql的元素及其用法 if+set--完成更新操作 if+where --完成多条件查询 if+完成多条件查询(替代where)或完成更新操作(替代set) choose(when,o ...

  6. StringJdbc &colon;jdbcTemplate

    Spring框架对Jdbc进行了封装 提供了一个JDBCTemplated对象简化Jdbc开发 步骤 1 导包 2 创建JDBCTemplate 对象 依赖于DataSource 3 调用JDBCTe ...

  7. C&num;复习笔记(4)--C&num;3:革新写代码的方式(查询表达式和LINQ to object(下))

    查询表达式和LINQ to object(下) 接下来我们要研究的大部分都会涉及到透明标识符 let子句和透明标识符 let子句不过是引入了一个新的范围变量.他的值是基于其他范围变量的.let 标识符 ...

  8. &period;NET开源Protobuf-net组件葵花手册

    一.前言 我们都知道 protobuf是由Google开发的一款与平台无关,语言无关,可扩展的序列化结构数据格式,可用做数据存储格式, 通信协议 ! 在前面<.NET开源Protobuf-net ...

  9. IDEA报错Target level &&num;39&semi;1&period;6&&num;39&semi; is incompatible with source level &&num;39&semi;1&period;7&&num;39&semi;

    解决IDEA 编译级别 Error:java: Target level '1.6' is incompatible with source level '1.7'. A target level ' ...

  10. 小K的农场

    小K的农场 题目描述 小K在MC里面建立很多很多的农场,总共n个,以至于他自己都忘记了每个农场中种植作物的具体数量了,他只记得一些含糊的信息(共m个),以下列三种形式描述: 农场a比农场b至少多种植了 ...