优化中...
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Tdcqma '''
v1.0:
由于网站结构存在变更的可能性，一旦爬虫爬取的页面发生变化则会影响正则表达式的匹配，导致爬虫失效。
为了解决这个问题重新架构该爬虫，新的爬虫将分3个部分，即：
【1】信息收集：一旦网站结构发生变化只需要更改此部分的正则表达式即可，收集的信息需要保存至一个嵌套列表中。
【2】信息筛选：即使网站结构发生变化也不需要变更此部分。
【3】信息发送：即使网站结构发生变化也不需要变更此部分。 ''' import urllib.request
import ssl,re
import smtplib,email
import datetime # ---------------------------------------------
# 【1】信息收集，正则表达匹配网站信息，包括date、title、url等，
# 将所有信息保存至sec_all_list列表中
# --------------------------------------------- # 指定以当前日期(年月日格式)为搜索条件
#today = str(datetime.date.today())
today = "2017-09-25" # 临时指定测试时间
str_domain = "http://www.nsfocus.net"
sec_all_list = [] # 收集所有漏洞信息并保存在列表中 # 因一天的漏洞个数可能要占用好几个网站页面，所以指定被扫描网站需要扫描的网页数范围，默认读取10页
for i in range(10):
url = "http://www.nsfocus.net/index.php?act=sec_bug&type_id=&os=&keyword=&page=%s" % (i+1)
request = urllib.request.Request(url)
# 当尝试访问https开始当站点时，设置全局取消SSL证书验证
ssl._create_default_https_context = ssl._create_unverified_context
response = urllib.request.urlopen(request)
data = response.read().decode('utf-8') if today in data: # 用于匹配内容的正则表达式部分
str_re = "<.*" + today + ".*"
res = re.findall(str_re, data) for line in res: sec_sub_list = [] # 收集单独的漏洞信息 # 收集漏洞标题
title_craw = re.findall("/vulndb/\d+.*</a>", line) # 获取标题
title = title_craw[0][15:-4]
sec_sub_list.append(title) # 收集漏洞url
url_craw = re.findall("/vulndb/\d+", line) # 获取链接
sub_url = str_domain + url_craw[0]
sec_sub_list.append(sub_url) # 收集漏洞受影响的版本
vul_request = urllib.request.Request(sub_url)
vul_response = urllib.request.urlopen(vul_request)
vul_data = vul_response.read().decode('utf-8') affected_version = re.findall("<blockquote>.*</blockquote>", vul_data, re.S)
affected_version = str(affected_version[0][12:-13])
aff_ver = affected_version.replace("<br />","")
sec_sub_list.append(aff_ver) # 将所有收集的子列表保存至汇总列表sec_all_list中
sec_all_list.append(sec_sub_list) # ---------------------------------------------
# 【2】信息筛选
# --------------------------------------------- # 筛选后的内容最终会保存至msg变量中
msg = "" # 调用get_sec_info函数，将目标系统或应用名称作为参数传入，即可获取相关爬虫告警信息
def get_sec_info(vul):
if vul in line[0]:
sec_info = "\n漏洞名称：" + line[0] + "\n漏洞链接：" + line[1] + "\n受影响的版本：\n" + line[2]+"\n"
global msg
msg += sec_info for line in sec_all_list: get_sec_info("Apache")
get_sec_info("Cisco")
get_sec_info("EMC")
get_sec_info("Samba") # 为放置数据丢失，同时将筛选后的爬虫信息写入文本f中，f指向secInfo-lvmeng.txt文档。
f = open("secInfo-lvmeng.txt", 'w', encoding='utf-8')
f.writelines(msg) # ---------------------------------------------
# 【3】信息发送
# --------------------------------------------- chst = email.charset.Charset(input_charset = 'utf-8')
header = ("From: %s\nTo: %s\nSubject: %s\n\n" %
("from_mail@163.com",
"to_mail@163.com",
chst.header_encode("[爬虫安全通告-绿盟]"))) # 借用163smtp服务器发送邮件，将上面读到的报警信息作为邮件正文发送。 email_con = header.encode('utf-8') + msg.encode('utf-8')
smtp = smtplib.SMTP("smtp.163.com")
smtp.login("from_mail@163.com","from_mail_pass")
smtp.sendmail('from_mail@163.com','to_mail',email_con)
print('mail send success!')
smtp.quit()