python爬取实习僧招聘信息字体反爬

参考博客：http://www.cnblogs.com/eastonliu/p/9925652.html

实习僧招聘的网站采用了字体反爬，在页面上显示正常，查看源码关键信息乱码，如下图所示：

查看网页源码也是看不到关键信息：

查了一下是css3支持自定义字体，实习僧技术人员把一些字体换成了自定义的字体，浏览器上可以显示，后台就看不到了。

1.首先找到这些字体是在哪定义的。

右键查看网页源码，查找font-face，就会看到字体信息（加密的数据太多）：

可以看到这些字体源是用了base64加密，用base64库进行解密，把解密后的字体文件保存到shixi.ttf中，下载一个字体软件FontCreator。链接：https://pan.baidu.com/s/1BPRhWYvOs6KFrgNQ4h7m_g 提取码：1fa4 

 

def parse_ttf():
    font_face = " 源码上的font-face"
    b = base64.b64decode(font_face)
    with open('shixi.ttf', 'wb') as f:
        f.write(b)

 

用软件打开这个字体文件,可以右键-Captions-Codepoints选择排序方式：

可以看到这是网页替换的字体，例如:e588---1，ebbc---5.

 2.接下来就是找到这些字体和源码中相应位置字符的对应关系。

ttf文件直接打不开，可以转换成xml文件打开或者用from fontTools.ttLib import TTFont 这个库打开。

def font_dict():
    font = TTFont('shixi.ttf')
    font.saveXML('shixi.xml')

打开shixi.xml，找到cmap，这里保存了编码和字体的对应关系。

接下来就是获取这种对应关系，code所示的就是网页上的源码形式，但是用getBestCmap()函数获取后又变成十进制的数了，所以需要用hex()函数将10进制整数转换成16进制，以字符串形式表示成原来的行是。

这里有一个坑，第一行的map没有用，如果不删除接下来没办法解析。

def font_dict():
    font = TTFont('shixi.ttf')
    font.saveXML('shixi.xml')
    ccmap = font['cmap'].getBestCmap()
    print("ccmap:\n",ccmap)
    newmap = {}
    for key,value in ccmap.items():
        # value = int(re.search(r'(\d+)', ccmap[key]).group(1)) - 1
        #转换成十六进制
        key = hex(key)
        value = value.replace('uni','')
        a = 'u'+'0' * (4-len(value))+value
        newmap[key] = a
    print("newmap:\n",newmap)
    #删除第一个没用的元素
    newmap.pop('0x78')
    #加上前缀u变成unicode....
    for i,j in newmap.items():
        newmap[i] = eval("u" + "\'\\" + j + "\'")
    print("newmap:\n",newmap)

    new_dict = {}
    #根据网页上显示的字符样式改变键值对的显示
    for key, value in newmap.items():
        key_ = key.replace('0x', '&#x')
        new_dict[key_] = value

    return new_dict

 

这样就得到了网页代码和实际字符额对应关系，如下：

'0xe06b': '天', '0xe0ce': '个', '0xe0d2': 'p', '0xe0d4': 'K', '0xe109': 's'

 3.替换网页上的编码，提取正确的信息。

下面是全部源码：

 

#coding=utf-8
#[e-mail]
#2018/11/8 17:01
import requests
import re
from lxml import etree
import base64
import json
import pymysql
import time
from fontTools.ttLib import TTFont
def parse_ttf():
    font_face = ""
    b = base64.b64decode(font_face)
    with open('shixi.ttf', 'wb') as f:
        f.write(b)
#处理字体问题，返回字体对应的字典
def font_dict():
    font = TTFont('shixi.ttf')
    font.saveXML('shixi.xml')
    ccmap = font['cmap'].getBestCmap()
    print("ccmap:\n",ccmap)
    newmap = {}
    for key,value in ccmap.items():
        # value = int(re.search(r'(\d+)', ccmap[key]).group(1)) - 1
        #转换成十六进制
        key = hex(key)
        value = value.replace('uni','')
        a = 'u'+'0' * (4-len(value))+value
        newmap[key] = a
    print("newmap:\n",newmap)
    #删除第一个没用的元素
    newmap.pop('0x78')
    #加上前缀u变成unicode....
    for i,j in newmap.items():
        newmap[i] = eval("u" + "\'\\" + j + "\'")
    print("newmap:\n",newmap)

    new_dict = {}
    #根据网页上显示的字符样式改变键值对的显示
    for key, value in newmap.items():
        key_ = key.replace('0x', '&#x')
        new_dict[key_] = value

    return new_dict

#开始爬取，替换字体
def crawl(url,new_dict):
    headers = {
        'User_Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
        }
    response = requests.get(url, headers=headers)
    # print(response.text)
    html = response.text
    # print(new_dict)
    #测试这个font-face是不是对的

    for key,value in new_dict.items():
        if key in html:
            html = html.replace(key,value)
            # print('yes')
        else:
            pass
            # print('no')
    # print(html)
    html = etree.HTML(html)
    result = html.xpath("//ul[@class='position-list']//li")

    #获取职位名称，地址，公司名称，薪水，链接
    result_data = []
    for element in result:
        data = {}
        try:
            link = 'https://www.shixiseng.com'+element.xpath(".//div[1]//div[1]//a/@href")[0]
            position_name = element.xpath(".//div[1]//div[1]//a/text()")[0]
            company_name = element.xpath(".//div[1]//div[2]//a/text()")[0]
            location = element.xpath(".//div[2]//div[1]/text()")[0]
            salary = element.xpath(".//div[2]//div[2]//span[1]/text()")[0]
            week = element.xpath(".//div[2]//div[2]//span[2]/text()")[0]
            month = element.xpath(".//div[2]//div[2]//span[3]/text()")[0]
        except:
            print('wrong!')
        print(position_name,location,company_name,salary,link,week,month)
        data['position_name'] = position_name
        data['company_name'] = company_name
        data['location'] = location
        data['salary'] = salary
        data['week'] = week
        data['month'] = month
        data['link'] = link
        result_data.append(data)
    print(result_data)
    return result_data
if __name__ == '__main__':
    url = 'https://www.shixiseng.com/interns?k=Python&p='
    parse_ttf()
    data = font_dict()
    print(data)
    result = []
    for i in range(2):
        result.extend(crawl(url+str(i+1),data))
    print(result)

 

font-face会经常变化，这就需要及时更新这个数据。

 欢迎指正。