python爬取数据练习（二）---lxml数据爬取后存储在数据库mysql中

上一篇文章我使用BeautifulSouplist并存到excel中，这里我使用lxm，并保存在mysql中。

lxml主要使用到的函数是xpath这个函数，获取你要获取的便签的路径。

主要语法：

可以参考文章 http://blog.csdn.net/think_ma/article/details/78900436

from lxml import etree

def lxmlHtml(html):
    con = etree.HTML(str(html))
    print(etree.tostring(con))
    pages =  con.xpath('//div[@class="bd doulist-subject"]')
    moviecount = len(pages)
    images =  con.xpath('//div[@class="post"]/a/img/@src')
    movietitle = con.xpath('//div[@class="title"]/a/text()');
    moviescore = con.xpath('//div[@class="rating"]/span[@class="rating_nums"]/text()');
    movieactor = con.xpath('//div[@class="abstract"]/br[1]')
    nameActor=[];
    for item in movieactor:
        conss = etree.HTML(etree.tostring(item));
        string = conss.xpath('string()').strip();
        print(string);
        nameActor.append(string);
    print(images)
    print(nameActor)
    print(moviescore)
    print(movietitle)
    savesql(nameActor,movietitle,moviescore,images);

写入mysql数据库

import pymysql

def savesql(names,titles,scores,images):
    # 数据库的链接
    global countnum;
    conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='XXXXXXXX', db='XXX',charset='utf8')
    print(conn);
    # 创建操作的游标
    cursor = conn.cursor();
    # 设置字符编码及自动提交
    cursor.execute('set names utf8')  # 固定格式
    cursor.execute('set autocommit=1');  # 设置自动提交
    # 编写SQL
    k = 0;
    for nametxt in names:
        titletxt = titles[k].strip();
        score = scores[k].strip();
        image = images[k].strip();
        print(score);
        print(nametxt);
        print("=========");
        print(nametxt);
        print(titletxt);
        print("=========");

        # sql2 = "DELETE FROM Movie WHERE id = 1";
        sql = "insert into Movie(name,title,score,image,id) values(%s,%s,%s,%s,%s)";
        print("sql语句:" + str(sql));
        cursor.execute(sql,(nametxt,titletxt,score,image, countnum));
        countnum = countnum + 1;
        k = k+1;

    cursor.close();
    conn.close();

在写入数据库的时候遇到很多问题，其中一个就是解码问题，英文输入还好，如果是中文输入的时候就会出现乱码。

网上找好了很多才修改好

    sql = sql.encode(self.encoding, 'surrogateescape')
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 47-48: ordinal not in range(256)

由于我用的是Navicat Premium 我直接在Navicat里修改了编码格式为uft-8

选择当前数据库下的一个表，然后选择Edit 出现下面的界面

改完之后，发现还会出现问题，在插入数据的表的字段下面看看编码格式，改完之后OK。