pymysql-python爬虫数据存储准备

时间:2022-03-22 07:21:02

mongodb 和mysql 在使用哪个数据库 来存储数据上 小哥还是纠结了一下下。

很多爬虫教程都推荐mongodb 优势是速度快

因为我已经本机安装了一下 php开发环境,mysql是现成的, so 懒得换

另外我的数据量应该不会超过100万条,mysql 够使,额 !

pip  安装一下 pymysql  就可以测试 了

import pymysql.cursors

# 连接数据库
 conn= pymysql.connect(host=‘localhost‘, port=3306, user=‘captain_gg‘, passwd=‘hao123‘, db=‘python‘ , charset=‘UTF8‘)
# 获取游标 
cursor = conn.cursor()
sql = "INSERT INTO src (type,title,url) VALUES (' 1 ','" + title + "','" + href + "')"
cursor.execute(sql)
conn.commit()
# 提交,不然无法保存新建或者修改的数据
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()