pymysql-python爬虫数据存储准备

mongodb 和mysql 在使用哪个数据库 来存储数据上 小哥还是纠结了一下下。

很多爬虫教程都推荐mongodb 优势是速度快

因为我已经本机安装了一下 php开发环境，mysql是现成的, so 懒得换

另外我的数据量应该不会超过100万条，mysql 够使,额 ！

 

pip  安装一下 pymysql  就可以测试 了

 

import pymysql.cursors

# 连接数据库

 conn= pymysql.connect(host=‘localhost‘, port=3306, user=‘captain_gg‘, passwd=‘hao123‘, db=‘python‘ , charset=‘UTF8‘)

# 获取游标 
cursor = conn.cursor()

sql = "INSERT INTO src (type,title,url) VALUES (' 1 ','" + title + "','" + href + "')"
cursor.execute(sql)

conn.commit()

# 提交，不然无法保存新建或者修改的数据
conn.commit()

# 关闭游标
cursor.close()
# 关闭连接
conn.close()