用python批量向数据库(MySQL)中导入数据
- 现有数十万条数据,如下的经过打乱处理过的数据进行导入
- 数据库内部的表格的数据格式如下与下面的表格结构相同
Current database: python_test_1
+-------+-------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+----------------+
| id | int(11) | NO | PRI | NULL | auto_increment |
| name | varchar(20) | YES | | NULL | |
| maile | varchar(50) | YES | | NULL | |
| wchat | varchar(50) | YES | | NULL | |
| phone | varchar(50) | YES | | NULL | |
| brith | varchar(50) | YES | | NULL | |
+-------+-------------+------+-----+---------+----------------+
6 rows in set (0.18 sec)
实现方法
import re
from pymysql import connect
# 建立链接
conn = connect(host='localhost', port=3306, db='python_test_1', user='root', password='mysql', charset='utf8')
# 获取游标
cur = conn.cursor()
# 打开文件，读取所有文件存成列表
with open("/home/python/Desktop/code/data01.txt", "r") as file:
# 可以选择readline或者read的方式,但下面的代码要有所变化
data_list = file.readlines()
# 遍历列表
for t in data_list:
# 正则方式匹配处理字符串
text_list = re.split(r"\n", t)
text = re.split(r"\t", text_list[0])
# print(text)
# sql语句
sql = "insert into test_db values (0,%s,%s,%s,%s,%s)"
print(sql)
# 参数化方式传参
row_count = cur.execute(sql,[text[0],text[1],text[2],text[3],text[4]])
# 显示操作结果
print("SQL语句影响的行数为%d" % row_count)
# 统一提交
conn.commit()
# 关闭游标
cur.close()
# 关闭连接
conn.close()
