批量输入导入超时终止问题
问题现象:
数据量:25G
导入方式:先将大文件切分成1G大小,然后对小文件实行load data loacla infile ....由于小文件数量较多,于是编写了一个脚本批量执行
问题:大概导入到第七个文件左右,导入就自动终止了
解决方式:
问题的原因在于数据库中给每个会话设置了超时时间,把对应的超时时间。而在指定的超时时间内数据库并不能执行完所有的导入操作。解决方式是将当前会话的超时时间加长
set wait_timeout=18000;set interactive_timeout=18000;
这么设置之后,就可以正常完成导入操作了。
导入时还发现一个小问题,就是我们的的导入文本中存在空字段,导致使用load data时报错,这是修要修改sql_mode ,放宽sql限制
set sql_mode='';