如何用python解析mysqldump文件

一、前言

    最近在做离线数据导入HBase项目，涉及将存储在Mysql中的历史数据通过bulkload的方式导入HBase。由于源数据已经不在DB中，而是以文件形式存储在机器磁盘，此文件是mysqldump导出的格式。如何将mysqldump格式的文件转换成实际的数据文件提供给bulkload作转换，是需要考虑的一个问题。

 

二、思路

      我们知道mysqldump导出的文件主要是Insert，数据库表结构定义语句。而要解析的对象也主要是包含INSERT关键字记录，这样我们就把问题转换成如何从dmp文件解析Insert语句。接触过dmp文件的同学应该了解，其INSERT语句的结构，主要包含表名、字段名、字段值, 这里面主要包含几个关键字：INSERT INTO, VALUES。我们要做的就是把Values括号后的字段值给解析出来，这个过程需要考虑VALUES后面包含的是多少行的记录，有可能导出的记录Values后面包含多行对应mysql中存储的记录。

      在解析文件过程中，我自然想到用Python来写，因为Python在处理文件方面有很多优势，也比较简单。在处理DMP文件这块，考虑到字段值间是用逗号分割的，在python中正好一个模块可以很好的来处理此类格式 ，即大家很熟悉的CSV模块，在处理CSV类型的文件有很多优势。在这里我们把CSV模块有在解析dmp文件，同时加一些解析逻辑，可以很好解决此类问题。

        同时，我们要处理的dmp文件是经过压缩的，并且单个文件都比较大，都是Gigbytes的，在读取时需要注意机器内存大小，不能一次读出所有的数据，python也考虑到此类问题，采用的方法是惰性取值，即在真正使用时才从磁盘中加载相应的文件数据。如果想加块解析，还可以采集多进程或多线程的方法。

三、方法

        处理流程图如下所示：

        代码如下图所示：

#!/usr/bin/env python
import fileinput
import csv
import sys
import gzip


# 设定CSV读取的最大容量
csv.field_size_limit(sys.maxsize)

def check_insert(line):
    """
    返回语句是否以insert into开头，如果是返回true,否则返回false
    """
    return line.startswith('INSERT INTO') or False


def get_line_values(line):
    """
    返回Insert语句中包含Values的部分
    """
    return line.partition('VALUES ')[2]


def check_values_style(values):
    """
    保证INSERT语句满足基本的条件，即包含(右括号    
    """
    
    if values and values[0] == '(':
        return True
    return False

def parse_line(values):
    """
    创建csv对象，读取INSERT VALUES 字段值
    """
    latest_row = []

    reader = csv.reader([values], delimiter=',',
                        doublequote=False,
                        escapechar='\\',
                        quotechar="'",
                        strict=True
    )

   
    for reader_row in reader:
        for column in reader_row:
            # 判断字段值是否为空或为NULL
            if len(column) == 0 or column == 'NULL':
                latest_row.append("")
                continue
            
            # 判断字段开头是否以（开头,如果是则说明此VALUES后面不只包含一行数据，可能有多行，要分别解析
            if column[0] == "(":                
                new_row = False                
                if len(latest_row) > 0:
                    #判断行是否包含）,如果包含则说明一行数据完毕
                    if latest_row[-1][-1] == ")":
                        # 移除）
                        latest_row[-1] = latest_row[-1][:-1]
                        if latest_row[-1] == "NULL":
                            latest_row[-1] = ""
                        new_row = True
                # 如果是新行，则打印该行
                if new_row:                    
                    line="}}}{{{".join(latest_row)
                    print "%s<{||}>" % line
                    latest_row = []
                
                if len(latest_row) == 0:
                    column = column[1:]
            
            latest_row.append(column)
        # 判断行结束符
        if latest_row[-1][-2:] == ");":
            latest_row[-1] = latest_row[-1][:-2]
            if latest_row[-1] == "NULL":
                latest_row[-1] = ""
            
            line="}}}{{{".join(latest_row)
            print "%s<{||}>" % line

def main():   
    
    filename=sys.argv[1]
    try:
        #惰性取行
        with gzip.open(filename,"rb") as f:
            for line in f:                
                    if check_insert(line):
                        values = get_line_values(line)
                        if check_values_style(values):
                            parse_line(values)
    except KeyboardInterrupt:
        sys.exit(0)

if __name__ == "__main__":
    main()

 

四、总结

    总的说来，主要是利用Python的CSV模块来解析DMP文件的INSERT语句，如果DMP文件不规整，可能还是有些问题。对于dmp文件很大情况，也是需要考虑解析时间效率问题，可以考虑增加多进程或多线程机制。