大数据高级筛选与合并--C++实现与Python实现

需求描述：

从大量相同格式的源文件中筛选出符合同一个条件的数据，整合到一张工作表中。

具体源文件格式包括.csv，.txt，拥有相同的前缀名。

如下所示，.txt源文件中的目标数据包含非数字元素，.csv的同类数据存放在单元格中，因此需要判断数据类型：

.txt:

 

.csv:

 

 

 目标数据可能包含非数字其他元素。

 python脚本实现方式：

判断非数字函数：

def is_number(s):
    try:
        float(s)
        return True
    except ValueError:
        pass
 
    try:
        import unicodedata
        unicodedata.numeric(s)
        return True
    except (TypeError, ValueError):
        pass
 
    return False

遍历目标路径文件列表，对文件后缀正则分类：

from pathlib import Path
folder_path=r'D:\visual studio\Code\test'
path=Path(folder_path)
txt_file_list = [os.path.join(folder_path, file) for file in os.listdir(folder_path) ]

对于单一文件类型列表可以在listdir后加endswith限制条件：

txt_file_list = [os.path.join(folder_path, file) for file in os.listdir(folder_path) if os.path.join(folder_path, file).endswith('.*')]

对txt_file_list中的对象进行遍历，并提取后缀：

    OriginName=os.path.split(txt_file)[1]
    TransName=OriginName.split('.')
    L_Trans=len(TransName)
    TypeName=TransName[L_Trans-1]
    print(OriginName)
    print(TypeName)

    work_book=xlwt.Workbook(encoding='utf-8') #统一编码方式，否则后续可能无法识别
    sheet=work_book.add_sheet('temp_'+TransName[0])  #临时sheet命名

对.txt和.csv分别进行处理，统一生成temp_name.csv临时文件：

    if TypeName=='txt':
        workbook=xlwt.Workbook()
        sheet1=workbook.add_sheet('name_'+TransName[0],cell_overwrite_ok=True)
        row0=[u"Gene.refGene",u"gnomAD_genome_ALL"] #筛选目标列
        for i in range(0,len(row0)):
            sheet1.write(0,i,row0[i])
    
        index=1
        f=open(txt_file)
        for line in f:
            data=line.strip('\n').split('\t')
            sheet1.write(index,0,data[6])
            sheet1.write(index,1,data[38])
            index=index+1
        csv_file_name=TransName[0]+'.csv'
        workbook.save(path.joinpath(csv_file_name))
        sheet=pd.read_excel(path.joinpath(csv_file_name),sheet_name=0)
        os.remove(os.path.join(path,csv_file_name))
    elif TypeName=='csv':
        sheet=pd.read_excel(path.joinpath(OriginName),sheet_name=0)
    else:
        ... # continue

继续使用loc函数和lambda表达式进一步按条件筛选出DataFrame：

    DataFrame1 = sheet.copy()
    DataFrame1 = DataFrame1[['Gene.refGene', 'gnomAD_genome_ALL']]
    DataFrame1=DataFrame1.loc[DataFrame1['gnomAD_genome_ALL'].apply(lambda x:is_number(x))]
    DataFrame1=DataFrame1.loc[DataFrame1['gnomAD_genome_ALL'].apply(lambda x:0<=float(x)<=0.05)]
    DataTemp=DataFrame1.reset_index(drop=True)  #忽略表头，重置索引
#   os.remove(os.path.join(path,csv_file_name))  #删除临时文件 

进行一些后续的频数统计之后使用concat或merge聚合DataFrame：

    DataTemp=pd.concat([GenNameRes,freq],axis=1,join_axes=[freq.index])
    Res=pd.concat([Res,DataTemp],axis=1, join='outer')

数据拼接方法详见：

python数据拼接: pd.concat - boobo - 博客园 (cnblogs.com)

最后生成结果表格：

Res.to_excel(path.joinpath('result.xlsx'),index=False,encoding='utf-8')

完整代码：

import xlwt
import csv
import os
import pandas as pd
from pandas.core.frame import DataFrame
import numpy as np
from pathlib import Path

def is_number(s):
    try:
        float(s)
        return True
    except ValueError:
        pass
 
    try:
        import unicodedata
        unicodedata.numeric(s)
        return True
    except (TypeError, ValueError):
        pass
 
    return False

Res=DataFrame([])

folder_path=r'D:\visual studio\Code\test'
path=Path(folder_path)
txt_file_list = [os.path.join(folder_path, file) for file in os.listdir(folder_path) ]

for txt_file in txt_file_list:
    OriginName=os.path.split(txt_file)[1]
    TransName=OriginName.split('.')
    L_Trans=len(TransName)
    TypeName=TransName[L_Trans-1]
    print(OriginName)
    print(TypeName)
    
    work_book=xlwt.Workbook(encoding='utf-8')
    sheet=work_book.add_sheet('temp_'+TransName[0])
    
    if TypeName=='txt':
        workbook=xlwt.Workbook()
        sheet1=workbook.add_sheet('name_'+TransName[0],cell_overwrite_ok=True)
        row0=[u"Gene.refGene",u"gnomAD_genome_ALL"]
        for i in range(0,len(row0)):
            sheet1.write(0,i,row0[i])
    
        index=1
        f=open(txt_file)
        for line in f:
            data=line.strip('\n').split('\t')
            sheet1.write(index,0,data[6])
            sheet1.write(index,1,data[38])
            index=index+1
        csv_file_name=TransName[0]+'.csv'
        workbook.save(path.joinpath(csv_file_name))
        sheet=pd.read_excel(path.joinpath(csv_file_name),sheet_name=0)
        os.remove(os.path.join(path,csv_file_name))
    elif TypeName=='csv':
        sheet=pd.read_excel(path.joinpath(OriginName),sheet_name=0)
    else:
        continue

    DataFrame1 = sheet.copy()
    DataFrame1 = DataFrame1[['Gene.refGene', 'gnomAD_genome_ALL']]
    DataFrame1=DataFrame1.loc[DataFrame1['gnomAD_genome_ALL'].apply(lambda x:is_number(x))]
    DataFrame1=DataFrame1.loc[DataFrame1['gnomAD_genome_ALL'].apply(lambda x:0<=float(x)<=0.05)]
    DataTemp=DataFrame1.reset_index(drop=True)
#   os.remove(os.path.join(path,csv_file_name))  
    
    freq=[]
    GenNameRes=[]
    colName=DataFrame1['Gene.refGene']
    colName=colName.reset_index(drop=True)

    dict={}
    for key in colName:
        dict[key]=dict.get(key, 0)+1
    
    for key in colName:
        if key not in GenNameRes:
            GenNameRes.append(key)
            freq.append(str(dict[key]))
        else:
            continue

    GenNameRes=DataFrame(GenNameRes)
    freq=DataFrame(freq)
    GenNameRes.columns=["Gene.refGene_"+TransName[0]]
    freq.columns=["Frequency_"+TransName[0]] 

    DataTemp=pd.concat([GenNameRes,freq],axis=1,join_axes=[freq.index])
    Res=pd.concat([Res,DataTemp],axis=1, join='outer')
Res.to_excel(path.joinpath('result.xlsx'),index=False,encoding='utf-8')
Res

C++实现：

#include <iostream> 
#include <string>
#include <fstream>
#include <sstream>
#include <iomanip>
#include <vector>
#include <cstring>
#include <algorithm>
#include <unordered_map>

using namespace std;

struct GeneData{
    string GeneRef;
    float gnom[8];
    int Times;
};
struct Testgen{
    int gen1;
    int gen2;
    string genref;
};
int main(){
    ofstream outfile;

    for(int i=1;i<=3;i++){
        string path="./Test";
        path+=('0'+i);
        path+=".csv";
        cout<<path<<endl;
        
    //string path="./Test.csv";
            ifstream ifs;
            ifs.open(path,ios::in);
            if(!ifs.is_open()){
                cout<<"open failed";
                system("pause");
            }

            string line;

            vector<GeneData>GenVec;//1
            vector<Testgen>TestgenVec;//2
            vector<string>Vstr;
            unordered_map<string,int>M;

            int CNT=1;
            getline(ifs,line);
            while(getline(ifs,line)){
                if(CNT==1){
                    CNT++;
                    continue;
                }
                //cout<<line<<endl;
                stringstream ss(line);
                string str;
                GeneData Gen;
                Testgen TestGen;

                bool flag=true;
                int cnt=1;
                // while(cnt<=190){
                //     getline(ss,str,',');
                //     if(cnt==7){
                //         Gen.GeneRef=stod(str);
                //     }
                //     if(cnt<=46 || cnt>=39){
                //         Gen.gnom[cnt-39]=stof(str);
                //         if(stof(str)>0.05){
                //             flag=false;
                //         }
                //     }
                //     cnt++;
                // }

                // if(flag==true){
                //     GenVec.push_back(Gen);
                // }
                while(cnt<=4){
                    getline(ss,str,','); //.txt文件为getline(ss,str,' ')
                    if(cnt==2){
                        TestGen.gen1=stoi(str);
                        if(TestGen.gen1<0)flag=false;
                    }
                    if(cnt==3){
                        TestGen.gen2=stoi(str);
                        if(TestGen.gen2<0)flag=false;
                    }
                    if(cnt==4)TestGen.genref=str;
                    cnt++;
                }
                
                if(flag==true){
                    TestgenVec.push_back(TestGen);
                }
                CNT++;
            }

            for(auto x:TestgenVec){
                M[x.genref]++;
            }

            string res_path="./Res";
            res_path+=('0'+i);
            res_path+=".csv";
            cout<<res_path<<endl;
            
            if(i==1){
                outfile.open("./Res.csv",ios::out);
            }
            outfile<<"chart"<<i<<endl;
            outfile<<"genref"<<','<<"Frequency"<<endl;//<<"gen1"<<','<<"gen2"<<','
            for(auto x:TestgenVec){
                outfile<<x.genref<<','<<M[x.genref]<<endl;
            }//<<x.gen1<<','<<x.gen2<<','
            // for(auto x:Vstr){
            //     outfile<<x<<endl;
            //     cout<<x<<endl;
            // }
            if(i==3){
                outfile.close();
            }
    }
    //ifstream infile("./Test.csv",ios::in);
    
    // for(auto x:GenVec){
    //     x.Times=M[x.GeneRef];
    //     cout<<x.Times<<endl;
    // }


    system("pause");
    return 0;    
}

非注释代码为测试代码，测试用csv文件仅使用简化数据类型：

运行结果为：

 

 C++实现方法有待优化文件编码方式；

其他实现方式请参考：

 C++实现读取CSV文件数据将进行计算。_Liuxm-CSDN博客_c++读取csv文件

 【C++】读取 .csv / .xlsx 文件中的指定数据(非常实用)_小朋友-CSDN博客_c++读取csv文件的某一列数据