预处理算法_7_数据去重
#!/usr/bin/env python # -*- coding:utf-8 -*- # <editable> """ columns 特征 进行操作的所有列 """ def execute(): # <editable> ''' 载入模块 ''' import pandas as pd # import db_utils from sqlalchemy import create_engine ''' 连接数据库 ''' engine = create_engine('mysql+pymysql://root:123123qwe@127.0.0.1:3306/analysis') params = { "left_columns": "score", } inputs = {"table": 'test'} ''' 选择目标数据 ''' left_sql = 'select ' + params['left_columns'] + ' from ' + inputs['table'] data_in = pd.read_sql_query(left_sql, engine) print(data_in) ''' 去除重复 ''' data_in.drop_duplicates(inplace=True) data_out = data_in ''' 将结果写出 ''' print(data_out) """ 数据示例 score 0 80.0 1 20.0 2 NaN 3 5.0 4 4.0 5 20.0 score 0 80.0 1 20.0 2 NaN 3 5.0 4 4.0 """ # </editable> if __name__ == '__main__': execute()
作者:沐禹辰
出处:http://www.cnblogs.com/renfanzi/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。
出处:http://www.cnblogs.com/renfanzi/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。