数据处理任务介绍
数据处理的一些基本任务:
与外界进行交互:读取各种文件(txt,csv,doc)和数据库中的数据
准备:对数据进行加工处理,清洗、变形等以便以后进行数据分析
转换:做一些数学和统计的计算,产生一个新的数据集。
建模和计算:将数据应用到统计模型、机器学习或其他计算工具中
展示:生成图表、图片、文字摘要等
主要用到的工具:
pandas:能够快捷的处理结构化数据。主要有Series(一维数组),DataFrame(二维数组),以及多维数组等数据结构
matplotlib:绘制数据图表的python库。
numpy:python科学计算的基础包。用于创建多维数组,可以执行元素级计算,也可以直接对数据进行数学运算。