摘要：
pandas的Series按照索引添加对应的列(需要的信息) 阅读全文
随笔档案-2019年05月
pandas处理较大数据量级的方法 - chunk,hdf,pkl
2019-05-28 15:53 by 冻雨冷雾, 5791 阅读, 收藏, 编辑
摘要：
前情提要: 工作原因需要处理一批约30G左右的CSV数据，数据量级不需要hadoop的使用，同时由于办公的本本内存较低的缘故，需要解读取数据时内存不足的原因。 操作流程： 方法与方式:首先是读取数据，常见的csv格式读取时一次性全部读取进来， 面对数据量较大(本次3亿条实车数据)时，需要 分批 并且 阅读全文
python可视化动态图表: 关于pyecharts的sankey桑基图绘制
2019-05-27 17:07 by 冻雨冷雾, 17449 阅读, 收藏, 编辑
摘要：
最近因工作原因，需要处理一些数据，顺便学习一下动态图表的绘制。本质是使具有源头的流动信息能够准确找到其上下级关系和流向。 数据来源是csv文件 导入成为dataframe之后,列为其车辆的各部件供应商公司名称或其自身的属性。 导入后经过处理期望是看到整个工业的供应链和市场份额. 结果的部分截图: 数 阅读全文
Matlab的mat格式数据转化至python数据格式
2019-05-27 16:46 by 冻雨冷雾, 5990 阅读, 收藏, 编辑
摘要：
因工作原因，一些获取的行业数据以已知的结构体存储在.mat文件中, 现需要将其存储在数据库中并且能够灵活调用至python dataframe里进行操作 原数据的一个例子如下 目标如上: 然后是转化代码: import scipy.io data = scipy.io.loadmat(r'C:\Us 阅读全文
python将excel数据写入数据库，或从库中读取出来
2019-05-27 16:29 by 冻雨冷雾, 2848 阅读, 收藏, 编辑
摘要：
首先介绍一下SQL数据库的一些基本操作： 1创建 2删除 3写入 4更新(修改) 5条件选择 有了以上基本操作，就可以建立并存储一个简单的数据库了。 放出python调用的代码: 此处是调用dos 操作数据库 不如下面的简单 # -*- coding: utf-8 -*- """ Created o 阅读全文
pandas时间数据的集成处理
2019-05-27 16:11 by 冻雨冷雾, 564 阅读, 收藏, 编辑
摘要：
工作中遇到的一个问题: 统计各地区新能源汽车的充电时长 数据来源是北理新源的单日全球的运行数据。 这里仅统计北上广重庆四个地区的 数据处理的代码就省略了 需要整理好的是4个dataframe(数据已保存为H5格式) 分别是对应上述4个城市的: 例: 这时候我们需要提取其中的时间序列统计所有vid的 阅读全文
