随笔分类 -  数据处理与分析

用Pyhton做数据分析, 主推 Pandas , Numpy, Excel, 主要是记录平时工作及学习常用的功能.
摘要:Python3 + selenium 获取疫情风险区数据 阅读全文
posted @ 2022-09-21 20:49 致于数据科学家的小陈 阅读(150) 评论(0) 推荐(0) 编辑
摘要:同环比 SQL 用 Case when 时间 + Group by 就搞定所有了. 阅读全文
posted @ 2021-05-23 20:36 致于数据科学家的小陈 阅读(945) 评论(0) 推荐(0) 编辑
摘要:Python 实现自动化 Excel 报表. Python 脚本去查询数据库 -> 处理数据用 Pandas -> 用 Xlwings 直接填充 Excel 模板 -> 模板关联图表, 报表自动更新. 阅读全文
posted @ 2021-03-31 22:59 致于数据科学家的小陈 阅读(2578) 评论(5) 推荐(1) 编辑
摘要:Mysql 实现 rank 排名, 通过先降序, 然后引入自定义变量 @xxx 实现 阅读全文
posted @ 2020-07-12 23:59 致于数据科学家的小陈 阅读(565) 评论(0) 推荐(0) 编辑
摘要:sql 多层嵌套 优化, 首先从算法, 逻辑上优化, 再分析语法. 经验就是一个个坑踩过来的吧. 阅读全文
posted @ 2020-06-25 20:31 致于数据科学家的小陈 阅读(2371) 评论(0) 推荐(0) 编辑
摘要:批量处理文本表, 计算字段, 索引 loc, 列转行索引 set_index( ) , 跳过行数 skiprows(), 指定列名 columns 等基本操作, 就能完成很多事情 阅读全文
posted @ 2020-05-27 23:40 致于数据科学家的小陈 阅读(477) 评论(0) 推荐(0) 编辑
摘要:用正则 re.compile() 和 re.sub () 进行特殊符号匹配; 用 df.iloc[i, j] 遍历df 单元格, 并 df.iloc[i,j] 直接原地修该, cell 值. 阅读全文
posted @ 2020-05-25 23:59 致于数据科学家的小陈 阅读(3317) 评论(0) 推荐(0) 编辑
摘要:Excel 拼接为 SQL 并打包 exe 终篇了 阅读全文
posted @ 2020-05-10 23:27 致于数据科学家的小陈 阅读(631) 评论(0) 推荐(0) 编辑
摘要:将 Excel 多列转多行, 两层循环, 下标取值, 类似指针在 二维数组的移动, 核心就是循环, 和索引 阅读全文
posted @ 2020-05-07 23:59 致于数据科学家的小陈 阅读(1538) 评论(0) 推荐(1) 编辑
摘要:将 Excel 拼接为 sql , 用了 pandas 工具, 遍历(iterrows()), 字符串切片, 文件读写等操作. 阅读全文
posted @ 2020-04-06 17:24 致于数据科学家的小陈 阅读(988) 评论(0) 推荐(0) 编辑
摘要:多自变量, 多因变量, 的典型相关分析 CCA, 和 进一步细化为 主成分多远回归等 数据分析方法 阅读全文
posted @ 2020-03-29 20:55 致于数据科学家的小陈 阅读(3052) 评论(0) 推荐(0) 编辑
摘要:整理下我最近常用的 Tableau 函数, 在计算字段时会用到, 包括, 时间, 字符串, 聚合, LOD等. 阅读全文
posted @ 2020-03-09 20:03 致于数据科学家的小陈 阅读(12872) 评论(0) 推荐(0) 编辑
摘要:时间序列 datetime 作为序列索引 阅读全文
posted @ 2019-12-15 22:29 致于数据科学家的小陈 阅读(1066) 评论(0) 推荐(0) 编辑
摘要:datetime 时间的定义, 计算, 字符串-时间 转换 阅读全文
posted @ 2019-12-13 22:25 致于数据科学家的小陈 阅读(1566) 评论(0) 推荐(0) 编辑
摘要:数据分析最重要的技巧, 没有之一. 我的分析工作都是用Excel和pandas 来整透视表, 如论深入了解, 还得Excel + 业务分析 阅读全文
posted @ 2019-12-12 21:55 致于数据科学家的小陈 阅读(713) 评论(0) 推荐(0) 编辑
摘要:数据的split-apply-聚合, 案例-缺失值-重采样-加权平均-线性回归 阅读全文
posted @ 2019-12-10 20:11 致于数据科学家的小陈 阅读(953) 评论(0) 推荐(0) 编辑
摘要:数据分析重点. 同维度下,对不同字段聚合 groupbby(key).agg({'字段1':'aggfunc1', '字段1':'aggfunc2''..} 阅读全文
posted @ 2019-12-07 17:50 致于数据科学家的小陈 阅读(1407) 评论(0) 推荐(0) 编辑
摘要:group by 过程, 数据分析中,绝对是最为重要的部分, 没有之一. 阅读全文
posted @ 2019-12-01 21:29 致于数据科学家的小陈 阅读(1860) 评论(0) 推荐(0) 编辑
摘要:索引重塑reshape 阅读全文
posted @ 2019-11-27 20:18 致于数据科学家的小陈 阅读(422) 评论(0) 推荐(0) 编辑
摘要:数据合并, 拼接 阅读全文
posted @ 2019-11-25 23:59 致于数据科学家的小陈 阅读(500) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示