随笔分类 - 数据处理与分析
用Pyhton做数据分析, 主推 Pandas , Numpy, Excel, 主要是记录平时工作及学习常用的功能.
摘要：Python3 + selenium 获取疫情风险区数据
阅读全文
摘要：同环比 SQL 用 Case when 时间 + Group by 就搞定所有了.
阅读全文
摘要：Python 实现自动化 Excel 报表. Python 脚本去查询数据库 -> 处理数据用 Pandas -> 用 Xlwings 直接填充 Excel 模板 -> 模板关联图表, 报表自动更新.
阅读全文
摘要：Mysql 实现 rank 排名, 通过先降序, 然后引入自定义变量 @xxx 实现
阅读全文
摘要：sql 多层嵌套 优化, 首先从算法, 逻辑上优化, 再分析语法. 经验就是一个个坑踩过来的吧.
阅读全文
摘要：批量处理文本表, 计算字段, 索引 loc, 列转行索引 set_index( ) , 跳过行数 skiprows(), 指定列名 columns 等基本操作, 就能完成很多事情
阅读全文
摘要：用正则 re.compile() 和 re.sub () 进行特殊符号匹配; 用 df.iloc[i, j] 遍历df 单元格, 并 df.iloc[i,j] 直接原地修该, cell 值.
阅读全文
摘要：Excel 拼接为 SQL 并打包 exe 终篇了
阅读全文
摘要：将 Excel 多列转多行, 两层循环, 下标取值, 类似指针在 二维数组的移动, 核心就是循环, 和索引
阅读全文
摘要：将 Excel 拼接为 sql , 用了 pandas 工具, 遍历(iterrows()), 字符串切片, 文件读写等操作.
阅读全文
摘要：多自变量, 多因变量, 的典型相关分析 CCA, 和 进一步细化为 主成分多远回归等 数据分析方法
阅读全文
摘要：整理下我最近常用的 Tableau 函数, 在计算字段时会用到, 包括, 时间, 字符串, 聚合, LOD等.
阅读全文
摘要：时间序列 datetime 作为序列索引
阅读全文
摘要：datetime 时间的定义, 计算, 字符串-时间 转换
阅读全文
摘要：数据分析最重要的技巧, 没有之一. 我的分析工作都是用Excel和pandas 来整透视表, 如论深入了解, 还得Excel + 业务分析
阅读全文
摘要：数据的split-apply-聚合, 案例-缺失值-重采样-加权平均-线性回归
阅读全文
摘要：数据分析重点. 同维度下,对不同字段聚合 groupbby(key).agg({'字段1':'aggfunc1', '字段1':'aggfunc2''..}
阅读全文
摘要：group by 过程, 数据分析中,绝对是最为重要的部分, 没有之一.
阅读全文
