pandas+mysql+excel 数据处理
mysql 建表
- join 建索引,不然查询慢
- 注意时间类型是否update后会被刷新
- 设计逻辑删除 enable , 不要delete
- null,字符串 数字运算用函数 ifnull(total,0), 设计时设默认值
- 字符串类型(如果包含非纯数字数据),必须要加引号
- 默认值,非空值需提前赋值(to_sql)
- 加减如果存在精度问题,用abs()>精度误差
sql 其他用法:
- 建表: create table T as select xx from yy where zz
- 取json中的字段: json_extract( data," $.xxx " )
- 随机取n个数 order by rand() limit n
pandas 处理数据:
- 从sql提取时,如果字段较少1~2个,可在sql语句中as改名,否则在pandas 单独改名