02 2019 档案

kaggle竞赛: 沃尔玛销量预测

摘要：竞赛地址: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting 第一名方案: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting/d 阅读全文

posted @ 2019-02-28 18:06 爱知菜阅读(109) 评论(0) 推荐(0) 编辑

python2/python3 连接 hive/impala 的问题汇总

摘要：目前Pyhive和impyla不兼容，同一个python不能同时用这两个library 建议连impyla 连Impala connect函数的源代码: https://github.com/cloudera/impyla/blob/master/impala/dbapi.py 示例: from i 阅读全文

posted @ 2019-02-21 18:20 爱知菜阅读(184) 评论(0) 推荐(0) 编辑

anaconda python 连 impala (选择正确的anaconda版本, bug修复) & linux python3装 jupyter

摘要：Windows 上的安装截至目前2019/2/20 不要选python3.7版本对应的anaconda, 因为在python3.7 "async" 变成了一个关键词, 和python访问impala的库impyla有冲突, 建议选python3.5对应的anaconda版本 import impa 阅读全文

posted @ 2019-02-20 18:01 爱知菜阅读(32) 评论(0) 推荐(0) 编辑

Redis bgsave & setnx & zset

摘要：bgsave & save redis的数据库备份命令, 区别是阻塞: save会阻塞主线程, 锁定当前内存中的数据库写入磁盘, save期间redis无法处理外部命令, 直到写入完成 bgsave也会阻塞主线程, 只不过阻塞时间短一点, 它的逻辑是先把当前内存数据库复制一份(fork), 复制完了阅读全文

posted @ 2019-02-12 10:40 爱知菜阅读(9) 评论(0) 推荐(0) 编辑

impala 更新元数据以及用impala对复杂类型的列查询

摘要：impala是MPP型数据库, 支持HIVE 和 S3 作为底层存储. impala 刷新元数据 impala 能从Hive的metastore里获取表结构的元数据, 但是并不能感知 hive 的改动, 所以如果hive的表结构发生了改动需要手动来刷新 impala 缓存的元数据. 刷新方式有两种: 阅读全文

posted @ 2019-02-02 17:40 爱知菜阅读(143) 评论(0) 推荐(0) 编辑