爱知菜的技术博客

摘要： Mysql 8.1 驱动放到kettle的lib目录。 在kettle安装目录，simple-jndi目录下，编辑 jdbc.properties 文件加入mysql的配置项： MYSQL8_DB/type=javax.sql.DataSource MYSQL8_DB/driver=com.mysq 阅读全文

摘要： 安全库存公式： 在计算安全库存公式时，其实我们面对的是两个正态分布： 1. 供应周期的正态分布 2. 需求的正态分布 安全库存就是在这两个正态分布的上下浮动过程中能覆盖一定供应水平的一个标准差。 举例来说，标准正态分布的x取值范围在（-1.96，1.96）之间的时候，能覆盖95%的情况，所以当安全库 阅读全文

摘要： 竞赛地址: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting 第一名方案: https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting/d 阅读全文

摘要： 目前Pyhive和impyla不兼容，同一个python不能同时用这两个library 建议连impyla 连Impala connect函数的源代码: https://github.com/cloudera/impyla/blob/master/impala/dbapi.py 示例: from i 阅读全文

摘要： Windows 上的安装 截至目前2019/2/20 不要选python3.7版本对应的anaconda, 因为在python3.7 "async" 变成了一个关键词, 和python访问impala的库impyla有冲突, 建议选python3.5对应的anaconda版本 import impa 阅读全文

摘要： bgsave & save redis的数据库备份命令, 区别是阻塞: save会阻塞主线程, 锁定当前内存中的数据库写入磁盘, save期间redis无法处理外部命令, 直到写入完成 bgsave也会阻塞主线程, 只不过阻塞时间短一点, 它的逻辑是先把当前内存数据库复制一份(fork), 复制完了 阅读全文

摘要： impala是MPP型数据库, 支持HIVE 和 S3 作为底层存储. impala 刷新元数据 impala 能从Hive的metastore里获取表结构的元数据, 但是并不能感知 hive 的改动, 所以如果hive的表结构发生了改动需要手动来刷新 impala 缓存的元数据. 刷新方式有两种: 阅读全文

摘要： Creating Permanent Functions Copy the JAR file to HDFS and make sure the hive user can access this JAR file.Copy the JAR file to the host on which Hiv 阅读全文

摘要： Cloudera Manager 简称 CM, 是企业级的大数据集群安装/升级/管理平台, 帮助用户通过网页上的简单操作控制整个集群. 其功能如下: 1. 提供一个software repository, 方便在各个节点上安装大数据的组件 2. 批量配置 3. 集群监控 4. 集群升级/回滚/备份 阅读全文

摘要： 目前实时层比较流行的一个解决方案是Flume + Kafka + Storm/Spark Streaming/Flink + Redis. Redis 是一个很有意思的内存数据库, 它支持五种数据结构, 并且有很多很有意思的API和使用方式, 在Speed layer中, 它充当数据库的角色. St 阅读全文