摘要： 如上图，已知日期2022-01-01， 需要获得以2022-01-01为终点的10天的连续时间序列 附代码如下： select date_add(dateadd(to_date('20220101','yyyymmdd'), 9, 'dd'), a.pos) as special_date from 阅读全文

摘要： 在postgres中要实现时间字段更新比较复杂， 不像mysql那样一条DDL语句就能搞定： mysql建表语句， update_time CREATE TABLE `h5_log` ( `id` int unsigned NOT NULL AUTO_INCREMENT, `template_id` 阅读全文

摘要： VERSION BLOOMFILTER value： NONE|ROW|ROWCOL 作用：对于get操作以及部分scan操作可以剔除掉不会用到的存储文件，减少实际IO次数，提高随机读性能 COMPRESSION value: Gzip|LZO|Snappy snappy压缩率最低，编解码速率最高， 阅读全文

摘要： 背景：公司选用Apache Beam 用于大数据程序开发; Apache Beam 提供了一系列通用的JAVA API, 通用是指使用Apache Beam开发的程序，可以在不对代码做任何修改的情况下运行在当下流行的计算框架上，如SPARK, FLINK...Beam的程序运行在Spark, 需要依 阅读全文

摘要： 总是忘记一些命令， mark一下 1. 列出远程分支， git branch -a * master remotes/origin/HEAD -> origin/master remotes/origin/ms2.5 2. 切换远程分支， 同时在本地创建为ms2.5分支，并切换到本地的ms2.5分支 阅读全文

摘要： 1. 打印spark-submit 加载的jar包 --conf "spark.driver.extraJavaOptions=-XX:+TraceClassLoading“ 未完待续... 阅读全文

摘要： 背景： 项目中有多个测试用例，测试用例使用yaml的配置文件，各个测试用例的yaml配置文件中有一些共有的属性， 把这些共有的属性抽取出来放在一个yaml文件中，问题来了：如何在测试用例的Yaml文件引用这些共享的Yaml文件： 测试用例的yaml文件：document.yml 共享的yaml文件： 阅读全文

摘要： 1. 清华大学源：https://pypi.tuna.tsinghua.edu.cn/simple 示例： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 2. 导出python package 列表： pip 阅读全文

摘要： 背景： 最近在公司的测试服务器上做性能测试， Spark Streaming Job，总是运行一段时间之后就挂掉了。看日志似乎是HDFS出现了问题，数据写不进去了。 但是看了看每台服务器的硬盘，明明都还有空间，最少的都有80%。不管三七二十一，先清一清数据， 把程序启动起来继续跑，并配置了cront 阅读全文

摘要： log.retention.{ms,minutes,hours}: Kafka segment log的保存周期, 默认保存7天 1. 把retention.ms 改小， 如1000ms, 即1分钟 ./kafka-configs.sh --zookeeper localhost:2181 --en 阅读全文