scala.sys.process
摘要：scala 支持 像shell一样 处理命令 scala.sys.process提供了shell的和系统交互的DSL，包括执行命令, 逻辑操作, 重定向, 管道等操作。 可参考:https://www.cnblogs.com/yyy-blog/p/11483363.html
阅读全文
posted @ 2020-08-26 13:14
08 2020 档案
python多版本管理
摘要：pyenv/pip #切换当前版本 pyenv local 3.7.1
阅读全文
posted @ 2020-08-26 13:12
行式存储和列式存储
摘要：传统的关系型数据库，如 Oracle、DB2、MySQL、SQL SERVER 等采用行式存储法(Row-based)，在基于行式存储的数据库中， 数据是按照行数据为基础逻辑存储单元进行存储的， 一行中的数据在存储介质中以连续存储形式存在。 列式存储(Column-based)是相对于行式存储来说的
阅读全文
posted @ 2020-08-24 11:05
spark调用第三方工具spark-excel,文件过大,oom
摘要：/** * https://github.com/crealytics/spark-excel * @param sparkSession * @param filePath * @param header * @return */ def sparkExcel(sparkSession: Spar
阅读全文
posted @ 2020-08-11 18:05
mysql 基本函数记录
摘要：SELECT FROM_UNIXTIME(1234567890, '%Y-%m-%d %H:%i:%S')
阅读全文
posted @ 2020-08-11 15:34
hive 3.1版本 和 1.2版本差异
摘要：最近新搭的平台用到了hive 3.1的版本,发现和1.2的版本用法上存在差异 hive 3.1源码 其中涉及到时间转化的两个常用函数 from_unixtime 和 unix_timestamp 两者的TimeZone不在是从hive配置或者系统配置中获取,而是直接写死的UTC hive 1.2 最
阅读全文
posted @ 2020-08-10 15:03
ambari-环境调参
摘要：1.Apache Tez (Tez is the next generation Hadoop Query Processing framework written on top of YARN. 它是一款基于YARN的新一代数据处理和分析框架，亮点：支持DAG调度作业，它能把多个有依赖的作业转换成
阅读全文
posted @ 2020-08-06 15:41
kafka server: Tried to send a message to a replica that is not the leader for some partition. Your metadata is out of date
摘要：错误如标题: 场景:k8s 容器中通过 go语言编写的 sarama 创建一个 AsyncProducer 错误原因查找 1.通过放开sarama的日志(自己实现日志接口,重定义Logger) 1.1 sarama源码 */ package sarama import ( "io/ioutil" "
阅读全文
posted @ 2020-08-06 11:54
