摘要: linux遍历文件列表 for i in `ls` do echo $i done 例子: 1.循环压缩文件 for i in `ls` do echo $i zip -v $i.zip $i done 阅读全文
posted @ 2021-01-20 21:05 俊学之道 阅读(408) 评论(0) 推荐(0) 编辑
摘要: 6.25小时转换为6:15 1.提取小数,小数*60就是分钟 2.乘以60,使用求余,余数就是分钟 --Hive环境 select 6.25, int(6.25), pmod(6.25*60,60), concat(int(6.25),':',int(pmod(6.25*60,60))) 阅读全文
posted @ 2020-12-18 12:56 俊学之道 阅读(486) 评论(0) 推荐(0) 编辑
摘要: csv文件格式-逗号分隔符 背景:伙伴们使用csv格式,碰到各种问题,本质还是对csv格式不太了解。我个人对csv 格式已经非常熟悉了,简单说下csv格式,以及说下Excel正确打开csv的方式。 csv简介 csv:逗号分隔符文件 本质:文本文件 Windows系统:推荐EmEditor文本编辑器 阅读全文
posted @ 2020-12-10 17:23 俊学之道 阅读(1457) 评论(0) 推荐(0) 编辑
摘要: Hive客户端连接服务端报错Required field 'client_protocol' is unset Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, config 阅读全文
posted @ 2020-11-16 10:37 俊学之道 阅读(9141) 评论(0) 推荐(0) 编辑
摘要: COALESCE函数 COALESC非空查找函数 函数作用:传入第一个非空值,如果都为空则返回空 可使用数据库:Mysql、Hive、 SQL Server 使用例子 SELECT COALESCE(NULL,1,NULL); 返回结果1 SELECT COALESCE(NULL,NULL,NULL 阅读全文
posted @ 2020-11-13 17:48 俊学之道 阅读(281) 评论(0) 推荐(0) 编辑
摘要: Markdown 图片与图床使用 背景:非法大型gif上传到gitlab,占用大量空间。解决方式是把gif当作图片处理,图片上传图床,获得图床链接,链接放到markdown文件展示即可。故简单介绍markdown图片样式与图床概念,以便帮助大家理解。 markdown图片样式 ![filename] 阅读全文
posted @ 2020-10-31 23:01 俊学之道 阅读(443) 评论(0) 推荐(0) 编辑
摘要: gitignore - Git忽略机制 .gitignore用于忽略提交规则,.gitignore理解为一个文本配置文件,打开.gitignore填入相应的正则规则 如果不明白如何填写 可使用gitignore 自动生成网址生成规则 也可在github/gitignore上找到对应语言复制 规则复制 阅读全文
posted @ 2020-10-19 23:05 俊学之道 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 设置或更改Mac文件的默认打开程序 右键 显示简介 打开方式 全部更改 操作步骤 1.右键,选择显示简介 2.选择需要打开的软件 3.选择全部更改,完成修改默认打开程序 阅读全文
posted @ 2020-01-15 18:05 俊学之道 阅读(6925) 评论(0) 推荐(0) 编辑
摘要: Hive时间处理 时间戳:unix_timestamp 时间戳转日期:from_unixtime 常用时间写法 | 时间 | Hive语句 | | | | | 上月1号 | trunc(add_months(current_date(), 1),'MM') | | 本月1号 | trunc(curr 阅读全文
posted @ 2020-01-15 17:52 俊学之道 阅读(547) 评论(0) 推荐(0) 编辑
摘要: csv大文件处理方案-数据量超表格最大容纳行数解决方案 结论先行 查看 Windows系统查看:下载Emeditor查看--推荐 Mac系统查看:Vscode查看 汇总计算 优雅方式 表格的Power pivot Tableau 编程计算 不优雅但可行方法 切分为多个小文件 linux使用split 阅读全文
posted @ 2019-12-17 18:14 俊学之道 阅读(10794) 评论(0) 推荐(0) 编辑