俊学之道

摘要： Git学习笔记 Git简介 目前最先进的分布式版本控制系统，Linux之父林纳斯·托瓦兹为了管理Linux内核源代码开发了Git 创建版本库 初始化 git init 文件添加到版本库 git add file.txt git commit m "add a file" 管理版本 查看版本 git 阅读全文

摘要： 数据倾斜 数据倾斜概念 在做计算的时候，数据的分散度不够(数据的Key分布不均)，导致数据分布在一台或几台机器计算 症状：典型的现象就是数据reduce到99%很久不动了 数据倾斜原因 总原因：key分布不均 业务数据的特点（数据的幂律分布） 人为建表的疏忽 join、group by、count 阅读全文

摘要： Hive优化之谓词下推 解释 Hive谓词下推(Predicate pushdown) 1. 关系型数据库借鉴而来，关系型数据中谓词下推到外部数据库用以减少数据传输 2. 基本思想：尽可能早的处理表达式 3. 属于逻辑优化，优化器将谓词过滤下推到数据源，使物理执行跳过无关数据 4. 参数打开设置：h 阅读全文

摘要： 一维表与二维表概念 一维表 一维表是每一个字段都是独立参数，如姓名、科目、分数 优点：一维表最适合透视、数据分析的数据存储结构 一维表样例： | 姓名 | 科目 | 分数 | | | | | | 张三 | 数学 | 89 | | 李四 | 数学 | 71 | | 王五 | 数学 | 79 | | 赵 阅读全文

摘要： VIM学习笔记 o 下面另起一行插入 O 上面另起一行插入 A 在末尾插入 ZZ 保存当前文件并退出Vim 0或Home 光标移动到当前行的第一个字符上 $或End 移动到当前行行尾 ^ 移动到当前行的第一个非空白字符上 f 查找下一个字符 如fx在当前行上查找下一个字符x F 方向与f相反 t 与 阅读全文

摘要： 正则表达式学习 工具 regexr：http://regexr.com/ Regex Tester：http://deerchao.net/tools/regex_tester/index.htm regexbuddy：https://www.regexbuddy.com/ Javascript正则 阅读全文

摘要： 一、导出数据库表格信息 二、导出数据库字段信息 阅读全文

摘要： 1.显示现在时间 date 2.显示今天日期 date +"%F" date +"%Y-%m-%d" 3.现在时间转化为时间戳 date +%s 4.指定某日期转化为时间戳 date -d "2018-08-01" +%s 5.某日期时间显示为yyyy-mm-dd日期 date -d "2018-0 阅读全文

摘要： #!/bin/bash #用途: #1.当前目录的txt文件批量转csv #2.制表符转逗号分隔符 #3.NULL去除 #4.删除WARN警告 for i in `ls ./*.txt` do sed -e 's/\t/,/g' -e 's/NULL//g' -e '/^WARN:/d' $i >$i.csv done 阅读全文

摘要： Excel VBA表格自行开发计划 要求功能 1. 批量删除 2. [X] 批量填充 3. [X] 批量重命名 4. [ ] 按颜色求和 5. [ ] 按底纹色选中单元格 6. [ ] 统计底纹颜色个数 7. [ ] 统计字体颜色个数 8. [ ] 按颜色求和 9. [ ] 升序、降序排序工作表 1 阅读全文