摘要：
hive 修改表 表重命名 关键字 修改列信息 关键字 即使 字段名 或者 字段类型 没有改变，也要完全指定旧的字段名 若将字段放在第一个位置，将 改为 阅读全文
摘要：
hive 命令三种执行方式 1. hive交互模式 语法 示例 2. “一次使用”命令 语法 shell $ hive e "合法的sql语句" 可以增加参数 开启静默模式，会去掉输出结果中无关行 $ hive S e "合法的sql语句"` shell $ hive S e "select fro 阅读全文
摘要：
hive 分区字段为空 (\_HIVE_DEFAULT_PARTITION_) 1.显示表的所有分区 2.默认分区 \_HIVE_DEFAULT_PARTITION_ 在hive里面表可以创建成分区表，但是当分区字段的值是 或者 时，hive会自动将分区命名为默认分区名称。默认情况下，默认分区的名称 阅读全文
摘要：
hive 空值判断 hive中空值判断基本分两种 一、 与 hive在底层数据中如何保存和标识NULL，是由 参数控制. \N 设置 ，则底层数据保存的是 ，通过查询显示的是 查询语句 NULL 2.设置 ， 则底层数据保存的是'NULL'，通过查询显示的是'NULL' 查询语句 二、 与 表示字段 阅读全文
摘要：
hive 数据加载 1、从本地导入hive 说明： 操作只是单纯的复制/移动操作，将数据文件移动到 Hive 表对应的位置 filepath： 相对路径，例如： 绝对路径，例如： 包含模式的完整 ，如： 关键字 如果指定了 ，`load filepath local inpath uri`查找文件 阅读全文
摘要：
hive 脚本传参 向hive脚本中传入参数，两种情况： 一、shell脚本调度hive脚本， hive可以直接读取系统变量和环境变量 hive脚本 脚本传参 shell start.sh !/bin/sh set x export month= hive f test.sql sql test.s 阅读全文
摘要：
hive 时间函数 时间截断函数 返回 【注意】 所支持的格式为 【大写】 转`date to_date(string timestamp) string` 时间格式转换 返回 【注意】 所支持的格式为【大写或小写】 【注意】 hive版本是否支持 上面都是参考： " 函数大全(中文版)" 阅读全文
摘要：
hive字符串函数 字符替换 参考： "CSDN 正则函数：regexp_replace" "Hive 正则匹配函数 regexp_extract" 阅读全文
摘要：
困惑 合并两条查询语句 第一条 sql use mydatabase; select max(date_id) as max_date_id from my_date_table where date_int 阅读全文
摘要：
hive isnull或ifnull的替代方法if()方法 hive没有SQL Server 的 和MySQLd的 函数，可以用 函数替代 条件为真：值1，否则值2（相当于c++里的三目运算 ） 参考 "hive if函数" 阅读全文
摘要：
hive科学计数法引发的问题 （1） hive 中 和字符串类型 运算 hive中 可以和和字符串类型 运算，其中字符串为 ，都转为了浮点类型 .若字符串不为 ，计算结果则为 . （2） hive中使用联结 中的子查询要求 ，对应字段 或可以 （3） hive中 `double float stri 阅读全文
摘要：
科学计数法转字符串 有时需要将表里的 转为 类型的（主要的是 ）,但有时 在hive里是用 表示的，不能直接转 .参考文章 "【链接】" . 对于 类型，可以直接先转为 再转为string 对于一般类型可用下面的语句（不是我写的0 0,但可以顺便学习了下hive里的 ，记录一下） 参考 "参考链接" 阅读全文
摘要：
shell命令执行结果 例子 在shell中，有时我们需要知道上调命令（或者上条函数）是否执行成功，可以用 命令 linux !/bin/bash 无参 num1=3 num2=4 sql="select ${num1} ${num2};" sss= let flag=$? echo $flag i 阅读全文
摘要：
问题 有时在写shell脚本时，脚本变量可以接受hive语句的返回值 linux !bin/bash sql1=" use mydatabase; select min(colmun) from table_name; " var1= linux sql2=" use mydatabase; sel 阅读全文
摘要：
shell简单命令 编码转换 参考： "iconv命令详解" 参数个数 参数个数的作用范围：详见 "CSDN 的作用范围 " 函数 参考： "博客园 参考1" "博客园 参考2" 当前文件脚本路径 参考： "CSDN 参考1" "简书 参考2" 查看文件编码 +`:set fileencoding` 阅读全文
摘要：
shell 参数个数 参数个数 在写shell脚本的时候，会有这样的需求:根据传入的参数个数来选择相应的操作。 命令 返回出入的参数，但要注意对 的引用范围 测试代码 1、条件判断为： 输出 2、条件判断为： 输出 的作用域只在最外层 参考 "博客园 参考1" "博客园 参考2" 阅读全文
摘要：
小坑也难受 （1） windows 自带笔记本的 问题 windows 自带笔记本的 问题，有时打开修改保存文件后，文件编码格式会变化【特别是有中文的时候】，可能为 或为 ，但是在 用到 格式，就需要转码。建议 及其他文件都用 打开编辑， 右下角有 及`换行格式`选择。 阅读全文
摘要：
MaHua是什么? 一个在线编辑markdown文档的编辑器 方便的导入导出功能 直接把一个markdown的文本文件拖放到当前这个页面就可以了 导出为一个html格式的文件，样式一点也不会丢失 编辑和预览同步滚动，所见即所得（右上角设置） VIM快捷键支持，方便vim党们快速的操作 （右上角设置） 阅读全文
摘要：
airflow Operators 一、 Dag 编写步骤 1. 类和若干operater类以及必要的Python模块 2. 设定默认参数，创建 对象 3. 提供必要的参数（比如task_id和dag)，创建 （即Operator对象） 4. 设定 的上下游依赖关系 1. import DAG类 2 阅读全文
摘要：
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" 阅读全文