摘要：
hive添加自定义函数方式有两种，一种是继承UDF ，另一种继承GenericUDF UDF开发较为方便，先新版本中已被弃用，建议使用GenericUDF org.apache.hadoop.hive.ql.exec.UDF GenericUDF开发更加灵活，但也增加了复杂成本 org.apache 阅读全文
摘要：
Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel 阅读全文
摘要：
进入myql 执行 show variables like 'character%'; 看到如下： 乱码原因，databases编码格式不一致导致的乱码，解决方法如下： 方法一： 执行如下两个命令即可： set character_set_database=utf8; set character_s 阅读全文
摘要：
hive-site.xml添加以下参数： <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> < 阅读全文
摘要：
发展： hive-cli（hive） 是hive连接hivesever的命令行工具，从hive出生就一直存在，但随着hive功能的增强、bug的修复、版本升级，hive-cli结构的局限性跟不上hive的发展，如果强行更改就不能满足向下兼容，就出现了全新的beeline命令行结构，即就是hive-c 阅读全文
摘要：
Sqoop常用参数： sqoop help： codegen 生成代码 create-hive-table 导入一个表的结构到hive，就是根据mysql中的表定义在hive中建一个同结构的表 eval 测试一个sql语句并展示查询结果 export 将一个hdfs目录中的数据导出到一个mysql的 阅读全文
摘要：
ssh免密登录： 原理： 通过密钥认证登录，首先在自己的服务器上生成公钥和私钥，其次将公钥上传到远程服务中，在于远程服务器建立连接通信时，远程服务器首先会验证该服务器上是否包含请求服务器的公钥，若不包含则需要远程登录的用户输入密码。 步骤： mkdir ～/.ssh 1.如果没有~/.ssh文件夹， 阅读全文