RICH-ATONE

sqoop配置从HDFS(Hive表) EXPORT 数据到MySQL

摘要： sqoop export 参数相关注：使用sqoop不管从mysql导到hive还是hive导到mysql，参数的最后一定不能有空格，否则报错执行不成功！ ps:--columns方式应可以解决mysql自增主键的问题 2.sqoop导出export数据到mysql sqoop中--update- 阅读全文

posted @ 2020-11-05 11:28 RICH-ATONE 阅读(431) 评论(0) 推荐(0) 编辑

hadoop高可用参考

摘要： https://together.blog.csdn.net/article/details/102638347?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add_param_ 阅读全文

posted @ 2020-11-03 18:43 RICH-ATONE 阅读(99) 评论(0) 推荐(0) 编辑

hive实现全局排序使用sort by+order by还是直接使用order by表较好

摘要：如果数据量较小的话，直接使用order by即可。实际场景中一般先使用sort by再使用order by效率更高一些。 sort by只能保证在reduce内有序。 hive实现全排序： 1.要么用order by，但这样默认了reducer个数为1，效率低下。 2.要么用sort by+o 阅读全文

posted @ 2020-11-02 15:07 RICH-ATONE 阅读(1530) 评论(0) 推荐(0) 编辑

oozie安装配置详解

摘要： https://www.cnblogs.com/czlan91/articles/10805637.html http://shiyanjun.cn/archives/664.html （简单之美）阅读全文

posted @ 2020-11-02 14:50 RICH-ATONE 阅读(89) 评论(0) 推荐(0) 编辑

BI产品痛点思考与分析

摘要： bi到产品经理： bi痛点如何破局阅读全文

posted @ 2020-10-30 17:45 RICH-ATONE 阅读(272) 评论(0) 推荐(0) 编辑

idea安装配置scala

摘要： https://blog.csdn.net/mango_ZZY/article/details/104583543 阅读全文

posted @ 2020-10-28 19:18 RICH-ATONE 阅读(115) 评论(0) 推荐(0) 编辑

CRT的安装与破解

摘要：参考： https://www.cnblogs.com/yjd_hycf_space/p/7729796.html 阅读全文

posted @ 2020-10-28 15:17 RICH-ATONE 阅读(283) 评论(0) 推荐(0) 编辑

Hive中with as 的使用

摘要： https://blog.csdn.net/Abysscarry/article/details/81322669 阅读全文

posted @ 2020-10-27 17:35 RICH-ATONE 阅读(394) 评论(0) 推荐(0) 编辑

HIVE中Create Temporary Table临时表的创建

摘要： HIVE Temporary Table 参考：http://www.javachain.com/ 例如：create temporary table tmp as select * from test.test001 ; 注意：创建的临时表仅仅在当前会话是可见的，数据将会被存储在用户的暂存目录阅读全文

posted @ 2020-10-27 17:12 RICH-ATONE 阅读(18463) 评论(0) 推荐(1) 编辑

spark连接mysql的几种方式

摘要： import java.util.Properties import org.apache.spark.sql.{DataFrameReader, SparkSession} object testMysql2 { def main(args: Array[String]): Unit = { // 阅读全文

posted @ 2020-10-27 14:58 RICH-ATONE 阅读(689) 评论(0) 推荐(0) 编辑