随笔分类 -  Hadoop

摘要:VALUES Statement | 6.3.x | Cloudera Documentation SELECT now() as date_DES UNION ALL SELECT trunc(now(), 'month') union all select date_sub(trunc(now( 阅读全文
posted @ 2023-01-16 22:27 po-A 阅读(88) 评论(0) 推荐(0) 编辑
摘要:beeline> !connect jdbc:hive2://192.168.0.108:10000Connecting to jdbc:hive2://192.168.0.108:10000Enter username for jdbc:hive2://192.168.0.108:10000: r 阅读全文
posted @ 2020-05-22 18:52 po-A 阅读(2950) 评论(0) 推荐(0) 编辑
摘要:Hive 运行show tables报错: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate or 阅读全文
posted @ 2020-05-22 15:52 po-A 阅读(1126) 评论(0) 推荐(0) 编辑
摘要:重启Hadoop,报错如下:Cannot create directory /tmp/hive/root/67ae8485-0e7e-4e31-af1b-276dce2e86d3. Name node is in safe mode.The reported blocks 70 has reache 阅读全文
posted @ 2020-05-21 21:19 po-A 阅读(631) 评论(0) 推荐(0) 编辑
摘要:oracle安装+WINDOWS Oracle SQL DEVELOPER hive JDBC连接 阅读全文
posted @ 2020-05-20 20:13 po-A 阅读(1199) 评论(0) 推荐(0) 编辑
摘要:报错: Exception in thread "main" java.lang.RuntimeException: java.net.SocketException: Call From bigdata/192.168.0.108 to bigdata:9000 failed on socket 阅读全文
posted @ 2020-05-20 17:59 po-A 阅读(2296) 评论(0) 推荐(0) 编辑
摘要:SHOW CREATE TABLE t; SHOW INDEX FORMATTED --增加列标题 阅读全文
posted @ 2020-05-19 15:03 po-A 阅读(1568) 评论(0) 推荐(0) 编辑
摘要:HIVE分区,桶,倾斜概念 ref:https://edu.hellobi.com/course/93/play/lesson/2037 静态分区: 按日期来分区 动态分区: 商品二级类目分区(图书、数码等),是不确定的 set hive.exec.dynamic.partition 查看设置tru 阅读全文
posted @ 2020-05-17 17:17 po-A 阅读(391) 评论(0) 推荐(1) 编辑
摘要:HIVE表-标准建表语句解析,内/外表 REF: https://edu.hellobi.com/course/93/play/lesson/2035 hive> create external table test(id int); OK Time taken: 12.057 seconds hi 阅读全文
posted @ 2020-05-16 20:28 po-A 阅读(1025) 评论(0) 推荐(0) 编辑
摘要:REF: https://edu.hellobi.com/course/93/play/lesson/2034 VARCHAR 有局限性。不能作为UDF函数的返回值。 1)varchar-->string 2)直接创建generic udf函数 MAP:键,值 分别相同类型 这里的STRUCT和C语 阅读全文
posted @ 2020-05-16 20:18 po-A 阅读(177) 评论(0) 推荐(0) 编辑
摘要:REF: https://edu.hellobi.com/course/93/play/lesson/2033 配置: 如果是多主机模式,那么bind.host 记得把localhost改成master 知识点补充: [root@bigdata conf]# ps -ef UID PID PPID 阅读全文
posted @ 2020-05-16 19:06 po-A 阅读(556) 评论(0) 推荐(0) 编辑
摘要:REF:https://edu.hellobi.com/course/93/play/lesson/2032 HIVE CLI 你也可以命令行设置mapred.map.tasks=10, 这样起效优先级> hiveconf > .xml文件. -e : [root@bigdata conf]# hi 阅读全文
posted @ 2020-05-16 16:21 po-A 阅读(142) 评论(0) 推荐(0) 编辑
摘要:重启记录,hadoop练习。 先熟悉一下语句: [root@bigdata hadoop]# $HADOOP_HOME/sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh St 阅读全文
posted @ 2020-04-13 20:48 po-A 阅读(4924) 评论(0) 推荐(0) 编辑
摘要:sqoop 运行 MYSQL密码输入错误的报错示例: 20/04/13 18:47:02 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 20/04/13 18:47:02 INFO manager.MySQLManager: Preparing to 阅读全文
posted @ 2020-04-13 18:50 po-A 阅读(485) 评论(0) 推荐(0) 编辑

Tushare大数据开放社区-免费提供各类金融数据和区块链数据 , 助力智能投资与创新型投资。

Python, Matlab, R, Web数据抽取学习交流。

点击右上角即可分享
微信分享提示