摘要: 一、创建表: create table windows_ss ( polno string, eff_date string, userno string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored as textfile; 数据准备 阅读全文
posted @ 2019-01-04 19:47 Z、某某 阅读(1970) 评论(0) 推荐(0) 编辑
摘要: java.lang.RuntimeException: HRegionServer Aborted 当我们启动hbase集群的时候,刚启动时每个节点上的进程都显示正常,过一会其他两个节点上的HRegionServer自动挂掉 查看日志,报以上错误。 重新启动,马上又挂掉,想起刚刚添加了一个Copro 阅读全文
posted @ 2018-12-27 19:22 Z、某某 阅读(1390) 评论(0) 推荐(0) 编辑
摘要: 一、fetch抓取 fetch 抓取是指,hive中对某些情况的查询可以不必使用MapReduce计算。(1)把hive.fetch.task.conversion 设置成none,然后执行查询语句,都会执行mapreduce程序。 hive(default)>set hive.fetch.task 阅读全文
posted @ 2018-12-26 19:58 Z、某某 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 先写一个自己的MyRecordWriter类 extends RecordWriter 再写一个自己的outputFormat extends OutputFormat 最后再driver端 自定义自己的输出类 阅读全文
posted @ 2018-12-26 19:23 Z、某某 阅读(800) 评论(0) 推荐(0) 编辑
摘要: hdfs数据到hbase过程 将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法,一种是自定义mr,一种是使用hbase提供好的import工具 hbase先创建好表 create 'TB','info' 下面是实现代码: 阅读全文
posted @ 2018-12-26 19:15 Z、某某 阅读(1721) 评论(0) 推荐(0) 编辑
摘要: 1、首先确定你安装了jdk,版本需要1.8以上 2、上传elasticsearchjar包,只需配置一个文件即可 修改配置文件config/elasticsearch.yml network.host: 192.168.100.211 3、启动测试 进入到elasticsearch主目录执行 bin 阅读全文
posted @ 2018-12-13 13:46 Z、某某 阅读(664) 评论(0) 推荐(1) 编辑
摘要: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/apache/hadoop/hbase/ 报上面的错误 经过查资料,缺少hive连接hbase的jar包 把这些包拷贝到hive的lib里 阅读全文
posted @ 2018-12-13 13:29 Z、某某 阅读(458) 评论(0) 推荐(1) 编辑
摘要: 在hue上配置Mysql的时候,出现的错误: 发生服务器错误: Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared object file: No such file or directory 问题原因: 这个 阅读全文
posted @ 2018-12-13 10:17 Z、某某 阅读(1752) 评论(0) 推荐(0) 编辑
摘要: 问题: 重启虚拟机后,再次重启nginx会报错: open() "/var/run/nginx/nginx.pid" failed (2: No such file or directory) 解决方法: (1)进入 cd /usr/local/nginx/conf/ 目录,编辑配置文件nginx. 阅读全文
posted @ 2018-12-13 09:39 Z、某某 阅读(343) 评论(0) 推荐(0) 编辑
摘要: DecimalFormat 是 NumberFormat 的一个具体子类,用于格式化十进制数字。 DecimalFormat 包含一个模式 和一组符符号含义: 0 一个数字 # 一个数字,不包括 0 . 小数的分隔符的占位符 , 分组分隔符的占位符 ; 分隔格式。 - 缺省负数前缀。 % 乘以 10 阅读全文
posted @ 2018-12-06 22:45 Z、某某 阅读(200) 评论(0) 推荐(0) 编辑