随笔分类 -  Hadoop

superset连接es中的日期格式问题及解决
摘要：问题： 使用superset连接es时，由于es的默认时间格式为iso 8601格式的，superset不能直接识别。在创建的chart中如果用到时间过滤，则会出现以下错误： base error: Error (search_phase_execution_exception): all shar 阅读全文
posted @ 2020-04-17 18:08 cauwt 阅读(2157) 评论(1) 推荐(0)
DbVisualizer配置连接hive
摘要：最近研究hive，打算在windows上用DbVisualizer连接hive写hql。没说的，先在网上搜。。。 我参考的文章如下： http://blog.csdn.net/doupeihua/article/details/52557007 http://blog.csdn.net/ydb_ja 阅读全文
posted @ 2018-01-23 16:30 cauwt 阅读(3693) 评论(0) 推荐(0)
使用 MapReduce 实现分组排名
摘要：题目： 1.输出男女组各前3名。 2.分组降序输出所有人的成绩。 3.对应的SQL语句。 数据： scores: name,age,gender,score 解答如下： 1. 输出男女组各前3名。 Java代码 SQL 代码 2.分组降序输出所有人的成绩。 Java代码 SQL代码 附：Java代码 阅读全文
posted @ 2017-09-22 13:19 cauwt 阅读(626) 评论(0) 推荐(0)
Hadoop生态圈各组件的启动及关闭脚本
摘要：将所学知识整理一下，备忘。 1. Hdfs (v 2.7.3) 1.1.启动集群 注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。 1.2.启动NameNode 1.3.启动DataNode 1.4. 启动 MR的Hi 阅读全文
posted @ 2017-09-17 10:20 cauwt 阅读(976) 评论(0) 推荐(0)
Hadoop生态圈
摘要： 阅读全文
posted @ 2017-09-13 17:36 cauwt 阅读(117) 评论(0) 推荐(0)
大数据学习笔记：Flume导数据至Kafka
摘要：一、任务描述：将本地目录~/testdata/logs.件夹下的所有.本.件通过Kafka Sink写入Kafka中的flume topic（topic名称为：flume-topic） 数据流 ~/testdata/logs -> flume -> kafka 二、版本信息： flume:1.7.0 阅读全文
posted @ 2017-09-13 16:46 cauwt 阅读(1138) 评论(0) 推荐(0)
Hadoop 2.7.4 源代码编译
摘要：一、安装所需要的工具 a) 下载hadoop源码 (当前最新的稳定版是2.7.4)地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.4-src.tar.gz b) 下载并解压apache-ant (centos自 阅读全文
posted @ 2017-09-05 15:15 cauwt 阅读(321) 评论(0) 推荐(0)
Hdfs结点格式化后重启集群
摘要：在hdfs结点格式化后，集群的ID分发生变化。 此时有两个解决方案： 一、彻底重启集群 1. 停止整个集群 2. 删除出现问题的datanode上的dfs.namenode.data.dir, 此变量是在$HADOOP_CONF_DIR/下的hdfs-site.xml里定义的。 3. 重新格式化na 阅读全文
posted @ 2017-09-02 16:59 cauwt 阅读(256) 评论(0) 推荐(0)
Zookeeper配置时的注意事项
摘要：在配置结点地址时，不要使用服务器名称，否则会出现连不上结点的错误。 举例如下： server.1=192.168.171.78:2888:3888server.2=192.168.171.79:2888:3888server.3=192.168.171.80:2888:3888 阅读全文
posted @ 2017-09-02 16:48 cauwt 阅读(176) 评论(0) 推荐(0)
Hadoop启动过程中，遇到ssh登录0.0.0.0的问题
摘要：Hadoop启动过程中，如果遇到手工ssh登录的问题，是因为之前没有配置0.0.0.0的免密登录。 解决方法： ssh-copy-id 0.0.0.0 #解决0.0.0.0的免密登录问题 ssh-copy-id master# 解决本身的免密登录问题（假设本机名为master） 阅读全文
posted @ 2017-09-02 09:34 cauwt 阅读(779) 评论(0) 推荐(0)
安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。
摘要：1. 启动hadoop 时发现namenode 没有启动起来 出现以下错误： Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not co 阅读全文
posted @ 2017-09-02 09:28 cauwt 阅读(349) 评论(0) 推荐(0)
Hadoop 如何退出安全模式
摘要：在name node 上运行如下命令 hadoop dfsadmin -safemode leave 阅读全文
posted @ 2017-08-31 08:15 cauwt 阅读(750) 评论(0) 推荐(0)
配置时间同步时，遇到同步无法成功的解决方法
摘要：环境：三台虚拟机：master,slave1,slave2 master同步主机的时间 slave1, slave2同步master的时间 问题：当启动了三台机器的ntpd 服务后，发现时间与主机时间不一致。 原因与解决方法：打开/etc/ntpd.config，发现有这样两句 根据这个博客的解释， 阅读全文
posted @ 2017-08-16 18:25 cauwt 阅读(572) 评论(0) 推荐(0)