2018年4月4日
the path component: '/var' is world-writable
摘要： java.io.IOException: the path component: '/var' is world-writable. Its permissions are 0666. Please fix this or select a different socket path 解决方案： c 阅读全文
posted @ 2018-04-04 23:13 梦里南柯 阅读(333) 评论(0) 推荐(0) 编辑
Kylin CDH安装
摘要： Kylin安装 [hadoop@hadoop3 cdh5.12.0]$ sudo tar -zxvf apache-kylin-2.0.0-bin-cdh57.tar.gz -C /opt/ [hadoop@hadoop3 opt]$ sudo chown -R hdfs:hdfs /opt/apa 阅读全文
posted @ 2018-04-04 17:24 梦里南柯 阅读(405) 评论(0) 推荐(0) 编辑
安装mariadb报错： Job for mariadb.service failed because the control process exited with error code. See "systemctl status mariadb.service" and "journalctl -xe" for details.
摘要： 卸载和删除都使用过了，没有起到效果，然后用了如下的方案，进行解决： CentOS 从 Yum 源安装配置 Mariadb 2017.03.01 WangYan 学习笔记 热度 7℃ 一、安装 MariaDB 1.添加 MariaDB Yum 源 cat >/etc/yum.repos.d/Maria 阅读全文
posted @ 2018-04-04 17:12 梦里南柯 阅读(1902) 评论(0) 推荐(0) 编辑
搭建Ambari 2.6.0 tar 解压缩报错
摘要： 背景：我们使用的方式不是wget 去下载ambari的源码包，而是在windows 的 firefox 下直接下载，将文件存储到本地。 执行 tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz 后 报错信息：tar 解压失败tar: Skipping to next h 阅读全文
posted @ 2018-04-04 17:09 梦里南柯 阅读(216) 评论(0) 推荐(0) 编辑
2018年4月3日
Ambari 2.6.0 HDP 2.6.3集群搭建
摘要： 1.安装环境说明 三台机器安装好CentOS-7-x86_64-Minimal-1708.iso 下载地址：https://www.centos.org/download/ 最好在安装时设置好IP和HOSTNAME 三台机器的IP和HOSTNAME下载如下 主 192.168.31.11 SY-00 阅读全文
posted @ 2018-04-03 20:51 梦里南柯 阅读(2214) 评论(0) 推荐(0) 编辑
Hive数据导入Elasticsearch
摘要： Elasticsearch Jar包准备 所有节点导入elasticsearch-hadoop-5.5.1.jar /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/elasticsearch-hadoop-5.5.1.j 阅读全文
posted @ 2018-04-03 20:29 梦里南柯 阅读(8148) 评论(0) 推荐(0) 编辑
ELK5+redhat7.4配置elasticsearch集群
摘要： ELK介绍 ELK是三个开源软件的缩写，即elasticsearch、logstack、kibana。 Elasticsearch：开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 阅读全文
posted @ 2018-04-03 20:21 梦里南柯 阅读(483) 评论(0) 推荐(0) 编辑
大数据笔记（三十二）——SparkStreaming集成Kafka与Flume
摘要： 三、集成：数据源 1、Apache Kafka：一种高吞吐量的分布式发布订阅消息系统 （1） （*）消息的类型 （*）常见的消息系统 Kafka、Redis > 只支持Topic JMS(Java Messaging Service标准)：Topic、Queue > Weblogic （*）角色：生 阅读全文
posted @ 2018-04-03 16:12 梦里南柯 阅读(248) 评论(0) 推荐(0) 编辑
大数据笔记（三十一）——SparkStreaming详细介绍，开发spark程序
摘要： Spark Streaming: Spark用于处理流式数据的模块，类似Storm 核心：DStream（离散流），就是一个RDD 一、Spark Streaming基础 1、什么是Spark Streaming？ （*）Spark Streaming makes it easy to build 阅读全文
posted @ 2018-04-03 15:08 梦里南柯 阅读(338) 评论(0) 推荐(0) 编辑
大数据笔记（三十）——一篇文章读懂SparkSQL
摘要： Spark SQL：类似Hive 一、Spark SQL基础 1、什么是Spark SQL？ (*) Spark SQL is Apache Spark's module for working with structured data. (*) 处理结构化数据的引擎 (*) 底层：依赖RDD，把S 阅读全文
posted @ 2018-04-03 11:29 梦里南柯 阅读(386) 评论(0) 推荐(0) 编辑