摘要： Logstash和Kibana安装： Logstash-6.2.2安装 1）解压完毕后需要配置profile的环境变量 末尾追加： export LOGSTASH_HOME=/opt/logstash export PATH=$PATH:$LOGSTASH_HOME/bin Kibana-6.2.2 阅读全文

摘要： Elasticsearch安装： 1）首先我们先创建一个用户：useradd es 修改用户密码：passwd es 2）在root下修改es属主属组：chown -R es:es elasticsearch-6.2.2 在root下：curl -H "Content-Type: applicati 阅读全文

摘要： MapReduce：分布式计算框架，用来分解大数据量的处理 Map阶段对数据集上的独立元素进行指定的操作，生成键值对形成中间结果，Reduce阶段对中间结果中相同的键的所有值进行规约，以得到最终的结果。 优点： 1）易于编程：简单的实现一些接口 2）可扩展性当计算资源不足时，通过增加机器可以扩展他的 阅读全文

摘要： MapReduce 实例一：（进行文件的分词读取） 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法： [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com. 阅读全文

摘要： hadoop hive-2.3.5安装： 解压文件：[root@head42 opt]# tar -zxvf apache-hive-2.3.5-bin.tar.gz -C/opt 建立软连接：[root@head42 opt]# ln -s apache-hive-2.3.5-bin/ hive 阅读全文

摘要： hadoop sqoop （实例）day-1 sqoop：是一款开源的工具，主要用于在Hadoop与传统的数据库（mysql）间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 创建脚本：vim sqoop-customer. 阅读全文