摘要：window_scala-2.11.8 安装 1）安装scala-2.11.8 2）配置window环境变量 新建系统变量： 新增变量名：SCALA_HOME 新增变量值：C:\Program Files (x86)\scala 编辑环境变量（PATH） 新增path：%SCALA_HOME%\bi
阅读全文
摘要：Spark-2.3.3 安装 第一步：[root@head42 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz -C /opt/ 第二步：创建软连接 [root@head42 spark]# ln -s spark-2.4.3-bin-hadoop2.
阅读全文
摘要：安装jdk: 1.1 新建文件夹 mkdir software 1.2 在software文件下解压jdk到opt文件夹下 [root@hadoop42 software]# tar -zxvf jdk-8u111-linux-x64.tar.gz -C /opt/ 1.3 使用软连接增加别名jdk
阅读全文
摘要：Logstash和Kibana安装： Logstash-6.2.2安装 1）解压完毕后需要配置profile的环境变量 末尾追加： export LOGSTASH_HOME=/opt/logstash export PATH=$PATH:$LOGSTASH_HOME/bin Kibana-6.2.2
阅读全文
摘要：Elasticsearch安装： 1）首先我们先创建一个用户：useradd es 修改用户密码：passwd es 2）在root下修改es属主属组：chown -R es:es elasticsearch-6.2.2 在root下：curl -H "Content-Type: applicati
阅读全文
摘要：MapReduce：分布式计算框架，用来分解大数据量的处理 Map阶段对数据集上的独立元素进行指定的操作，生成键值对形成中间结果，Reduce阶段对中间结果中相同的键的所有值进行规约，以得到最终的结果。 优点： 1）易于编程：简单的实现一些接口 2）可扩展性当计算资源不足时，通过增加机器可以扩展他的
阅读全文
摘要：MapReduce 实例一：（进行文件的分词读取） 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法： [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com.
阅读全文
摘要：hadoop hive-2.3.5安装： 解压文件：[root@head42 opt]# tar -zxvf apache-hive-2.3.5-bin.tar.gz -C/opt 建立软连接：[root@head42 opt]# ln -s apache-hive-2.3.5-bin/ hive
阅读全文
摘要：hadoop sqoop （实例）day-1 sqoop：是一款开源的工具，主要用于在Hadoop与传统的数据库（mysql）间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 创建脚本：vim sqoop-customer.
阅读全文
摘要：hadoop hive (重点)day-6 他是一个储存仓库 1）hive的元数据（类似与表，列的长度等）存储在mysql上面 创建/拷贝建立新表格 1)create table table_name like old_table //只有表格 2)create table table_name a
阅读全文
摘要：hadoop hive 1）2007年hive出世， 2）2014hive0.13.0是非常的流行（先对来说比较稳定） 3）2015hive1.2.0（相对来说只不过是升级） 4）2016hive2.1.0（更新了很多的功能） 1.1hive元数据管理 1）通过hive对元数据进行建模加工，变成表的
阅读全文
摘要：hadoop hive 高级查询 select基础 1.0 一般查询 1)select * from table_name 2)select * from table_name where name='....' limit 1; 1.1cte和嵌套查询 1)with t as(select....
阅读全文
摘要：hadoop hive 高级查询 Hive聚合运算 - Group by （基本内置聚合函数）nmax, min, count, sum, avg 1）Hive基本内置聚合函数与group by 一起使用 2）支持按位置编号分组 set hive.groupby.orderby.position.a
阅读全文
摘要：Hive 函数 ！！！_a前面是类型 1.1 日期函数： 1.2 集合函数 实例：hive> select size(array(1,1,2,3,4)); ！！！注意都是小括号哈 1.3 条件函数 1.4 聚合函数
阅读全文
摘要：NoSQL HBase day-1 NoSQL kafka:是一个相对于缓冲数据的系统 三大基石： ！！！HBase基于hdfs文件系统，他是一个实时的文件 ！！！写入很快，读取很快 NoSQL(分类) 图数据库：点和点之间的关系 HBase(概述) 是一个面向列存储的数据库 他有读写的缓存
阅读全文
摘要：NoSQL Hbase（基础命令） 1.1 创建namespace（表空间相当于数据库） 1.2 创建表格和列族 1.3 添加数据 1.4 取值行键为001的数据 1.5 添加一个‘adv’列 1.6 查询两个列族中的一个列的数据 1.7 查看表结构：desc 'table' 1.8 当我们修改了三
阅读全文
摘要：NoSQL Hbase JAVA API 实例一 导入架包： 首先在java中新建一个HbaseService类 步骤一：添加配置 步骤二：快速执行方法 步骤三：查询所有 步骤四:查询表中对应的数据 步骤五：向表中插入数据 步骤六：创建一张表格 步骤七：我们打包前可以修改包名： 进入pom.xml:
阅读全文
摘要：实现sqlyog的连接： 查找：rpm -qa | grep -i mysql 启动：systemctl start mysql 方法一： 修改mysql 权限： grant all privileges on . to root@'%' identified by 'ok'; 刷新：flush p
阅读全文
