百里登峰 - 博客园

Spark SQL快速离线数据分析

摘要：拷贝hive-site.xml到spark的conf目录下面打开spark的conf目录下的hive-site.xml文件加上这段配置（我这里三个节点的spark都这样配置）把hive中的mysql连接包放到spark中去检查spark-env.sh的hadoop配置项检查dfs是否启动了阅读全文

posted @ 2018-03-19 21:40 百里登峰阅读(3800) 评论(0) 推荐(0) 编辑

Spark2.X分布式弹性数据集

摘要：跑一下这个结果参考代码运行结果改一下这里下面是运行结果打开这个地址我们来产生一个job 从监控页面我们可以看到随便敲一些单词用作测试因为我目前的节点2的hdfs是active状态可以看到报错了，文件目录已经存在了，我们必须要是一个不存在的路径才可以可以看到成功了我们查看一下hd 阅读全文

posted @ 2018-03-18 17:43 百里登峰阅读(615) 评论(0) 推荐(0) 编辑

Spark2.X集群运行模式

摘要： rn 启动先把这三个文件的名字改一下配置slaves 配置spark-env.sh 将spark 配置分发到其他节点并修改每个节点特殊配置 scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/ scp -r spark-2.2.0- 阅读全文

posted @ 2018-03-16 17:26 百里登峰阅读(2907) 评论(0) 推荐(0) 编辑

基于IDEA环境下的Spark2.X程序开发

摘要：我们选择在线安装这个是windows下的scala,直接双击安装就可以了安装好之后可以验证一下这个是我本地的jdk1.8安装包，直接双击安装安装完成后可以验证一下 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 解压阅读全文

posted @ 2018-03-14 22:17 百里登峰阅读(1849) 评论(0) 推荐(0) 编辑

Spark2.X环境准备、编译部署及运行

摘要：下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz 我们把spark放在节点2上解压下面我们把jdk换成1.8的配置环境变量使环境变量生效重启后另外两个节点的做法一样，这里就不多说了阅读全文

posted @ 2018-03-13 16:10 百里登峰阅读(263) 评论(0) 推荐(0) 编辑

Cloudera HUE大数据可视化分析

摘要：下载版本 cdh版本 http://archive-primary.cloudera.com/cdh5/cdh/5/ 我们下载这个这个是我下载好的我们解压一下下载需要的系统包接下来这一步的话可能时间比较久一点起码要三五分钟的，大家耐心等等现在我们编译就成功了！！！我们可以看到生成我们的b 阅读全文

posted @ 2018-03-12 11:32 百里登峰阅读(689) 评论(0) 推荐(0) 编辑

Hive与HBase集成进行数据分析

摘要：我们把hive的安装包上传的节点3来解压现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件，把下面这两个文件重命名一下修改这个文件对hive-env.sh我们修改这里下面我们在HDFS下创建目录，这个可以在任何一个节点下创建都可以，我这里就在节点2下创建了给这个目录赋予阅读全文

posted @ 2018-03-09 16:59 百里登峰阅读(514) 评论(0) 推荐(0) 编辑

centos7 安装后静态ip的配置

摘要： centos7 想到于centos6.5来说界面上看起来更加炫一点，但是在配置静态ip上来说是差不多的首先看一下centos7的安装界面，相对来说简洁好看一些先打开终端可以看到centos7默认的端口是ens32 而centos6.5默认的端口是eth0,这个不用管他，就用默认的就好了把这个阅读全文

posted @ 2018-03-07 16:16 百里登峰阅读(456) 评论(0) 推荐(0) 编辑

hbase启动后子节点的regionserver不能启动

摘要：启动hbase后，主节点的进程正常，但是子节点的regionserver进程会自动挂掉然后我们看看子节点的情况可以看到挂掉了我们这样解决问题，先把hadoop目录下的这个两个文件放到hbase的conf目录下 core-site.xml hdfs-site.xml 我这里说的是每一个节点都要这阅读全文

posted @ 2018-03-05 12:00 百里登峰阅读(559) 评论(0) 推荐(0) 编辑

MySQL安装

摘要： http://mirrors.aliyun.com/repo/Centos-6.repo 把文件下载下来打开我们可以看到里面的内容然后在对节点1进行以下操作把下载的文件内容copy到自己刚刚创建的 CentOS-Base.repo文件里面把里面的内容换成刚刚下载的文件的内容先把权限改一下，阅读全文

posted @ 2018-02-07 21:36 百里登峰阅读(177) 评论(0) 推荐(0) 编辑

百里登风

导航

公告