ubuntu 16.04 ssh免密码连接不上
摘要：我们在用ubuntu系统搭建集群的时候，配置免密码登录是必须经过的一步 我这里集群的每个节点都是采用的是root用户，因为ubuntu系统不同centos，ubuntu真的限制太多太不友好了 下面看看我遇到的问题 就是在我们把子节点的公钥都发送到主节点的时候，提示我们输入密码，但是怎么输入密码都不行
阅读全文
posted @ 2018-03-25 15:28
03 2018 档案
ubuntu 16.04 配置静态ip 后默认的网卡eno1变成eth0了不能联网的问题解决
摘要：我这次是在真实机器上面安装的ubuntu16.04 在配置了静态ip后不懂什么原因默认的eno1网卡变回了eth0网卡之后就不能上网， 同一个网段的其他集群节点也不能ping 通 因为ubuntu16.04的默认网卡不再是eth0了。今天突然变回来了 我本来以为就是变配置文件 root@nssa-s
阅读全文
posted @ 2018-03-25 14:56
ubuntu 16.04在真实机安装后的静态ip的配置
摘要：nssa-sensor1@nssa-sensor1:~$ vim /etc/network/interfaces以下是编辑文件的内容# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto eno1iface eno1 inet staticaddress 192.168.1.101br...
阅读全文
posted @ 2018-03-24 17:52
ubuntu 16.04 静态ip的配置
摘要：nssa-sensor1@nssa-sensor1:~$ vim /etc/network/interfaces以下是编辑文件的内容# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto eno1iface eno1 inet staticaddress 192.168.1.101br...
阅读全文
posted @ 2018-03-24 17:50
大数据Web可视化分析系统开发
摘要：下载地址 https://tomcat.apache.org/download-70.cgi 打开我们的idea 这些的话都可以按照自己的需求来修改 在这里新建包 新建一个java类 再新建一个类 我们把tomcat包加载进来 把这些包拷贝到工程目录下 还需要把这些包引进来 写入代码 下载地址 ht
阅读全文
posted @ 2018-03-24 03:01
Structrued Streaming业务数据实时分析
摘要：先启动spark-shell,记得启动nc服务 输入以下代码 在nc输入几个单词 我们再输入一些单词 我们改一下代码换成update模式 首先重新启动一次spark-shell,记得启动nc 换成append模式 因为我们之前的kafka的版本低了，我下载一个0.10.0版本的 下载地址 http:
阅读全文
posted @ 2018-03-23 00:29
Spark Streaming实时数据分析
摘要：重新启用一个远程连接窗口 回到这边输入一些信息 看到这边就有数据接收到了 我们退出，换个方式启动 我们在这边再输入一些数据 这边处理得非常快 因为打印的日志信息太多了，我修改一下配置文件(3个节点都修改吧，保守一点了) 我们在来跑一下 再回到这边我们敲几个字母进去 把同样的单词多次输入我们看看是什么
阅读全文
posted @ 2018-03-21 16:04
Spark SQL快速离线数据分析
摘要：拷贝hive-site.xml到spark的conf目录下面 打开spark的conf目录下的hive-site.xml文件 加上这段配置（我这里三个节点的spark都这样配置） 把hive中的mysql连接包放到spark中去 检查spark-env.sh的hadoop配置项 检查dfs是否启动了
阅读全文
posted @ 2018-03-19 21:40
Spark2.X分布式弹性数据集
摘要：跑一下这个结果 参考代码 运行结果 改一下这里 下面是运行结果 打开这个地址 我们来产生一个job 从监控页面我们可以看到 随便敲一些单词用作测试 因为我目前的节点2的hdfs是active状态 可以看到报错了，文件目录已经存在了，我们必须要是一个不存在的路径才可以 可以看到成功了 我们查看一下hd
阅读全文
posted @ 2018-03-18 17:43
Spark2.X集群运行模式
摘要：rn 启动 先把这三个文件的名字改一下 配置slaves 配置spark-env.sh 将spark 配置分发到其他节点并修改每个节点特殊配置 scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/ scp -r spark-2.2.0-
阅读全文
posted @ 2018-03-16 17:26
基于IDEA环境下的Spark2.X程序开发
摘要：我们选择在线安装 这个是windows下的scala,直接双击安装就可以了 安装好之后可以验证一下 这个是我本地的jdk1.8安装包，直接双击安装 安装完成后可以验证一下 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 解压
阅读全文
posted @ 2018-03-14 22:17
Spark2.X环境准备、编译部署及运行
摘要：下载地址 ：https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz 我们把spark放在节点2上 解压 下面我们把jdk换成1.8的 配置环境变量 使环境变量生效 重启后 另外两个节点的做法一样，这里就不多说了
阅读全文
posted @ 2018-03-13 16:10
Cloudera HUE大数据可视化分析
摘要：下载版本 cdh版本 http://archive-primary.cloudera.com/cdh5/cdh/5/ 我们下载这个 这个是我下载好的 我们解压一下 下载需要的系统包 接下来这一步的话可能时间比较久一点起码要三五分钟的，大家耐心等等 现在我们编译就成功了！！！ 我们可以看到生成我们的b
阅读全文
posted @ 2018-03-12 11:32
Hive与HBase集成进行数据分析
摘要：我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件，把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我们在HDFS下创建目录，这个可以在任何一个节点下创建都可以，我这里就在节点2下创建了 给这个目录赋予
阅读全文
posted @ 2018-03-09 16:59
centos7 安装后静态ip的配置
摘要：centos7 想到于centos6.5来说界面上看起来更加炫一点，但是在配置静态ip上来说是差不多的 首先看一下centos7的安装界面，相对来说简洁好看一些 先打开终端 可以看到centos7默认的端口是ens32 而centos6.5默认的端口是eth0,这个不用管他，就用默认的就好了 把这个
阅读全文
posted @ 2018-03-07 16:16
hbase启动后子节点的regionserver不能启动
摘要：启动hbase后，主节点的进程正常，但是子节点的regionserver进程会自动挂掉 然后我们看看子节点的情况 可以看到挂掉了 我们这样解决问题，先把hadoop目录下的这个两个文件放到hbase的conf目录下 core-site.xml hdfs-site.xml 我这里说的是每一个节点都要这
阅读全文
posted @ 2018-03-05 12:00
