百里登风

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

随笔分类 -  Spark新闻项目

大数据Web可视化分析系统开发
摘要：下载地址 https://tomcat.apache.org/download-70.cgi 打开我们的idea 这些的话都可以按照自己的需求来修改 在这里新建包 新建一个java类 再新建一个类 我们把tomcat包加载进来 把这些包拷贝到工程目录下 还需要把这些包引进来 写入代码 下载地址 ht 阅读全文

posted @ 2018-03-24 03:01 百里登峰 阅读(537) 评论(0) 推荐(0) 编辑

Structrued Streaming业务数据实时分析
摘要：先启动spark-shell,记得启动nc服务 输入以下代码 在nc输入几个单词 我们再输入一些单词 我们改一下代码换成update模式 首先重新启动一次spark-shell,记得启动nc 换成append模式 因为我们之前的kafka的版本低了，我下载一个0.10.0版本的 下载地址 http: 阅读全文

posted @ 2018-03-23 00:29 百里登峰 阅读(2045) 评论(1) 推荐(0) 编辑

Spark Streaming实时数据分析
摘要：重新启用一个远程连接窗口 回到这边输入一些信息 看到这边就有数据接收到了 我们退出，换个方式启动 我们在这边再输入一些数据 这边处理得非常快 因为打印的日志信息太多了，我修改一下配置文件(3个节点都修改吧，保守一点了) 我们在来跑一下 再回到这边我们敲几个字母进去 把同样的单词多次输入我们看看是什么 阅读全文

posted @ 2018-03-21 16:04 百里登峰 阅读(626) 评论(0) 推荐(0) 编辑

Spark SQL快速离线数据分析
摘要：拷贝hive-site.xml到spark的conf目录下面 打开spark的conf目录下的hive-site.xml文件 加上这段配置（我这里三个节点的spark都这样配置） 把hive中的mysql连接包放到spark中去 检查spark-env.sh的hadoop配置项 检查dfs是否启动了 阅读全文

posted @ 2018-03-19 21:40 百里登峰 阅读(3818) 评论(0) 推荐(0) 编辑

Spark2.X分布式弹性数据集
摘要：跑一下这个结果 参考代码 运行结果 改一下这里 下面是运行结果 打开这个地址 我们来产生一个job 从监控页面我们可以看到 随便敲一些单词用作测试 因为我目前的节点2的hdfs是active状态 可以看到报错了，文件目录已经存在了，我们必须要是一个不存在的路径才可以 可以看到成功了 我们查看一下hd 阅读全文

posted @ 2018-03-18 17:43 百里登峰 阅读(622) 评论(0) 推荐(0) 编辑

Spark2.X集群运行模式
摘要：rn 启动 先把这三个文件的名字改一下 配置slaves 配置spark-env.sh 将spark 配置分发到其他节点并修改每个节点特殊配置 scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/ scp -r spark-2.2.0- 阅读全文

posted @ 2018-03-16 17:26 百里登峰 阅读(2912) 评论(0) 推荐(0) 编辑

基于IDEA环境下的Spark2.X程序开发
摘要：我们选择在线安装 这个是windows下的scala,直接双击安装就可以了 安装好之后可以验证一下 这个是我本地的jdk1.8安装包，直接双击安装 安装完成后可以验证一下 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 解压 阅读全文

posted @ 2018-03-14 22:17 百里登峰 阅读(1853) 评论(0) 推荐(0) 编辑

Spark2.X环境准备、编译部署及运行
摘要：下载地址 ：https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0.tgz 我们把spark放在节点2上 解压 下面我们把jdk换成1.8的 配置环境变量 使环境变量生效 重启后 另外两个节点的做法一样，这里就不多说了 阅读全文

posted @ 2018-03-13 16:10 百里登峰 阅读(266) 评论(0) 推荐(0) 编辑

Cloudera HUE大数据可视化分析
摘要：下载版本 cdh版本 http://archive-primary.cloudera.com/cdh5/cdh/5/ 我们下载这个 这个是我下载好的 我们解压一下 下载需要的系统包 接下来这一步的话可能时间比较久一点起码要三五分钟的，大家耐心等等 现在我们编译就成功了！！！ 我们可以看到生成我们的b 阅读全文

posted @ 2018-03-12 11:32 百里登峰 阅读(699) 评论(0) 推荐(0) 编辑

Hive与HBase集成进行数据分析
摘要：我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件，把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我们在HDFS下创建目录，这个可以在任何一个节点下创建都可以，我这里就在节点2下创建了 给这个目录赋予 阅读全文

posted @ 2018-03-09 16:59 百里登峰 阅读(519) 评论(0) 推荐(0) 编辑

hbase启动后子节点的regionserver不能启动
摘要：启动hbase后，主节点的进程正常，但是子节点的regionserver进程会自动挂掉 然后我们看看子节点的情况 可以看到挂掉了 我们这样解决问题，先把hadoop目录下的这个两个文件放到hbase的conf目录下 core-site.xml hdfs-site.xml 我这里说的是每一个节点都要这 阅读全文

posted @ 2018-03-05 12:00 百里登峰 阅读(574) 评论(0) 推荐(0) 编辑

MySQL安装
摘要：http://mirrors.aliyun.com/repo/Centos-6.repo 把文件下载下来 打开我们可以看到里面的内容 然后在对节点1进行以下操作 把下载的文件内容copy到自己刚刚创建的 CentOS-Base.repo文件里面 把里面的内容换成刚刚下载的文件的内容 先把权限改一下， 阅读全文

posted @ 2018-02-07 21:36 百里登峰 阅读(180) 评论(0) 推荐(0) 编辑

数据采集存储分发完整流程测试
摘要：下面讲下idea怎么创建工程 这里可以根据自己的实际需求来命名 选中main点击Sorouce 这个是一个简单的java程序工程的创建，现在我们把前面的代码copy过来，我们先把工程目录规范一下 把我前面给出的代码复制过来 把名字改了 下面是给代码打包 到这里就打包完成了，接下来把项目自带的打好的架 阅读全文

posted @ 2018-02-01 10:55 百里登峰 阅读(697) 评论(0) 推荐(0) 编辑

Flume+HBase+Kafka集成与开发
摘要：先把flume1.7的源码包下载 http://archive.apache.org/dist/flume/1.7.0/ 下载解压后 我们通过IDEA这个软件来打开这个工程 点击ok后我们选择打开一个新的窗口 不过这个默认方式导入加载时间很长，建议大家用maven方式导入。 导入之后我们看这个类 看 阅读全文

posted @ 2018-01-23 01:59 百里登峰 阅读(1611) 评论(0) 推荐(0) 编辑

Flume数据采集准备
摘要：， flume的官网：http://flume.apache.org/ flume的下载地址：http://flume.apache.org/download.html 这里我们用的是apache版本的flume 解压 改下名字 把不必要的文件删除 flume用户指南官网地址：https://cwi 阅读全文

posted @ 2018-01-20 00:39 百里登峰 阅读(403) 评论(0) 推荐(0) 编辑

Kafka分布式集群部署
摘要：这个是kafka的官网地址：http://kafka.apache.org/ 1、kafka是一个消息系统。 2、kafka对流数据可以高效的实时处理。 3、分布式集群的环境下能够保证数据的安全。 kafka的下载地址：http://kafka.apache.org/downloads 把安装包上传 阅读全文

posted @ 2018-01-19 00:11 百里登峰 阅读(270) 评论(0) 推荐(0) 编辑

HBase分布式集群部署与设计
摘要：先是把cdh版本的hbase上传上来 把安装吧的权限设置一下 解压 把没用的东西干掉 hbase的官网 配置文件 到hbase-site.xml 下面我不基于HA配置了 把hbase分发到其他两个节点上 启动进程 打开测试页面没问题 现在启动hbase 这个时候发现Hmaster挂掉了！！！ 查看一 阅读全文

posted @ 2018-01-18 21:17 百里登峰 阅读(325) 评论(0) 推荐(0) 编辑

spark新闻项目环境搭建
摘要：前面安装好三节点的centos 6.5 和配置好静态ip,这里就不多说了 创建kfk用户，然后重启 设置主机名 接下来是主机名与ip地址的映射 配置完了重启 重启后可以看到我们的主机名改变了 接下来在windows下的映射 找到这个路径下的hosts文件，用记事本编辑 在后面加上 通过软件 实现远程 阅读全文

posted @ 2018-01-15 21:03 百里登峰 阅读(572) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示