随笔分类 -  大数据

记录HBase手动删除Hadoop备份（archive）文件后，引发Hbase写入数据出错等一系列问题处理
摘要：由于需要规范HBase数据表命名，对测试环境的数据进行了重命名操作。 停掉所有服务后执行下面改名操作 # 禁用活跃用户表 disable 'DC_XXL:ACTIVE_USERS' # 创建快照 snapshot 'DC_XXL:ACTIVE_USERS', 'tony_snapshot' # 克隆 阅读全文
posted @ 2020-07-07 15:05 AllEmpty 阅读(2070) 评论(0) 推荐(0) 编辑
spark streaming连接kafka引发"partition.assignment.strategy"异常处理
摘要：服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- 阅读全文
posted @ 2020-03-18 10:58 AllEmpty 阅读(2488) 评论(0) 推荐(0) 编辑
Harbor本地镜像库安装与使用
摘要：Harbor安装很简单，不过安装以后要怎么操作，百度了好久都没有找到实操的方法，怎么从官方拉取镜像后更新到私有仓库中？这个弄了好久，一样样测试后才找到方法，对于不熟悉私有仓库的小白来说，有点坑。还好花了些时间解决了。 1. Harbor简介 Harbor安装很简单，不过安装以后要怎么操作，百度了好久 阅读全文
posted @ 2019-12-30 19:48 AllEmpty 阅读(2383) 评论(1) 推荐(0) 编辑
大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群
摘要：1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本） 2. 执行命令下载并安装 cd /usr/local/src/ wget h 阅读全文
posted @ 2019-12-28 21:54 AllEmpty 阅读(318) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（09）——安装Spark高可用集群
摘要：1. 获取spark下载链接 登录官网：http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/sp 阅读全文
posted @ 2019-12-28 21:50 AllEmpty 阅读(356) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（08）——安装Ganglia监控集群
摘要：1. 安装依赖包和软件 1. 安装依赖包和软件 在所有服务器上输入命令进行安装操作 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source "server" 50 master:8649 master-backup:864 阅读全文
posted @ 2019-12-28 21:45 AllEmpty 阅读(407) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（07）——安装HBase高可用集群
摘要：1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://archive.apache.org/dist/hbase/2.0.0/hb 阅读全文
posted @ 2019-12-28 21:40 AllEmpty 阅读(473) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（06）——安装Hadoop高可用集群
摘要：下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼容，不要安装了不匹配的版 阅读全文
posted @ 2019-12-28 21:34 AllEmpty 阅读(414) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（05）——安装zookeeper集群
摘要：1. 下载安装包 登录官网下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2. 执行命令下载并安装 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/ap 阅读全文
posted @ 2019-12-28 21:23 AllEmpty 阅读(308) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（04）——安装JAVA运行环境
摘要：Hadoop运行在java环境，所以在安装Hadoop之前，需要安装好jdk 提前下载好jdk安装包（jdk-8u161-linux-x64.tar.gz），将它上传到指定的安装目录当中，然后运行安装 配置服务器环境变量 在尾部添加下面配置 保存退出后，运行命令，让配置马上生效 将java安装包同步 阅读全文
posted @ 2019-12-28 21:19 AllEmpty 阅读(341) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（03）——设置SSH免密登录
摘要：Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为NameNode可以免密登录 由于是双master，所以需要在master与master_ 阅读全文
posted @ 2019-12-28 21:17 AllEmpty 阅读(341) 评论(0) 推荐(0) 编辑
大数据高可用集群环境安装与配置（01）——服务器基础配置
摘要：这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习 阅读全文
posted @ 2019-12-28 21:09 AllEmpty 阅读(1466) 评论(0) 推荐(0) 编辑