随笔分类 - 大数据从入门到放弃
大数据相关知识
摘要：写在前面 必须要先保证hadoop是正常启动的，hadoop安装配置见《CentOS7安装Hadoop集群》 HIVE是正常的，Hive安装配置见《CentOS7安装Hive》 Spark是正常的，Spark安装配置见《CentOS7安装Spark集群（yarn模式）》 其它配置 HDFS创建以下路
阅读全文
摘要：写在前面 确保Mysql配置文件开启Binlog，且设置为Row模式 #开启binlog log-bin=mysql-bin #指定binlog格式 binlog_format=row #指定开启binlog的数据库，不配置则所有库都开启 binlog-do-db=gmall-2021 Mysql安
阅读全文
摘要：写在最前面 安装kylin3必须先安装 Zookeeper，安装教程见《CentOS7安装Zookeeper集群》 Hadoop，安装教程见《CentOS7安装Hadoop集群》 HBase，安装教程见《CentOS7安装HBase集群》 Hive，安装教程见《CentOS7安装Hive》 Spar
阅读全文
摘要：写在前面 Spark-yarn安装需要首先安装： Zookeeper，安装教程见《CentOS7安装Zookeeper集群》 Hadoop，安装教程见《CentOS7安装Hadoop集群》 部署模式还有Local模式、standalone模式，自行研究 部署说明 独立部署（Standalone）模式
阅读全文
摘要：写在前面 安装HBase必须先安装 Zookeeper，安装教程见《CentOS7安装Zookeeper集群》 Hadoop，安装教程见《CentOS7安装Hadoop集群》 软件下载 自行下载所需版本，提供hbase-2.0.5-bin.tar.gz百度云下载地址 解压缩 tar xzvf hba
阅读全文
摘要：写在前面 安装kafka集群必须保证zookeeper是正常的，zookeeper安装配置教程见《CentOS7安装Zookeeper集群》 软件下载 自行下载需要的版本，提供kafka_2.11-2.4.1.tgz百度云下载链接 解压缩 tar xzvf kafka_2.11-2.4.1.tgz
阅读全文
摘要：写在最前 脚本需要先配置主机互信，配置方法见《CentOS7配置互信，实现SSH免密登录 》 基于SSH的kafka集群管理脚本 #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " $i-
阅读全文
摘要：软件下载 自行下载需要版本，提供apache-zookeeper-3.5.7-bin.tar.gz百度云下载地址 解压缩 tar xzvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module 安装目录看个人喜好，解压缩名字太长，改个名 创建zkData目
阅读全文
摘要：写在最前 脚本需要先配置主机互信，配置方法见《CentOS7配置互信，实现SSH免密登录 》 基于SSH的zookeeper管理脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "star
阅读全文
摘要：写在前面 必须要先保证hadoop是正常启动的，hadoop安装配置见《CentOS7安装Hadoop集群》 软件下载 自行下载需要的版本，这里附上apache-hive-3.1.2-bin.tar.gz百度云下载链接 解压缩 tar xzvf apache-hive-3.1.2-bin.tar.g
阅读全文
摘要：下载mysql 自行下载，附上百度云下载地址 解压缩 tar xzvf mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz -C /opt/module/ 软件保存到哪里看个人喜好,解压缩的名字太长，可以改个名 设置mysql环境变量 vim /etc/profil
阅读全文
摘要：写在最前 脚本需要先配置主机互信，配置方法见《CentOS7配置互信，实现SSH免密登录 》 基于jps的集群中java守护进程查看脚本 #!/bin/bash for host in hadoop102 hadoop103 hadoop104 do echo $host ssh $host jps
阅读全文
摘要：写在前面 hadoop集群需要配置主机互信，配置方法见《CentOS7配置互信，实现SSH免密登录 》 hadoop不应该以root用户运行，会报错，但是有解决方案，应该指定一个非root账户来运行，在core-site.xml中体现 软件下载 这里附上hadoop-3.1.3.tar.gz百度云下
阅读全文
摘要：生成密钥 ssh-keygen -t rsa 后续让输入密码，直接回车跳过，总共跳过三步 查看生成的公钥私钥 ll -a /root/.ssh会有两个文件 向自己及其他机器拷贝公钥 ssh-copy-id hostname/ip 此时会让输入yes和目标机器密码 其它机器重复上述操作 省略 验证结果
阅读全文
摘要：写在最前 分发脚本需要先配置主机互信，配置方法见《CentOS7配置互信，实现SSH免密登录 》 基于xsync的集群分发脚本 #! /bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if [ $pcount -lt 1 ] then echo No Enoug
阅读全文
摘要：JDK1.8下载 这里附上jdk-8u212-linux-x64.tar.gz的百度云下载地址，其它版本自己去甲骨文官网下载 解压缩 tar xzvf jdk-8u212-linux-x64.tar.gz -C /opt/module 没有该目录自己新建，放哪里完全看个人喜好 增加环境变量 vim
阅读全文
