10 2021 档案
摘要：搭建HA高可用 1.HA的文件参数（在master节点上配置文件） ①：配置hadoop-env.sh文件 修改配置： exportJAVA_HOME=/opt/java ②：配置core-site.xml文件 添加： <property> <name>fs.defaultFS</name> <va
阅读全文
摘要：集群节点故障诊断与处理 安装Nagios服务端的时出现被需要的依赖包问题，需要安装mysql的rpm包： 输入：wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-community-libs-compat-5.7.25-1.el7.x8
阅读全文
摘要：Mapreduce配置优化 1.优化Reduce节点个数 ①：设置reduce数量为1 修改hadoop目录下啊的mapred-site.xml文件 添加： ②：运行mapreduce实例 输入：hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop
阅读全文
摘要：hdfs的配置优化 1.优化 dfs.replication 文件副本数 ①：HDFS 文件副本数设置为 3；修改文件。 进入 /opt/hadoop/etc/hadoop 目录下修改hdfs-site.xml 文件 <property> <name>dfs.replication</name> <
阅读全文
摘要：Linux缓冲区优化 1.设置合理的预读取缓冲区大小 ①：查看磁盘占用情况 输入：df -h ②：读取设备的预读值 输入：sudo blockdev --getra /dev/sda1 输出值： 8192 ③：修改设备的预读值 输入：sudo blockdev --setra 10240 /dev/
阅读全文
摘要：Linux文件系统优化 一、增大可打开文件描述的数目 ①：修改limist.,conf文件 输入 sudo vim /etc/security/limits.conf 添加： * hard nofile 1048576* soft nproc 1048576* hard nproc 1048576*
阅读全文
摘要：Linux系统磁盘的优化 1.查看当前系统支持的I/O调度器 终端输入 dmesg | grep -i scheduler 进行查看返还： 2.查看当前硬盘IO调度算法的I/O调度器 终端输入 cat /sys/block/sda/queue/scheduler 查看 返还： 3.临时修改当前的I/
阅读全文
摘要：Linux网络优化 1.查看防火墙状态（本人虚拟机已经永久关闭防火墙） 关闭防火墙查看：https://www.cnblogs.com/hdpcwl/articles/15350051.html 2.禁用ipv6 ①：修改配置文件 sudo sysctl/sysctl.conf 添加： ②：参数配置
阅读全文
摘要：Linux系统优化 #掌握Linux系统常用优化工具的使用、系统网络性能进行优化的方法、文件系统的基本优化、系统预读缓冲区的优化方法以及掌握Swap分区及内存分配策略的修改方法 #free命令、top命令 *free用来显示内存的使用情况**top是Linux常用的性能分析工具* 1.查看swapp
阅读全文
摘要：Spark-shell进行词频统计 1.将README.md文件上传至hdfs上： hadoop fs -put README.md / 2.进入shell编辑界面 spark-shell ①：val textFile = sc.textFile("/README.md") ②： textFile.
阅读全文
摘要：Scala #掌握Spark的架构#掌握Spark的工作原理#掌握Spark的安装部署#掌握Scala的架构#掌握Spark的参数修改方法#掌握Spark Shell的编程#掌握Spark的基础管理方法 注意:spark的版本号与Scala版本号是不一致的,spark依赖Scala 先安装Scala
阅读全文
摘要：Flume与Kafka 1.在flume下的conf目录下创建syslog_mem_kafka.conf文件并添加内容 直接编辑会自动创建该文件，并修改权限为当前用户 sudo vim syslog_mem_kafka.conf 添加内容： agent1.sources = srcagent1.ch
阅读全文
摘要：Kafka安装 1.解压文件 tar -zxvf /apps/kafka_2.11-1.0.0.gz -C /opt 2.修改名称 进入opt/目录下：mv kafka_2.11-1.0.0 kafka 3.添加环境变量 、 4.生成环境变量 source /etc/profile kafka操作
阅读全文
摘要：ETL组件 Flume安装 1.解压文件 tar -zxvf /apps/apache-flume-1.6.0-bin.tar.gz -C /opt 2.修改文件名 3.配置环境变量 sudo vim /etc/profile 4.生成环境环境变量 source /etc/profile Flume
阅读全文
摘要：sqoop导入数据 进入mysql： mysql -uroot -pLover*159 1.创建数据库并插入数据 （1）创建数据库并将其定位默认数据库 create database mysql_hdfs; use mysql_hdfs; （2）创建表： create table users(id
阅读全文
摘要：sqoop安装 1.解压tar包 tar -zxvf /apps/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/ 2.修改名称 3.修改环境变量 sudo vim /etc/profile 添加： 4.生成环境变量 source /etc/profile
阅读全文
摘要：Hive参数的配置 新建hive用户在MySql中新建名称hive_db的数据库，用来存储Hive元数据；并创建hive用户，密码为自定义，并且赋予权限： create database hive_db;（新建hive_db数据库） create user hive identified by 'L
阅读全文
摘要：myslq安装 1.查看Maria DB数据库并卸载掉 rpm -qa | grep mariadb sudo rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64 2.使用rpm安装 MySql： sudo rpm -ivh /opt/hive/mysq
阅读全文
