08 2021 档案
摘要：一.原始数据 u_001,2020/1/1,10 u_001,2020/1/2,150 u_001,2020/1/2,110 u_001,2020/1/2,10 u_001,2020/1/4,50 u_001,2020/1/4,10 u_001,2020/1/6,45 u_001,2020/1/6,
阅读全文
摘要：1.启动mysql 2. 启动meatstore 3.启动hiveserver2 启停脚本如下： my_hive.sh #!/bin/bash ## 启动mysql服务 systemctl start mariadb function start(){ ps -ef|grep $1|grep -v
阅读全文
摘要：官网：https://github.com/alibaba/DataX 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 安装 1. 下载安装包： wget http://datax-opensource.o
阅读全文
摘要：Kafka常用命令 1）查看Kafka Topic列表 bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --list 2）创建Kafka Topic 进入到/opt/module/kafka/目录下创建日志主题 bin/kafka-topic
阅读全文
摘要：基准测试 1） 测试HDFS写性能 测试内容：向HDFS集群写2个128M的文件 hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar
阅读全文
摘要：Hadoop参数调优 1）HDFS参数调优hdfs-site.xml The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address
阅读全文
摘要：1）hadoop 本身并不支持 lzo 压缩，故需要使用 twitter 提供的 hadoop-lzo 开源组件。hadoop lzo 需依赖 hadoop 和 lzo 进行编译，编译步骤如下。 编译参照： https://www.cnblogs.com/allthewayforward/p/11
阅读全文
摘要：Hadoop群起脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No args input" fi case $1 in "start") echo " 启动hadoop集群 " echo " 启动hdfs " ssh hadoop102 "/opt/module
阅读全文
摘要：分发脚本 #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop102 hadoop103 hadoop104 do echo $h
阅读全文
