摘要: ####1.官网下载flink安装包 ####2.解压 tar -zxvf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /home/hadoop/app/ ####3.修改配置文件 修改flink-conf.yaml #vim /home/hadoop/ap 阅读全文
posted @ 2022-02-23 11:44 菜鸟孤单 阅读(43) 评论(0) 推荐(0) 编辑
摘要: ####hadoop、spark、flink、kafka、zookeeper安装参照本博客部署安装 ####组件版本选择 hadoop2.7.5 spark-2.4.8-bin-hadoop2.7 flink-1.13.1-bin-scala_2.11 kafka_2.13-2.6.2 zookee 阅读全文
posted @ 2021-12-21 22:06 菜鸟孤单 阅读(2103) 评论(0) 推荐(0) 编辑
摘要: ####1.在官网下载spark安装包 # wget https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz ####2.解压 # tar -zxvf spark-2.4.8-bin-hadoop 阅读全文
posted @ 2021-12-21 19:24 菜鸟孤单 阅读(277) 评论(0) 推荐(0) 编辑
摘要: ####1.官网下载flink安装包 # wget https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz ####2.解压 # tar -zxvf flink-1.13.1-bin-sca 阅读全文
posted @ 2021-12-20 15:02 菜鸟孤单 阅读(258) 评论(0) 推荐(0) 编辑
摘要: ####1.下载kafka安装包并解压 # wget https://dlcdn.apache.org/kafka/2.6.2/kafka_2.13-2.6.2.tgz # tar -zxvf kafka_2.13-2.6.2.tgz -C /home/hadoop/app/ # ln -s /ho 阅读全文
posted @ 2021-12-17 16:45 菜鸟孤单 阅读(152) 评论(0) 推荐(0) 编辑
摘要: ####集群安装(目前企业常用版本3.4.5,3.4.6,3.4.7) ####机器规划 ####1.官网下载zookeeper安装包 #wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6. 阅读全文
posted @ 2021-12-17 16:16 菜鸟孤单 阅读(36) 评论(0) 推荐(0) 编辑
摘要: ###版本选择:2.7.5或者2.7.5以上版本均可 ###软件安装准备工作 ###机器规划 ####1.所有服务器关闭防火墙和selinux #systemctl stop firewalld 临时停掉firewalld #systemctl disable firewalld 永久开机关闭fir 阅读全文
posted @ 2021-12-17 16:14 菜鸟孤单 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 1.下载Nginxd安装包 Nginx官网查看Nignx版本,找到stable版本下载 wget -c https://nginx.org/download/nginx-1.16.0.tar.gz 解压安装包:tar -zxvf nginx-1.16.0.tar.gz 2.配置Nginx root用 阅读全文
posted @ 2019-05-07 10:27 菜鸟孤单 阅读(1248) 评论(0) 推荐(0) 编辑
摘要: 表膨胀检查及处理 1.表膨胀检查的方法: 2.表膨胀处理场景:表膨胀率超过20% 3.表膨胀处理一般使用以下两种方式 a.冻结表 vacuum freeze table_name; b.修改表vacuum参数 alter table(autovacuum_vacuum_cost_delay=10,a 阅读全文
posted @ 2019-04-03 15:09 菜鸟孤单 阅读(1510) 评论(0) 推荐(0) 编辑
摘要: ####awk介绍 awk可以认为是一门语言,非常强大。 awk工作流程是这样的:先执行BEGIN,然后读取文件,读入换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。 阅读全文
posted @ 2019-03-04 13:52 菜鸟孤单 阅读(4379) 评论(0) 推荐(0) 编辑