2020年4月8日
大数据 端口汇总
摘要： Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口Zookeeper: 2181 阅读全文
posted @ 2020-04-08 13:58 qk523 阅读(133) 评论(0) 推荐(0) 编辑
大数据框架搭建
该文被密码保护。 阅读全文
posted @ 2020-04-08 12:04 qk523 阅读(4) 评论(0) 推荐(0) 编辑
服务器软件部署
该文被密码保护。 阅读全文
posted @ 2020-04-08 12:02 qk523 阅读(4) 评论(0) 推荐(0) 编辑
Jenkins+docker+springboot 构建自动部署容器
摘要： 1、构建-执行shell cd /root/.jenkins/workspace/kjs-v2-prod/kjs-imessage/kjs-message-webapp docker images xxx.aliyuncs.com/kjs-v2-prod/kjs-imessage #构建镜像 doc 阅读全文
posted @ 2020-04-08 11:58 qk523 阅读(402) 评论(0) 推荐(0) 编辑
Jenkins+docker+vue 构建自动部署容器
摘要： 1、构建-执行shell echo $PATH node -v npm -v #更换yarn源为淘宝源 npm config set registry https://registry.npm.taobao.org/ #检查yarn当前源 npm config get registry npm in 阅读全文
posted @ 2020-04-08 11:55 qk523 阅读(1398) 评论(0) 推荐(0) 编辑
2020年3月30日
十四 sqoop 用法
该文被密码保护。 阅读全文
posted @ 2020-03-30 11:15 qk523 阅读(0) 评论(0) 推荐(0) 编辑
2020年3月27日
十三 spark 集群测试与基本命令
摘要： 一、启动环境 启动脚本：bigdata-start.sh #!/bin/bash echo -e "\n Start run zkServer \n" for nodeZk in node180,node181,node182;do ssh $nodeZk "zkServer.sh start;jp 阅读全文
posted @ 2020-03-27 11:19 qk523 阅读(603) 评论(0) 推荐(0) 编辑
2020年3月25日
十二 flume与kafka数据传输
摘要： 1、准备 kafka 创建topic: kafka-topics.sh --create --zookeeper node180:2181,node181:2181,node182:2181 --replication-factor 3 --partitions 3 --topic flume2ka 阅读全文
posted @ 2020-03-25 09:52 qk523 阅读(299) 评论(0) 推荐(0) 编辑
2020年3月24日
十一 spark- Standalone 集群
摘要： 1、准备 服务器：node180 ，node181 ，node182 spark-3.0.0-preview2-bin-hadoop3.2.tgz（http://spark.apache.org/downloads.html） jdk-1.8.x scala-2.12.11.tgz 2、解压 tar 阅读全文
posted @ 2020-03-24 12:01 qk523 阅读(176) 评论(0) 推荐(0) 编辑
十 kafka 集群
摘要： 1、准备 服务器：node180 ，node181 ，node182 flume：kafka_2.12-2.0.1 (http://kafka.apache.org/downloads) jdk：1.8.x scala-2.12.11 2、解压 tar zxvf /opt/software/kafk 阅读全文
posted @ 2020-03-24 12:00 qk523 阅读(106) 评论(0) 推荐(0) 编辑