摘要: 运行 hadoop命令时候.出现错误。 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 阅读全文
posted @ 2020-10-11 08:05 kpwong 阅读(498) 评论(0) 推荐(0) 编辑
摘要: 1:安装hadoop到hadp201机器上 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 2:编辑hadoop环境变量. export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HAD 阅读全文
posted @ 2020-10-10 18:06 kpwong 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-10-10 18:05 kpwong 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 参考 xcall 集群脚本 参考 xsync 集群同步脚本 阅读全文
posted @ 2020-10-10 18:00 kpwong 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 在hadoop201 机器上创建 /opt/module , /opt/software 目录 拷贝jdk 压缩文件包 到 /opt/software.解压安装JDK1.8 tar -C 指定安装目录为/opt/module tar -zxvf jdk-8u144-linux-x64.tar.gz 阅读全文
posted @ 2020-10-10 17:09 kpwong 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 1: 关闭防火墙(Centos6.5).集群中每台机器都要关闭 //临时关闭 service iptables stop //禁止开机启动 chkconfig iptables off 2.hostname 修改. vim /etc/sysconfig/networkvim /etc/hostssy 阅读全文
posted @ 2020-10-10 16:49 kpwong 阅读(710) 评论(0) 推荐(0) 编辑
摘要: 方法一:图形界面修改: 1:VMWare 打开Centos虚拟机镜像文件。重新命名为hadoop202.右键hadoop202虚拟机属性.改网络连接方式 为桥接模式.点击高级按钮。在弹出的对话框中,重新生成新的Mac地址。记住这个MAC地址。 00:50:56:22:76:52 2:启动虚拟机。使用 阅读全文
posted @ 2020-10-10 01:04 kpwong 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 案例: 自定义两个Producer 连接器,一个在消息上添加时间戳,一个统计消息成功失败个数(当然这两个拦截器可以写在一块,我们现在分两个拦截器来实现)。 1:Pom文件 添加如下代码.(slf4j 依赖 是为了去编译警告的。可以不加) <dependencies> <!-- https://mvn 阅读全文
posted @ 2020-10-08 10:38 kpwong 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 1: 在 /usr/local/bin 目录下touch xkafka.sh 2 : chmod 777 xkafka.sh 3 :编辑文件 #!/bin/bash #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数,用法为: $0 {start|stop}" exi 阅读全文
posted @ 2020-10-04 23:50 kpwong 阅读(673) 评论(0) 推荐(0) 编辑
摘要: 1:在目录 /usr/local/bin下 touch xzk.sh 2: chmod 777 xzk.sh 3: 编辑 xzk.sh #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数,用法为: $0 {start|stop|restart|status}" exi 阅读全文
posted @ 2020-10-04 23:29 kpwong 阅读(1172) 评论(0) 推荐(0) 编辑