02 2019 档案
摘要:1 详细报错 + cat+ +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site ||
阅读全文
摘要:1因为是重装很多环境ok A mysql环境ok B 防火墙ok C hostname绑定也没有问题 D jdk也是ok E root用户,所以不涉及权限,如果不是请设置sudo权限用户 F ntp服务正常 G httpd服务正常 H 本地yum源配置正常 I mysql连接驱动之前也有没有删除,正
阅读全文
摘要:#####################删除前最好将之前的下载的rpm包和parcels包备份一下##################### 1.停止serviceservice cloudera-scm-agent stopservice cloudera-scm-server stop 2.暴
阅读全文
摘要:当需要排查问题的时候,经常需要找到最近修改和产生的文件 下面的命令是查询当前目录下以log结尾的日志,并且在30分钟内修改过,这个可以根据情况修改时间为1分钟,查找最新产生的日志 突然想到这个问题,是因为今天有个问题,日志文件找了半天,一个个搜索的,但是其实按照全局的文件生成时间来查找,更加容易找到
阅读全文
摘要:1 详细错误 2 原因,因为我配置的是本地库,所以自然连不了,检查状态是启动的状态
阅读全文
摘要:1 没有安装ntp同步服务 所有机器统一时区,确认所有机器配置一致 vim /etc/sysconfig/clock ntp服务器配置 另外机器配置,设置成自己的ntp服务器ip
阅读全文
摘要:1 安装检查报错 2 原因是因为自己的文件没有全部同步过去 hadoop003文件下面缺少了cm文件夹的内容 3 cp过去 scp -r cm root@hadoop003:/var/www/html 还有mysql的驱动也同步cp过去 4 重新run 结果还是不行 5 最后发现日志文件 ls 找到
阅读全文
摘要:1 报错信息如下 + +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site || > h
阅读全文
摘要:1 下载源 2安装源 3检查源是否安装成功 4 安装MySQL 5 启动MySQL服务 6 设置开机启动 7 修改root登陆密码 8 增加远程用户 9 修改mysql编码为UTF8mb4 支持emoji表情 修改/etc/my.cnf添加如下配置 重启MySQL 安装完成
阅读全文
摘要:1 购买3台阿里云服务 2 配置好ssh连接客户端 根据自己情况连接 3 安装好MySQL5.7 跳过,见之前博客 安装在hadoop001上 4 设置好Hosts文件 3台机器同时操作 5 关闭防火墙 3台机器同时操作 6 安装jdk1.8 3台同时操作 cd /mnt/software tar
阅读全文
摘要:1 涉及到的API 2 代码实现 定义ralation 定义Schema以及读取数据代码 类型转换类 3 依赖的pom文件配置 4测试代码以及测试文件数据 数据 参考文献:http://sparkdatasourceapi.blogspot.com/2016/10/spark-data-source
阅读全文
摘要:1 编写自己的udf方法hello pom配置 2 下载hive源码 源码下载:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 源码下载:http://archive.cloudera.com/cdh5/cd
阅读全文
摘要:1 创建表 hive命令行操作 2 造数据 shanxi.txt hunan.txt 3 导入数据 hive命令行操作 4 查询hive数据 hive表结构 hive> describe extended emp; 查询hive分区数据 hive> select * from emp where p
阅读全文
摘要:1 官网内容 2 看一张图一目了然 3 详细配置 source配置文件 sink1配置文件 sink2配置 4 启动服务 5 效果测试 6 总结,从效果来看sink2挂了之后,数据发往sink1,实现了失败迁移的功能。
阅读全文
摘要:1 官网内容 2 找一个图来理解一目了然 3 详细配置 sink2配置 4启动服务 5 查看效果 6 总结,从效果上来看实现了负载,选择的是轮询算法,其他的大家可以多测试一下
阅读全文
摘要:1 官网内容 上面的配置是r1获取到的内容会同时复制到c1 c2 c3 三个channel里面 2 详细配置信息 3 查看消费情况 4 查看tail的文件内容 4 总结 应该是启动了两次的原因,实际上是把文件重复两次的发送到了每个sink里面,实现了实验要求
阅读全文
摘要:1 官网内容 上面配置的是根据不同的heder当中state值走不同的channels,如果是CZ就走c1 如果是US就走c2 c3 其他默认走c4 2 我的详细配置信息 一个监听http端口 然后 配置两个channel,根据不同的Header中的state值走不同的channel 监听sourc
阅读全文
摘要:1 例如下图 2 操作截图 替换所有的exec-avro-agent-Load-balance 为 a1 3 效果截图
阅读全文
摘要:1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件
阅读全文
摘要:1 错误信息 2 原因,版本不对,4.1.0版本太高
阅读全文
摘要:1 异常结果 2 原因是Zookeeper的版本与curator的版本不匹配造成的 自己查阅了一下资料发现匹配规则如下 3 解决方案,因为我的部署Zookeeper版本为3.4.5所以应该选择2.x的curator版本 重新maven导入一下jar包解决问题,之前已经创建成功过了,所以抛出节点已经存
阅读全文
摘要:1 代码片段 2 建议的三种模板 A 第一种,采用Apache的common.lang3的新建方式 B 第二种,采用线程池工厂的方式 C 第三种,采用Spring配置xml文件,配置线程池工厂 3 建议的原因 按照直接的Executors方式创建线程池,下面提示了两种情况,当大量的请求过来,会造成O
阅读全文
摘要:1 找到各个节点下面的Hbase-site.xml文件,添加如下配置 2 重启hbase,然后各个节点访问url;ip:60010 或者 hostname:60010 例如我的
阅读全文
摘要:1 自己删除了Tomcat的日志文件,但是依然显示磁盘百分百占用 进入Tomcat目录显示日志已经删除 查询磁盘空间依旧百分百占用 2 自己杀死Tomcat进程然后重启,成功释放空间 3 原因,通过网络查询
阅读全文
摘要:Loaded org.apache.tomcat.util.net.NioBlockingSelector$BlockPoller$RunnableRemove from file:/mnt/software/apache-tomcat-9.0.0.M22/lib/tomcat-coyote.jar
阅读全文