02 2019 档案

摘要: 阅读全文
posted @ 2019-02-28 17:03 Questions张 阅读(462) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-28 16:32 Questions张 阅读(456) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-28 10:40 Questions张 阅读(732) 评论(0) 推荐(1) 编辑
摘要: 阅读全文
posted @ 2019-02-27 09:44 Questions张 阅读(413) 评论(0) 推荐(0) 编辑
摘要:1 详细报错 + cat+ +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site || 阅读全文
posted @ 2019-02-26 12:58 Questions张 阅读(1887) 评论(0) 推荐(0) 编辑
摘要:1因为是重装很多环境ok A mysql环境ok B 防火墙ok C hostname绑定也没有问题 D jdk也是ok E root用户,所以不涉及权限,如果不是请设置sudo权限用户 F ntp服务正常 G httpd服务正常 H 本地yum源配置正常 I mysql连接驱动之前也有没有删除,正 阅读全文
posted @ 2019-02-26 11:22 Questions张 阅读(1528) 评论(0) 推荐(0) 编辑
摘要:#####################删除前最好将之前的下载的rpm包和parcels包备份一下##################### 1.停止serviceservice cloudera-scm-agent stopservice cloudera-scm-server stop 2.暴 阅读全文
posted @ 2019-02-26 10:28 Questions张 阅读(458) 评论(0) 推荐(0) 编辑
摘要:当需要排查问题的时候,经常需要找到最近修改和产生的文件 下面的命令是查询当前目录下以log结尾的日志,并且在30分钟内修改过,这个可以根据情况修改时间为1分钟,查找最新产生的日志 突然想到这个问题,是因为今天有个问题,日志文件找了半天,一个个搜索的,但是其实按照全局的文件生成时间来查找,更加容易找到 阅读全文
posted @ 2019-02-26 01:37 Questions张 阅读(3533) 评论(0) 推荐(0) 编辑
摘要:1 详细错误 2 原因,因为我配置的是本地库,所以自然连不了,检查状态是启动的状态 阅读全文
posted @ 2019-02-25 23:48 Questions张 阅读(1823) 评论(2) 推荐(0) 编辑
摘要:1 没有安装ntp同步服务 所有机器统一时区,确认所有机器配置一致 vim /etc/sysconfig/clock ntp服务器配置 另外机器配置,设置成自己的ntp服务器ip 阅读全文
posted @ 2019-02-25 23:27 Questions张 阅读(2270) 评论(0) 推荐(0) 编辑
摘要:1 安装检查报错 2 原因是因为自己的文件没有全部同步过去 hadoop003文件下面缺少了cm文件夹的内容 3 cp过去 scp -r cm root@hadoop003:/var/www/html 还有mysql的驱动也同步cp过去 4 重新run 结果还是不行 5 最后发现日志文件 ls 找到 阅读全文
posted @ 2019-02-25 22:24 Questions张 阅读(1205) 评论(0) 推荐(0) 编辑
摘要:1 报错信息如下 + +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site || > h 阅读全文
posted @ 2019-02-25 21:42 Questions张 阅读(2006) 评论(0) 推荐(0) 编辑
摘要:1 下载源 2安装源 3检查源是否安装成功 4 安装MySQL 5 启动MySQL服务 6 设置开机启动 7 修改root登陆密码 8 增加远程用户 9 修改mysql编码为UTF8mb4 支持emoji表情 修改/etc/my.cnf添加如下配置 重启MySQL 安装完成 阅读全文
posted @ 2019-02-25 17:41 Questions张 阅读(250) 评论(0) 推荐(0) 编辑
摘要:1 购买3台阿里云服务 2 配置好ssh连接客户端 根据自己情况连接 3 安装好MySQL5.7 跳过,见之前博客 安装在hadoop001上 4 设置好Hosts文件 3台机器同时操作 5 关闭防火墙 3台机器同时操作 6 安装jdk1.8 3台同时操作 cd /mnt/software tar 阅读全文
posted @ 2019-02-25 17:03 Questions张 阅读(473) 评论(0) 推荐(0) 编辑
摘要:1 涉及到的API 2 代码实现 定义ralation 定义Schema以及读取数据代码 类型转换类 3 依赖的pom文件配置 4测试代码以及测试文件数据 数据 参考文献:http://sparkdatasourceapi.blogspot.com/2016/10/spark-data-source 阅读全文
posted @ 2019-02-25 12:12 Questions张 阅读(2804) 评论(3) 推荐(1) 编辑
摘要: 阅读全文
posted @ 2019-02-25 07:58 Questions张 阅读(412) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-23 16:57 Questions张 阅读(232) 评论(0) 推荐(0) 编辑
摘要:1 编写自己的udf方法hello pom配置 2 下载hive源码 源码下载:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 源码下载:http://archive.cloudera.com/cdh5/cd 阅读全文
posted @ 2019-02-22 18:56 Questions张 阅读(574) 评论(0) 推荐(0) 编辑
摘要:1 创建表 hive命令行操作 2 造数据 shanxi.txt hunan.txt 3 导入数据 hive命令行操作 4 查询hive数据 hive表结构 hive> describe extended emp; 查询hive分区数据 hive> select * from emp where p 阅读全文
posted @ 2019-02-22 17:38 Questions张 阅读(1187) 评论(0) 推荐(0) 编辑
摘要:1 官网内容 2 看一张图一目了然 3 详细配置 source配置文件 sink1配置文件 sink2配置 4 启动服务 5 效果测试 6 总结,从效果来看sink2挂了之后,数据发往sink1,实现了失败迁移的功能。 阅读全文
posted @ 2019-02-22 13:33 Questions张 阅读(457) 评论(0) 推荐(0) 编辑
摘要:1 官网内容 2 找一个图来理解一目了然 3 详细配置 sink2配置 4启动服务 5 查看效果 6 总结,从效果上来看实现了负载,选择的是轮询算法,其他的大家可以多测试一下 阅读全文
posted @ 2019-02-22 13:28 Questions张 阅读(521) 评论(0) 推荐(0) 编辑
摘要:1 官网内容 上面的配置是r1获取到的内容会同时复制到c1 c2 c3 三个channel里面 2 详细配置信息 3 查看消费情况 4 查看tail的文件内容 4 总结 应该是启动了两次的原因,实际上是把文件重复两次的发送到了每个sink里面,实现了实验要求 阅读全文
posted @ 2019-02-22 13:17 Questions张 阅读(527) 评论(0) 推荐(0) 编辑
摘要:1 官网内容 上面配置的是根据不同的heder当中state值走不同的channels,如果是CZ就走c1 如果是US就走c2 c3 其他默认走c4 2 我的详细配置信息 一个监听http端口 然后 配置两个channel,根据不同的Header中的state值走不同的channel 监听sourc 阅读全文
posted @ 2019-02-22 13:13 Questions张 阅读(586) 评论(0) 推荐(0) 编辑
摘要:1 例如下图 2 操作截图 替换所有的exec-avro-agent-Load-balance 为 a1 3 效果截图 阅读全文
posted @ 2019-02-22 12:10 Questions张 阅读(942) 评论(0) 推荐(0) 编辑
摘要:1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件 阅读全文
posted @ 2019-02-21 17:13 Questions张 阅读(3680) 评论(0) 推荐(0) 编辑
摘要:1 异常结果 2 原因是Zookeeper的版本与curator的版本不匹配造成的 自己查阅了一下资料发现匹配规则如下 3 解决方案,因为我的部署Zookeeper版本为3.4.5所以应该选择2.x的curator版本 重新maven导入一下jar包解决问题,之前已经创建成功过了,所以抛出节点已经存 阅读全文
posted @ 2019-02-21 12:26 Questions张 阅读(5741) 评论(0) 推荐(0) 编辑
摘要:1 代码片段 2 建议的三种模板 A 第一种,采用Apache的common.lang3的新建方式 B 第二种,采用线程池工厂的方式 C 第三种,采用Spring配置xml文件,配置线程池工厂 3 建议的原因 按照直接的Executors方式创建线程池,下面提示了两种情况,当大量的请求过来,会造成O 阅读全文
posted @ 2019-02-21 12:09 Questions张 阅读(836) 评论(0) 推荐(0) 编辑
摘要:1 找到各个节点下面的Hbase-site.xml文件,添加如下配置 2 重启hbase,然后各个节点访问url;ip:60010 或者 hostname:60010 例如我的 阅读全文
posted @ 2019-02-21 09:29 Questions张 阅读(13429) 评论(0) 推荐(1) 编辑
摘要: 阅读全文
posted @ 2019-02-20 16:40 Questions张 阅读(481) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-18 22:12 Questions张 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-17 12:10 Questions张 阅读(976) 评论(12) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-16 14:24 Questions张 阅读(670) 评论(1) 推荐(0) 编辑
摘要:1 自己删除了Tomcat的日志文件,但是依然显示磁盘百分百占用 进入Tomcat目录显示日志已经删除 查询磁盘空间依旧百分百占用 2 自己杀死Tomcat进程然后重启,成功释放空间 3 原因,通过网络查询 阅读全文
posted @ 2019-02-13 17:53 Questions张 阅读(1609) 评论(0) 推荐(0) 编辑
摘要:Loaded org.apache.tomcat.util.net.NioBlockingSelector$BlockPoller$RunnableRemove from file:/mnt/software/apache-tomcat-9.0.0.M22/lib/tomcat-coyote.jar 阅读全文
posted @ 2019-02-02 01:32 Questions张 阅读(13311) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示