2018年7月12日
Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ipc.ServerNotRunningYetException): org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not runn
摘要： 关于这个坑逼异常不想再多说了！花了我好多时间来搞这个！不逼逼，上日志看干货 解决办法： 将mycluster改成s201 hbase.rootdirHBase21 hdfs://s201/hbase 阅读全文
posted @ 2018-07-12 21:42 shizeqi 阅读(4394) 评论(0) 推荐(0) 编辑
centos脚本编写
摘要： 要实现ssh s202 jps查看进程状态，就需要在环境变量目录下面创建软连接：sudo ln s /soft/jdk/bin/jps /usr/local/bin/jps 编写xcall.sh脚本 1.touch xcall.sh //创建脚本文件 2.修改脚本权限,让所有人都能执行：chmod 阅读全文
posted @ 2018-07-12 11:18 shizeqi 阅读(1112) 评论(0) 推荐(0) 编辑
2018年7月11日
centos中的shell编程
摘要： 1.shell 是批处理程序，类似与windows的bat文件 2.写shell时，第一行要以 ！/bin/bash 开头 Execute the file using the Bash shell. 3.使用 注释（最好备注shell脚本的功能作用以防日后忘记） 4.文件名应以.sh结尾 5.运行 阅读全文
posted @ 2018-07-11 21:55 shizeqi 阅读(5768) 评论(0) 推荐(0) 编辑
从零开始部署hadood分布式数据平台！
摘要： 1.安装centos7 mini。 1.1切换到root用户下面。通过命令：cd /etc/sysconfig/network scripts/，来编辑ifcfg eno,编辑之后的结果如下： 1.2切换到etc目录下面，编辑resolv.co nf, 阅读全文
posted @ 2018-07-11 18:15 shizeqi 阅读(300) 评论(0) 推荐(0) 编辑
2018年7月10日
从0开始部署hadoop HA集群，使用zk实现自动容灾
摘要： 1.停掉所有hadoop进程 2删除所有节点的日志和本地数据 $xcall.sh "rm rf /soft/hadoop/logs/ "//这个操作实现删除所有节点的数据 $xcall.sh "rm rf /home/centos/hadoop/ " 3.改换hadoop的符号连接为ha 4.登录每 阅读全文
posted @ 2018-07-10 20:12 shizeqi 阅读(665) 评论(0) 推荐(0) 编辑
zookeeper动物园管理员学习笔记
摘要： hbase hadoop里面有：1）hdfs分布式存储 2）yarn资源调度框架；3）hive数据仓库技术，在线事物分析，延迟性很高，最终用的还是mr技术，但是不再使用mr技术了 4）hbase:建立在hadoop上面的数据库技术，随机定位+实时读写，业务是分布式的，但是最终还是存储在hasoop上 阅读全文
posted @ 2018-07-10 19:24 shizeqi 阅读(453) 评论(0) 推荐(0) 编辑
2018年7月9日
protobuff协议
摘要： 1.什么是protobuff协议？ Protobuf(Google Protocol Buffers)是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库.它和XML和Json数据差不多,把数据已某种形式保存起来.Protobuf相对与XML和Json的不同之处，它是一种二进制的 阅读全文
posted @ 2018-07-09 21:34 shizeqi 阅读(3081) 评论(0) 推荐(0) 编辑
hive UDF
摘要： 1.UDF user define function ，用户自定义函数 //current_database(),current_user(); 2.显示所有函数 $hive show functions ; 3.表生成函数 $hive explode(str,exp); //按照exp来切割str 阅读全文
posted @ 2018-07-09 17:37 shizeqi 阅读(266) 评论(0) 推荐(0) 编辑
创建视图
摘要： 1.创建视图，视图是个虚表 create view v1 as select a.id aid,a.name,b.id bid,b.orderno from customers a left outer join default.ttt b on a.id=b.cid;//创建视图字段不要重复，如果 阅读全文
posted @ 2018-07-09 15:26 shizeqi 阅读(494) 评论(0) 推荐(0) 编辑
hive之查询
摘要： 1.聚合处理,在组里面，每个用户购买的订单要大于1 $hive select cid count( ) max(price) from orders group by cid having count( ) 1; 2.使用hive实现wordcount $hive select split(line 阅读全文
posted @ 2018-07-09 10:55 shizeqi 阅读(334) 评论(0) 推荐(0) 编辑
下一页