摘要:
报错信息: 原因:我以为磁盘满了,但查看了一下不是,最后在hive所在机器df -h查看了一下,根目录100%,而我的数据是存在另一块磁盘的,原因是hive的日志把根目录塞满了。 阅读全文
摘要:
Apache Storm简介 Storm是一个分布式的,可靠的,容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt, bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spou 阅读全文
摘要:
获取系统时间 参数:-d获取相对当前时间的某个时间,第一个数字若为负数则表示将来时间,若为正数则表示过去时间,第二个参数可以是minute、hour、day、month、week。 阅读全文
摘要:
Zeppelin版本0.6.2 1. Export SPARK_HOME In conf/zeppelin-env.sh, export SPARK_HOME environment variable with your Spark installation path. You can option 阅读全文
摘要:
Mysql版本5.7.16 下载完mysql包之后,直接解压缩。 编辑my-default.ini文件,将下面2行注释取消。 basedir = e:/mysql #mysql解压目录 datadir = e:/mysql/data #mysql数据目录,没有data自行创建 windows 控制台 阅读全文
摘要:
RAID0 数据分条技术 RAID0需要2块以上的硬盘,成本低,可以提高整个磁盘的性能和吞吐量,没有提高冗余和错误修复能力。 特点:速度快,但不支持容错。 RAID1 RAID1镜像 把一个磁盘的数据镜像到另一个磁盘上,需要2块磁盘,支持容错。 特点:速度慢,但容错。 RAID5 RAID5分布式奇 阅读全文
摘要:
报错信息: 解决办法:将openjdk换成oraclejdk1.7。 阅读全文
摘要:
Zeppelin0.6.2的jdbc Interpreter 配置 1.拷贝hive的配置文件hive-site.xml到zeppelin-0.6.2-bin-all/conf下。 2.进入conf下 编辑zeppelin-env.sh文件,添加: 3.访问zeppelin界面(http://ip: 阅读全文
摘要:
此zeppelin为官方0.5.6版,可能还在孵化阶段,可能出现一些bug吧。 配置 添加: 启动zepplein 访问http://localhost:8080 修改hive Interpreter 记得修改完点右上restart,重启解释器。 查询 这就体现一下这个bug。 一、 对应解释器日志 阅读全文
摘要:
LVM是让磁盘支持动态扩展的一种机制。 LVM逻辑卷管理 1.动态调整磁盘的容量,从而提高磁盘管理的灵活性。 2.需要注意: /boot分区用于存放引导文件,不能基于LVM创建。 3.LVM机制的基本概念 a)PV(physical volume,物理卷) 整个磁盘,或使用fdisk等工具建立的普通 阅读全文