11 2016 档案

shell 文件中列的整合成一个文件
摘要：原文件 第一种方法 默认是tab分割。 第二种方法 阅读全文
posted @ 2016-11-30 16:21 派。 阅读(451) 评论(0) 推荐(0)
yarn的调度器
摘要：三种调度器 1.FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，等最前面的应用需求满足后再给下一个分配，以此类推。不适用于共享集群，大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。 2.Capaci 阅读全文
posted @ 2016-11-26 10:20 派。 阅读(581) 评论(0) 推荐(0)
Hive插数据报错
摘要：报错信息： 原因：我以为磁盘满了，但查看了一下不是，最后在hive所在机器df -h查看了一下，根目录100%，而我的数据是存在另一块磁盘的，原因是hive的日志把根目录塞满了。 阅读全文
posted @ 2016-11-25 10:21 派。 阅读(613) 评论(0) 推荐(0)
Apache Storm简介
摘要：Apache Storm简介 Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spou 阅读全文
posted @ 2016-11-24 17:54 派。 阅读(12771) 评论(0) 推荐(0)
shell获取系统时间
摘要：获取系统时间 参数：-d获取相对当前时间的某个时间，第一个数字若为负数则表示将来时间，若为正数则表示过去时间，第二个参数可以是minute、hour、day、month、week。 阅读全文
posted @ 2016-11-21 18:44 派。 阅读(4847) 评论(0) 推荐(0)
Zeppelin 0.6.2使用Spark的yarn-client模式
摘要：Zeppelin版本0.6.2 1. Export SPARK_HOME In conf/zeppelin-env.sh, export SPARK_HOME environment variable with your Spark installation path. You can option 阅读全文
posted @ 2016-11-14 14:54 派。 阅读(4601) 评论(0) 推荐(0)
window 7 安装mysql
摘要：Mysql版本5.7.16 下载完mysql包之后，直接解压缩。 编辑my-default.ini文件，将下面2行注释取消。 basedir = e:/mysql #mysql解压目录 datadir = e:/mysql/data #mysql数据目录，没有data自行创建 windows 控制台 阅读全文
posted @ 2016-11-12 15:55 派。 阅读(182) 评论(0) 推荐(0)
RAID
摘要：RAID0 数据分条技术 RAID0需要2块以上的硬盘，成本低，可以提高整个磁盘的性能和吞吐量，没有提高冗余和错误修复能力。 特点：速度快，但不支持容错。 RAID1 RAID1镜像 把一个磁盘的数据镜像到另一个磁盘上，需要2块磁盘，支持容错。 特点：速度慢，但容错。 RAID5 RAID5分布式奇 阅读全文
posted @ 2016-11-10 22:08 派。 阅读(165) 评论(0) 推荐(0)
Zeppelin使用报错
摘要：报错信息： 解决办法：将openjdk换成oraclejdk1.7。 阅读全文
posted @ 2016-11-03 17:57 派。 阅读(1030) 评论(0) 推荐(0)
Zeppelin0.6.2使用hive解释器
摘要：Zeppelin0.6.2的jdbc Interpreter 配置 1.拷贝hive的配置文件hive-site.xml到zeppelin-0.6.2-bin-all/conf下。 2.进入conf下 编辑zeppelin-env.sh文件，添加： 3.访问zeppelin界面（http://ip: 阅读全文
posted @ 2016-11-02 22:06 派。 阅读(928) 评论(0) 推荐(0)
Zeppelin0.5.6使用hive解释器
摘要：此zeppelin为官方0.5.6版，可能还在孵化阶段，可能出现一些bug吧。 配置 添加： 启动zepplein 访问http://localhost:8080 修改hive Interpreter 记得修改完点右上restart，重启解释器。 查询 这就体现一下这个bug。 一、 对应解释器日志 阅读全文
posted @ 2016-11-01 22:32 派。 阅读(532) 评论(0) 推荐(1)