摘要：
spark可以运行在standalone，yarn，mesos等多种模式下，当前我们用的最普遍的是yarn模式，在yarn模式下又分为client和cluster。本文接下来将分析yarn cluster下任务提交的过程。也就是回答，在yarn cluster模式下，任务是怎么提交的问题。在yarn 阅读全文
摘要：
前段时间看spark，看着迷迷糊糊的。最近终于有点头绪，先梳理了一下spark rpc相关的东西，先记录下来。 1，概述 个人认为，如果把分布式系统（HDFS, HBASE，SPARK等）比作一个人，那么RPC可以认为是人体的血液循环系统。它将系统中各个不同的组件（如Hbase中的master， R 阅读全文
摘要：
有一段实践没有写东西了，最近组里面来了两个新的小伙伴，并且一起针对目前的hbase集群做了一些运维和优化实践，比较零散，记录下来供以后以及和大家参考。 1，hbase regionserver宕机导致集群状态不一致问题处理和原因调研 问题：region server因oom被kill后，通过hack 阅读全文
摘要：
最近一段时间，在做数据ETL相关的事，结合实践以及自己的思考，记录下来，以做参考。 概述 一般来说，数据团队自己是很少生产数据的，一般都是对业务线的数据进行分析加工，从而让数据产生价值。一方面，业务线的数据会存到关系数据（如mysql），磁盘（日志）等存储介质；另一方面，基于大数据的分析一般会将数据 阅读全文
摘要：
Hbase是kv存储，但是逻辑上我们可以把存储在hbase上的kv数据当成表，rowkey可以认为是表的主键。为了便于分布式操作，hbase会把表横向切分成一块一块的数据，而每块就是一个Region。为了提供在线服务，我们必须把Region加载到集群中的某台机器上，这个加载的过程正是region a 阅读全文
摘要：
年前的时候系统梳理了一下hbase rpc的实现，并且对组里的小伙伴做了一次分享。趁着热乎劲还没完全消失殆尽，准备赶紧记录下来。 hbase中rpc概况 作为一个分布式系统，hbase的设计是典型的master-salve架构。hbase中主要有master，regionserver，client这 阅读全文
摘要：
到目前为止，基于RDD的spark streamming实时应用和离线应用（主要解析日志）已经写了一些，但是对spark的了解还是很少，所以决心花点精力，对spark做一些比较深入的了解和学习。参照之前hbase的学习经验，感觉除了看一些文章之外，搭建调试环境，碰到问题通过源码去了解细节，对于学习开 阅读全文
摘要：
2016马上要结束了，回顾一下这一年对hbase的学习历程。 1，年初hbase的状态 使用场景：主要是用来存储业务线的mysql表，增量同步到hbase，然后每天晚上全量导入hdfs做离线计算。 hbase集群状态：除了调大了regionserver的heap size。其他基本没有动。经常发生的 阅读全文
摘要：
问题描述： 重新安装了测试环境的hadoop，所以之前hbase所建的表数据都丢失了，但是zookeeper没有动。在hbase shell中list的时候，看不到之前建的表，但是create test table的时候，却报错提示"ERROR: Table already exists: test 阅读全文
摘要：
以下主要记录的是看完scala in programming这本书functions and closures（第八章）后的要点总结。 1，函数可以存在的地方：函数方法，嵌套函数。 2，关于function literal和function value的区别，类似于java中class和object 阅读全文