摘要： Overview Use HBase when u need random, realtime read/write access to ur Big Data. HBase is an open-source, distributed, versioned, non-relational data 阅读全文

摘要： Overview 如果你了解过HDFS，至少看过这句话吧： HDFS is a filesystem designed for storing very large files with streaming or sequential data access patterns. That's to 阅读全文

摘要： Operations upon Impala Create table stored as parquet like parquet '/user/etl/datafile1' stored as parquet Loading data shuffle / no shuffle to choose 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： Intro 想象这样的应用场景：给定一些点，随着程序输入，不断地添加点之间的连通关系(边)，整个图的连通关系也在变化。这时候我们如何维护整个图的连通性(即判断任意两个点之间的连通性)呢？ 一个比较简单的solution是每个点都有一个便签，标记它属于哪个连通子图。这种做法就有一个很明显的问题 -- 阅读全文

摘要： Intro 这篇是对一个Spark (Streaming)作业的log进行分析。用来加深对Spark application运行过程，优化空间的各种理解。 Here to Start 从我这个初学者写得一个Spark Streaming程序开始... package com.wttttt.spark 阅读全文

摘要： 写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向 阅读全文

摘要： Overview source采集的日志首先会传入ChannelProcessor, 在其内首先会通过Interceptors进行过滤加工，然后通过ChannelSelector选择channel。 Source和Sink之间是异步的，sink只需要监听自己关系的Channel的变化即可。 sink 阅读全文

摘要： 前言 最近在搭一个离线Hadoop + 实时SparkStreaming的日志处理系统，然后发现基本上网上的这种系统都集成了kafka。 自己对kafka有一点点的认识，之前看过官网文档，用过一次，就了解到它是个消息队列。好像说是比起其他的消息队列，对多subscriber更友好。 所以google 阅读全文