摘要：
原文链接：Ubuntu12.04挂载exFat格式U盘的方法首先关于exFAT ，这里就不多作解释了，再介绍一个软件fuse-exfat，https://code.google.com/p/exfat/fuse是指用户空间文件系统，而这个软件，顾名思义，就是为了让linux用户可以读写exFAT格式... 阅读全文
摘要：
每行开头结尾都要有一个空格（半角的）例子如下：1 Manifest-Version: 1.02 Class-Path: lib/mongo-java-driver-2.11.4.jar 3 lib/guava-11.0.2.jar 4 lib/spark-examples-1.5.2-hadoo... 阅读全文
摘要：
原文链接：错误Name node is in safe mode的解决方法 将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许... 阅读全文
摘要：
原文链接：Kafka实战－Flume到Kafka1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据... 阅读全文
摘要：
原文链接：Kafka flume 整合 前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的都放到flume的... 阅读全文
摘要：
1. Flume的安装配置2. flume和kafka整合（转）3.Flume NG 配置详解（转）4. Flume-NG一些注意事项（转）5. FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解6. 应用Flume+HBase采集和存储日志数据 阅读全文
摘要：
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume? flume 作为 cloudera 开发的实时... 阅读全文
摘要：
原文链接：Hbase系统架构及数据结构HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosys... 阅读全文
摘要：
原文链接：Spark Streaming：大规模流式数据处理的新贵摘要：Spark Streaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案。... 阅读全文
摘要：
原文链接：Spark源码分析：多种部署方式之间的区别与联系(1)从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。 从代码中，我们可以得知其实... 阅读全文