摘要：
yarn的主要思想是将 JobTracker的 资源管理和任务调度 / 监控 功能分离开来，形成两个组件。 新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协... 阅读全文
摘要：
flume配置文件example #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Sp... 阅读全文
摘要：
cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。 下面我们来依次了解一下： ... 阅读全文
摘要：
QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。 第一部分 ... 阅读全文
摘要：
Paxos 算法，这个算法主要 解决的问题是一个 分布式系统如何就某个值（决议）达成一致。 这是一 种基于消息传递模型的一致性算法。 凡是多个过程需要达成某种一致性的都可以用到Paxos 算法。 这个算法有以下几个典型的应用场... 阅读全文
摘要：
QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。 第二... 阅读全文
摘要：
一、前提和设计目标(6点) 硬件错误： 硬件错误是常态，错误检测和快速、自动的恢复是HDFS最核心的架构目标。 流式数据访问： 流式访问数据集，数据批处理。相比数据访问的低延迟问题，更关注对数据的高吞吐量。 大规... 阅读全文
摘要：
字符型varchar2：replace(replace(replace(trim(ADDRESS_REMARK),chr(9),'_'),chr(13)||chr(10),'_'),chr(10),'_')||chr(9)|| 日期型date... 阅读全文
摘要：
使用sql获取目标表字段 select owner, table_name, to_char(column_name) AS column_name from (select c.OWNER, ... 阅读全文
摘要：
一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供对数据进行简单处理，并写到... 阅读全文
