摘要：
(官方文档整理） 系统级调优 1．保证充足的RAM 2．64位的操作系统 3．Linux的swappiness设置为0 ： sysctl vm.swappiness=10 vim /etc/sysctl.conf 加上 vm.swappiness=0 网络级调优 当集群的扩容的时候，应该同时注意交换 阅读全文
摘要：
概述 以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面: 身份认证 即核实一个使用者的真实身份，一个使用者来使用大数据引擎平台，这个使用者需要表明自己是谁，即提供自己的身份证明，大数据平台需要检验这个证明，确定这个证明是 阅读全文
摘要：
前言 要问 Hortonworks 这家公司最有产品力的产品是什么,我觉得是 Apache NiFi.去年Cloudera 和 Hortonworks 合并之后,以 Cloudera 为主,两家公司进行产品整合.Cloudera 从 Hortonworks 家没拿啥东西,唯独拿来了 Apache N 阅读全文
摘要：
本文来源于 "官方文档" 翻译 ___ NiFi 的核心概念 NiFi 最早是美国国家安全局内部使用的工具,用来投递海量的传感器数据.后来由 apache 基金会开源.天生就具备强大的基因.NiFi基本设计理念与 "Flow Based Programming" 基于流式编程 的主要思想非常类似,核 阅读全文
摘要：
自己做过的项目在这里做一个记录,否则就感觉不是自己的了.一是因为过去时间已经很长了,二是因为当时做得有点粗糙,最后还不了了之了. 话不多说,先大致介绍一下项目背景.以前各大手机视频 App 一般都有运营商的流量包套餐.当用户产生这样的业务行为时,运营商便获取了一系列的用户行为日志. 这条日志是一条获 阅读全文
摘要：
(官方文档翻译整理及总结) 一、优化数据仓库 ① Hive LLAP 是一项接近实时结果查询的技术，可用于BI工具以及网络看板的应用，能够将数据仓库的查询时间缩短到15秒之内，这样的查询称之为Interactive Query。 Ambari安装好之后，还需要额外的两个步骤来开启Hive LLAP: 阅读全文