摘要：
1.概述 在上篇博客中，我们搭建了《配置高可用Hadoop平台》，接下来我们就可以驾着Hadoop这艘巨轮在大数据的海洋中遨游了。工欲善其事，必先利其器。是的，没错；我们开发需要有开发工具（IDE）；本篇文章，我打算讲解如何搭建和使用开发环境，以及编写和讲解WordCount这个例子，给即将在Ha... 阅读全文
摘要：
1.概述 在写这篇博客之前，为了更好的描述整个流程，本人亲自尝试了：从搭建到使用，下面就围绕这个流程来阐述整个过程，目录结构如下所示：Git的安装搭建Git的常规操作Gitlab的搭建Gitlab的使用 下面我们开始整个流程。2.Git篇 其实，作为开发人员，Git的使用是必备的技能，也许我们... 阅读全文
摘要：
1.概述 Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作，功能包括：持续的软件版本发布/测试项目监控外部调用执行的工作2.搭建2.1环境准备 首先我们要准备搭建的环境，配置如下： 操作系统：CentOS 6.x JDK版本：JDK1.72.2安装Jenkins ... 阅读全文
摘要：
1.序言 MongoDB 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。 它使用 C++编写。MongoDB 包含一下特点:l 面向集合的存储:适合存储对象及JSON形式的数据。l 动态查询:Mongo 支持丰富的查询方式,查询指令使用 JSON 形式的标记,可轻易查询文档中内嵌的对... 阅读全文
摘要：
1.概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK（安装，启动，验证） HDFS＋ 阅读全文
摘要：
1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续... 阅读全文
摘要：
1.概述 这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述：Hive的结构Hive的基本操作Hive SelectHive JoinHive UDFHive的M/R使用Hive注意点优化及优化详情优化总结调优的经常手段解决Hiv... 阅读全文
摘要：
1.概要 到这一步，若是按照前面到文章一步走来，不出意外，我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析，由于很多网站的日志KPI都大同小异，故有些指标直接在文中赘述了。2.流程背景前言目录日志分析概述需求分析源码2.1 背景 ... 阅读全文
摘要：
1.概要1.1HBase的使用场景 大数据量 （100s TB级数据） 且有快速随机访问的需求。 例如淘宝的交易历史记录。数据量巨大无容置疑，面向普通用户的请求必然要即时响应。 容量的优雅扩展。 大数据的驱使，动态扩展系统容量的必须的。例如：webPage DB。 业务场景简单，不需要关系... 阅读全文
摘要：
1.概述 在写这片博文时，我也是思绪良久，参考了不同语言的编码风格，最后总结出如何让自己的编码更加标准。2.基础 以Java的基础为例子来说明：文件编码格式为UTF-8package需要置于最顶层import包时，使用eclipse的快捷键（command＋1）倒入对应的包（这样我们可以不用考虑... 阅读全文