02 2015 档案

摘要:1.序言 MongoDB 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。 它使用 C++编写。MongoDB 包含一下特点:l 面向集合的存储:适合存储对象及JSON形式的数据。l 动态查询:Mongo 支持丰富的查询方式,查询指令使用 JSON 形式的标记,可轻易查询文档中内嵌的对... 阅读全文
posted @ 2015-02-28 16:30 哥不是小萝莉 阅读(47092) 评论(7) 推荐(13) 编辑
摘要:1.概述 在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK(安装,启动,验证) HDFS+ 阅读全文
posted @ 2015-02-25 15:34 哥不是小萝莉 阅读(23509) 评论(17) 推荐(13) 编辑
摘要:1.概述 Hadoop已被公认为大数据分析领域无可争辩的王者,它专注与批处理。这种模型对许多情形(比如:为网页建立索引)已经足够,但还存在其他一些使用模型,它们需要来自高度动态的来源的实时信息。为了解决这个问题,就得借助Twitter推出得Storm。Storm不处理静态数据,但它处理预计会连续... 阅读全文
posted @ 2015-02-13 15:47 哥不是小萝莉 阅读(6840) 评论(0) 推荐(4) 编辑
摘要:1.概述 这个标题也是用血的教训换来的,希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述:Hive的结构Hive的基本操作Hive SelectHive JoinHive UDFHive的M/R使用Hive注意点优化及优化详情优化总结调优的经常手段解决Hiv... 阅读全文
posted @ 2015-02-12 16:58 哥不是小萝莉 阅读(15346) 评论(7) 推荐(2) 编辑
摘要:1.概要 到这一步,若是按照前面到文章一步走来,不出意外,我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析,由于很多网站的日志KPI都大同小异,故有些指标直接在文中赘述了。2.流程背景前言目录日志分析概述需求分析源码2.1 背景 ... 阅读全文
posted @ 2015-02-04 16:29 哥不是小萝莉 阅读(9906) 评论(8) 推荐(18) 编辑
摘要:1.概要1.1HBase的使用场景 大数据量 (100s TB级数据) 且有快速随机访问的需求。 例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。 容量的优雅扩展。 大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。 业务场景简单,不需要关系... 阅读全文
posted @ 2015-02-04 15:06 哥不是小萝莉 阅读(2928) 评论(0) 推荐(1) 编辑
摘要:1.概述 在写这片博文时,我也是思绪良久,参考了不同语言的编码风格,最后总结出如何让自己的编码更加标准。2.基础 以Java的基础为例子来说明:文件编码格式为UTF-8package需要置于最顶层import包时,使用eclipse的快捷键(command+1)倒入对应的包(这样我们可以不用考虑... 阅读全文
posted @ 2015-02-02 16:04 哥不是小萝莉 阅读(495) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示