11 2015 档案

apache Storm学习之三-消息可靠性
摘要：4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理TopologyBuilder builder = new Topology... 阅读全文
posted @ 2015-11-28 19:09 积淀 阅读(896) 评论(0) 推荐(0)
apache Storm学习之二-基本概念介绍
摘要：2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration Storm集群和Hadoop集群表面上看很类似。但是Hadoo... 阅读全文
posted @ 2015-11-28 10:07 积淀 阅读(2913) 评论(0) 推荐(0)
apache Storm之一-入门学习
摘要：准备工作这个教程使用storm-starter项目里面的例子。我推荐你们下载这个项目的代码并且跟着教程一起做。先读一下：配置storm开发环境和新建一个strom项目这两篇文章把你的机器设置好。一个Storm集群的基本组件storm的集群表面上看和hadoop的集群非常像。但是在Hadoop上面你运... 阅读全文
posted @ 2015-11-26 15:07 积淀 阅读(696) 评论(0) 推荐(0)
MongoDb安装
摘要：1.下载curl -O https://fastdl.mongodb.org/osx/mongodb-osx-x86_64-3.0.7.tgztar -zxvf mongodb-osx-x86_64-3.0.7.tgz2.创建数据库文件夹与日志文件mkdir -p /usr/local/mongod... 阅读全文
posted @ 2015-11-25 19:05 积淀 阅读(142) 评论(0) 推荐(0)
MongoDB学习
摘要：http://blog.nosqlfan.com/html/3548.html --nosql范 阅读全文
posted @ 2015-11-25 11:19 积淀 阅读(151) 评论(0) 推荐(0)
storm深入研究
摘要：著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：He Ransom链接：http://www.zhihu.com/question/23441639/answer/28075683来源：知乎、入门 安装storm集群，运行示例工程，明白什么是流处理，明白spout，bolt... 阅读全文
posted @ 2015-11-18 20:20 积淀 阅读(248) 评论(0) 推荐(0)
hadoop学习笔记之-hbase完全分布模式安装-5
摘要：http://blog.csdn.net/lichangzai/article/details/8441975http://blog.csdn.net/jpiverson/article/details/9130447http://linux.it.net.cn/m/view.php?aid=119... 阅读全文
posted @ 2015-11-18 15:47 积淀 阅读(146) 评论(0) 推荐(0)
hbase学习 rowKey的设计-4
摘要：访问hbase table中的行，只有三种方式：1 通过单个row key访问2 通过row key的range3 全表扫描Hadoop Sequence File文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current... 阅读全文
posted @ 2015-11-17 19:04 积淀 阅读(614) 评论(0) 推荐(0)
hbase shell学习-2
摘要：一个学生成绩表的例子来演示hbase的用法。namegradecoursemathenglishTom59787Jim48980表的创建：语法：create '表名称','列簇名称1','列簇名称2'........create 'student','name','grade','course'de... 阅读全文
posted @ 2015-11-17 18:56 积淀 阅读(240) 评论(0) 推荐(0)
Git 基础 - 查看提交历史
摘要：查看提交历史在提交了若干更新之后，又或者克隆了某个项目，想回顾下提交历史，可以使用git log命令查看。接下来的例子会用我专门用于演示的 simplegit 项目，运行下面的命令获取该项目源代码：git clone git://github.com/schacon/simplegit-progit... 阅读全文
posted @ 2015-11-16 15:17 积淀 阅读(394) 评论(0) 推荐(0)
HBase原理、基本概念、基本架构-3
摘要：HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。HBase特性：1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server... 阅读全文
posted @ 2015-11-16 15:15 积淀 阅读(919) 评论(0) 推荐(0)
hbase 单机+伪分布环境搭建学习-1
摘要：1、单机模式：（1）编辑hbase-env.shuser@EBJ1023.local:/usr/local/flume_kafka_stom/hbase_1.1.2> vim conf/hbase-env.sh（2）编辑hbase-site.xmluser@EBJ1023.local:/usr/lo... 阅读全文
posted @ 2015-11-15 21:23 积淀 阅读(681) 评论(0) 推荐(0)
hadoop2.7.1单机和伪集群的搭建-0
摘要：1.下载 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 最新版 解压： tar -zxvf hadoop-2.7.1.tar.gz2.配置环境变量user@EBJ1023.loc... 阅读全文
posted @ 2015-11-15 21:00 积淀 阅读(352) 评论(0) 推荐(0)
storm简介
摘要：场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出... 阅读全文
posted @ 2015-11-12 15:38 积淀 阅读(423) 评论(0) 推荐(0)
Storm：最火的流式处理框架
摘要：诞 生 在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。 有需求也就有创造，在Hadoop基本奠定了大数据... 阅读全文
posted @ 2015-11-12 12:46 积淀 阅读(1198) 评论(0) 推荐(0)
VirtualBox中安装Ubuntu12.04/Ubuntu14.04虚拟机
摘要：NOTE: 一开始安装的Ubuntu12.04，后来又重新安装了14.04。截图基本使用了安装12.04时的截图，后来安装14.04时又补充了几张。该安装过程对Ubuntu12.04和14.04都是适用的。1. 选择版本1.1 Ubuntu桌面版与服务器版的区别桌面版与服务器版，只要发布版本号一致，... 阅读全文
posted @ 2015-11-10 17:24 积淀 阅读(363) 评论(0) 推荐(0)
storm学习之开始-安装和部署
该文被密码保护。
posted @ 2015-11-08 22:07 积淀 阅读(25) 评论(0) 推荐(0)
flume的安装和部署及应用
摘要：../bin/flume-ng agent -c . -f ./avro.conf -n a1 -Dflume.root.logger=INFO,console./flume-ng avro-client -c . -H EBJ1023.local -p 4141 -F ./log.00http:/... 阅读全文
posted @ 2015-11-08 21:17 积淀 阅读(186) 评论(0) 推荐(0)
ZooKeeper安装配置
摘要：1.安装JDK 2.配置环境变量 3.下载zk wget mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 4.配置host 5.zk配置，slave-01为例 6.scp复制到其他主机slave-02 阅读全文
posted @ 2015-11-08 14:05 积淀 阅读(281) 评论(0) 推荐(0)
mac Virtualbox Ubuntu 设置共享目录
摘要：如果要用VirtualBox自带的共享文件夹功能，必须先安装Guest Additions。安装方法：置顶的菜单条->devices->Install Guest Additions。点击安装后，VirtualBox会把虚拟光驱中的已有的iso文件弹出，加载VBoxGuestAdditions.is... 阅读全文
posted @ 2015-11-08 13:24 积淀 阅读(2774) 评论(0) 推荐(1)
ubuntu12.04 修改登陆用户 为root
摘要：Ubuntu 12.04默认是不允许root登录的，在登录窗口只能看到普通用户和访客登录。以普通身份登陆Ubuntu后我们需要做一些修改,普通用户登录后，修改系统配置文件需要切换到超级用户模式,在终端窗口里面输入: sudo -s.然后输入普通用户登陆的密码，回车即可进入 root用户权限模式。后执... 阅读全文
posted @ 2015-11-08 12:55 积淀 阅读(722) 评论(0) 推荐(0)
ubuntu设置中文拼音输入法
摘要：转载 http://www.cnblogs.com/zhj5chengfeng/archive/2013/06/23/3150620.html 阅读全文
posted @ 2015-11-08 12:26 积淀 阅读(410) 评论(0) 推荐(0)
mac virtualBox 解决鼠标无法切换问题
摘要：使用command+i快捷键 阅读全文
posted @ 2015-11-05 21:56 积淀 阅读(2442) 评论(0) 推荐(0)
mysql悲观锁总结和实践
摘要：最近学习了一下数据库的悲观锁和乐观锁，根据自己的理解和网上参考资料总结如下：悲观锁介绍（百科）：悲观锁，正如其名，它指的是对数据被外界（包括本系统当前的其他事务，以及来自外部系统的事务处理）修改持保守态度，因此，在整个数据处理过程中，将数据处于锁定状态。悲观锁的实现，往往依靠数据库提供的锁机制（也只... 阅读全文
posted @ 2015-11-05 13:22 积淀 阅读(198) 评论(0) 推荐(0)
mysql乐观锁总结和实践
摘要：转载 http://chenzhou123520.iteye.com/blog/1863407上一篇文章《MySQL悲观锁总结和实践》谈到了MySQL悲观锁，但是悲观锁并不是适用于任何场景，它也有它存在的一些不足，因为悲观锁大多数情况下依靠数据库的锁机制实现，以保证操作最大程度的独占性。如果加锁的时... 阅读全文
posted @ 2015-11-05 13:20 积淀 阅读(238) 评论(0) 推荐(0)
艺龙Checklist日志收集系统
该文被密码保护。
posted @ 2015-11-04 15:32 积淀 阅读(1) 评论(0) 推荐(0)
MySQL单列索引和组合索引的选择效率与explain分析
摘要：一、先阐述下单列索引和组合索引的概念：单列索引：即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引：即一个索包含多个列。如果我们的查询where条件只有一个，我们完全可以用单列索引，这样的查询速度较快，索引也比较瘦身。如果我们的业务场景是需要经常查询多个组合列，不要试图分别... 阅读全文
posted @ 2015-11-04 14:41 积淀 阅读(1079) 评论(0) 推荐(0)
MySQL之explain 的type列 & Extra列
摘要：explain 可以分析 select 语句的执行，即 MySQL 的“执行计划。一、type 列MySQL 在表里找到所需行的方式。包括（由左至右，由最差到最好）：| All | index | range | ref | eq_ref | const,system | null |ALL（所有）... 阅读全文
posted @ 2015-11-04 10:37 积淀 阅读(533) 评论(0) 推荐(0)
MySQL索引原理及慢查询优化
摘要：MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系... 阅读全文
posted @ 2015-11-04 10:31 积淀 阅读(176) 评论(0) 推荐(0)
利用flume+kafka+storm+mysql构建大数据实时系统
摘要：架构图数据流向图1.Flume 的一些核心概念：2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图： Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带... 阅读全文
posted @ 2015-11-01 21:33 积淀 阅读(803) 评论(0) 推荐(0)