摘要：
始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术 阅读全文
摘要：
HDFS集群有两类节点以管理者-工作者模式运行，即一个namenode(管理者)和多个datanode(工作者)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也记录着 阅读全文
摘要：
Apache Flume是一个将大规模数据导入HDFS的工具，典型的应用是从另一个系统中收集日志数据。通过管道方式将数据写入Flume，再通过Flume将事件写入HDFS中。 Flume提供了不通级别的数据投递可靠性，如最大努力投递，在多个Flume节点失效的情况下成功投递。 Apache Sqoo 阅读全文
摘要：
1、网上下载jdk安装包进行安装； 2、配置环境变量 win8及以前版本 我的电脑->右键->属性->高级变量->系统变量 win10版本 控制面板->系统和安全->系统->高级系统设置->环境变量->系统变量 3、(1) 新建环境变量 变量名：JAVA_HOME 值：D:\software\jdk 阅读全文
摘要：
hbase有hbase shell以及hbase 客户端api两种方式进行hbase数据库操作； 首先，hbase shell是在linux命令行进行操作，输入hbase shell命令，进入shell命令行。 输入 help 可以看到命令分组 上面是hbase的一些操作，要查看具体某一个操作，例如 阅读全文
摘要：
1、hbase主要通过行主键,列主键，及时间这样的索引找到具体的值的，其中行主键以及主键（即列名)是字典序列存储的，而时间是根据递减排序的。其中列族的多少是确定的，在列族中的列的个数没有限制。hbase中对于列值为空的值不存储。 2、hbase中扩展及负载均衡的基本单元是region，他本质上是以行 阅读全文
摘要：
目的：了解hbase与支持海量数据查询的特性以及实现方式 传统关系型数据库特点及局限 传统数据库事务性特别强，要求数据完整性及安全性，造成系统可用性以及伸缩性大打折扣。对于高并发的访问量，数据库性能不是很好，类似于互联网这样的访问量容易造成宕机。 hbase hbase是基于列存储的数据库与传统的基 阅读全文
摘要：
以前学习过c/c++,在初次接触python后有恨多类似的概念，最近开始接触python，正在阅读python简明教程，遇到的python自己的语法特性。 python中的缩进代表python中的一个块，缩进很重要； python中是大小写敏感的； python中用：（冒号）结尾表示下一行开启一个块 阅读全文
摘要：
原因1：给定目录下jvm.dll不存在。 对策：（1）重新安装jre或者jdk并配置好环境变量。（2）copy一个jvm.dll放在该目录下。 原因2：eclipse的版本与jre或者jdk版本不一致 对策：要么两者都安装64位的，要么都安装32位的，不能一个是32位一个是64位。 原因2的概率更大 阅读全文
摘要：
在MySQL中创建外键时，经常会遇到问题而失败，这是因为mysql中还有很多细节需要我们去留意，我自己总结并查阅资料后列出了以下几种常见原因。 1. 两个字段的类型或者大小不严格匹配。例如，如果一个是int(10)，那么外键也必须设置成int(10)，而不是int(11)，也不能是tinyint。另 阅读全文
摘要：
scala函数编程特点： 1、Scala函数使用命名参数； 即函数参数传递的实参与函数名相对应，与函数位置不对应。 object Test { def main(args: Array[String]) { printInt(b=5, a=7); } def printInt( a:Int, b:I 阅读全文