摘要：
记录下zookeeper伪分布式搭建的过程，假设系统已经配置好了JAVA环境。 1.准备环境 linux服务器一台，下载某个版本的zookeeper压缩包，下载链接：http://apache.claz.org/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5 阅读全文
摘要：
一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。 系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间 QPS（TPS）：每秒钟re 阅读全文
摘要：
一、Apriori 算法概述Apriori 算法是一种最有影响力的挖掘布尔关联规则的频繁项集的 算法，它是由Rakesh Agrawal 和RamakrishnanSkrikant 提出的。它使用一种称作逐层搜索的迭代方法，k- 项集用于探索（k+1）- 项集。首先，找出频繁 1- 项集的集合。该集 阅读全文
摘要：
tar -c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compr 阅读全文
摘要：
ALTER TABLE：添加，修改，删除表的列，约束等表的定义。 查看列：desc 表名; 修改表名：alter table t_book rename to bbb; 添加列：alter table 表名 add column 列名 varchar(30); 删除列：alter table 表名 阅读全文
摘要：
Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。 Hadoop的位置 从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。 越往上，越往右就越火…… Hadoop框架中一些简介 HDFS HDFS，（Hadoop Distributed File System） hadoo 阅读全文
摘要：
Sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，可以方便的将数据从关系数据库导入到HDFS，或将数据从HDFS导出到关系数据库。 关于Sqoop 官网Sqoop架构整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供 阅读全文
摘要：
一般情况下，很少会用php去执行linux命令，不过特殊情况下，你也许会用到这些函数。以前我知道有二个函数可以执行linux命令，一个是exec,一个是shell_exec。其实有很多的，结合手册内容，介绍以下6个函数。 1，exec函数 <?php $test = "ls /tmp/test"; 阅读全文
摘要：
Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。 如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢？ 首先想到的办法可能是： 先创建一张和old_table结构相同的new 阅读全文
摘要：
MySQL 添加列，修改列，删除列 ALTER TABLE：添加，修改，删除表的列，约束等表的定义。 查看列：desc 表名; 修改表名：alter table t_book rename to bbb; 添加列：alter table 表名 add column 列名 varchar(30); 删 阅读全文