学而不思则罔，思而不学则殆

Sqoop与HDFS结合 下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出。 Sqoop import 它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。 我们来分析一下 Sqoop 数据导入流程，首先用户输入一个 Sqoop import 命令，Sqoop 会 Read More

Sqoop 产生背景 Sqoop 的产生主要源于以下几种需求： 1、多数使用 Hadoop 技术处理大数据业务的企业，有大量的数据存储在传统的关系型数据库（RDBMS）中。 2、由于缺乏工具的支持，对 Hadoop 和 传统数据库系统中的数据进行相互传输是一件十分困难的事情。 3、基于前两个方面的考 Read More

出处：http://blog.csdn.net/tch918/article/details/22276627 自从CAS 3.4就很好的支持了单点注销功能，配置也很简单。 之前版本因为在CAS服务器通过HttpClient发送消息时并未指定为POST方式，所以在CAS客户端的注销Filter中没有 Read More

1. 内部表 注：hive默认创建的是内部表 此时，会在hdfs上新建一个test表的数据存放地 load data inpath '/input/data' into table test ; 会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。删除t Read More

很奇怪的问题，相同的代码和相同的数据，在两台linux服务器上执行文件上传，一台正常上传，一台在ftl页面 报：Uncaught SyntaxError: Unexpected end of input 后面再看日志 发现有内存泄漏 百思不得其解，后同步catalina.sh 文件可以成功上传，应该 Read More

建表规则如下： •CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常 •EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION） •LIKE 允许用户复制现 Read More

三种方式： 第一种是比大小，然后计数 第二种是利用笛卡尔积，两对比排序 第三种是利用变量对比加1 Read More

一份有文件的数据，看起来正常，以tab 分割 load数据： 结果很奇怪都是null的 搞了半天，原来还是分隔符问题，要手动录入tab 才可以。 Read More

以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如 Read More

Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 flume 特点： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume Read More