zhangqi

摘要： Sqoop安装 安装Sqoop的前提是已经具备Java和Hadoop的环境。（sqoop底层原理还是mapreduce的输入和输出） 3.1 下载并解压 1) 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2) 上传安装包sqoop-1.4. 阅读全文

摘要： Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导 阅读全文

摘要： Oozie的安装与部署 1、解压Oozie 2、Hadoop配置文件修改，完成后scp到其他机器节点 core-site.xml 配置JobHistoryServer服务（必须） mapred-site.xml yarn-site.xml 完成后：记得scp同步到其他机器节点。 3、开启Hadoop 阅读全文

摘要： Oozie框架： 1、Oozie英文翻译：驯象人 2、Oozie简介 3、Oozie在集群中扮演的角色 定时调度任务，多任务可以按照执行的逻辑顺序调度。 4、Oozie的功能模块 Workflow：顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个） Coordinator 阅读全文

摘要： * Hive创建表的三种方式 1、使用create命令创建一个新表 2、把一张表的某些字段抽取出来，创建成一张新表 3、复制表结构 * Hive表导入数据五种方式 1、本地导入 2、HDFS导入 3、覆盖导入 4、查询导入 5、insert导入 * Hive表导出数据四种方式 1、本地导出 2、HD 阅读全文

摘要： 一直时候用idea很久没有使用eclipse了，idead的ctrl+鼠标滚轮是可以调节字体大小，这项功能是我的最爱。 早就忘记eclipse的智能助手设置，今天翻下以前的笔记，觉得还是做个博客方便今后查找吧。 window=》preferences=>Java=>Editor=>Content A 阅读全文

摘要： 一、 HBase的起源 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org * 2006年Google发表BigTable白皮书 * 2006年开始 阅读全文

摘要： 拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，pr 阅读全文

摘要： 概述 1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 2 Kafka Streams特点 1）功能强大 高扩展性，弹性，容错 2）轻量级 无需专门的集 阅读全文

摘要： 关系型数据库 结构： * 数据库以表的形式存在 * 支持FAT、NTFS、EXT、文件系统 * 使用Commit log存储日志 * 参考系统是坐标系统 * 使用主键（PK） * 支持分区 * 使用行、列、单元格 功能： * 支持向上扩展 * 使用SQL查询 * 面向行，即每一行都是一个连续单元 * 阅读全文