风-fmgao

摘要： Sqoop的基本原理和相关参数配置： 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hado 阅读全文

摘要： Oozie的安装和任务调度： 简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按 阅读全文

摘要： 新旧API使用 Flume和Kafka集成： Kafka有两套API: 过时的API 和新API 准备工作 Kafka生产者API 旧 高级 生产者带回调函数 自定义分区 需求:将所有数据存储到topic的第0号分区上 Kafka消费者 旧 使用低级API读取指定topic，指定partition, 阅读全文

摘要： Hive的基本数据类型 DDL DML： 基本数据类型 对于Hive而言String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。 集合数据类型 数据类型描述语法示例 STRUCT 和c语言中的struct类似 阅读全文

摘要： Hive查询 分桶表 常用函数 自定义函数： 查询语法 基本查询 全表查询 条件查询 注意: 列别名 算术运算符 运算符描述 A+B A和B 相加 A-B A减去B A*B A和B 相乘 A/B A除以B A%B A对B取余 A&B A和B按位取与 A\ B A和B按位取或 A^B A和B按位取异或 阅读全文

摘要： Hive存储格式选择 和Hive 相关优化： 压缩参考 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 文件存储格式 列式存储和行式存储 行存储的特点:查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只 阅读全文

摘要： Nosql简介 NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非 阅读全文

摘要： memcached是一个高性能的分布式内存对象缓存系统： Memcached简介 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值 阅读全文

摘要： Redis的事务和秒杀场景设计： Redis事务 Redis事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断,Redis事务的主要作用就是串联多个命令防止别的命令插队 Multi 用于标记事务块的开始。Redis会将后续的 阅读全文

摘要： Redi持久化方式 Redis 提供了2个不同形式的持久化方式。RDB （Redis DataBase）AOF （Append Of File） RDB ​ 在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。 如何执行 ​ Red 阅读全文