kris12

摘要： Hive中执行SQL语句时，出现类似于“Display all 469 possibilities? (y or n)”的错误， 根本原因是因为SQL语句中存在tab键导致，tab键在linux系统中是有特殊含义的。 查询 1. 基本查询 desc formatted stu_buck; desc 阅读全文

摘要： 1. Hive数据类型 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOL 阅读全文

摘要： 什么是shell Shell是命令解释器，用于解释用户对操作系统的操作； Shell有很多：cat/etc/shells CentOS7默认使用Shell是bash shell是一个命令行解释器，它接收应用程序/ 用户命令，然后调用操作系统内核；功能强大的编程语言； Linux的启动过程 BIOS（ 阅读全文

摘要： Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是Ma 阅读全文

摘要： 1. HDFS-HA 在分布式文件系统 HDFS 中，NameNode 是 master 角色，当 NameNode 出现故障后，整个 HDFS 将不可用，所以保证 NameNode 的稳定性至关重要。在 Hadoop1.x 版本中，HDFS 只支持一个 NameNode，为了保证稳定性，只能靠 S 阅读全文

摘要： 泛型 泛型：对后续所有操作的类型做约束，对后续操作起作用，对之前的不起作用； 对类型进行约束； 父 > 子，从范围上，父范围小，子范围大；把范围小的给范围大的， JDK1.5改写了集合框架中的全部接口和类，为这些接口、类增加了“类型形参”，这个类型形参将在声明变量、创建对象时确定，即传入实际的类型， 阅读全文

摘要： 查看不同MyBatis版本整合Spring时使用的适配包； 下载整合适配包 https://github.com/mybatis/spring/releases 官方整合示例，jpetstore https://github.com/mybatis/jpetstore-6 1. 搭建环境 创建一个动 阅读全文

摘要： 1. Redis事务 Redis不支持事务，此事务不是关系型数据库中的事务； Redis事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。 Redis事务的主要作用就是串联多个命令防止别的命令插队； Multi（组队阶段） 阅读全文

摘要： MapReduce框架原理 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。 4）Ma 阅读全文

摘要： 1. 计数器应用 2. 数据清洗（ETL） 在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 LogMapper.java @Override protected void map(L 阅读全文