摘要： FileInputFormat（org.apache.hadoop.mapreduce.lib.input.FileInputFormat）是专门针对文件类型的数据源而设计的，也是一个抽象类，它提供两方面的作用：（1）定义Job输入文件的静态方法；（2）为输入文件形成切片的通用实现；至于如何将切片中... 阅读全文

摘要： Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下：InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计... 阅读全文

摘要： Yarn（Yet Another Resource Negotiator）是一个Hadoop集群资源管理系统，Hadoop2时被引入，旨在提高MapReduce的性能，但YARN已足够通用，使得它可以支持其它的分布式应用。Yarn本身提供了一系列API用于用户应用程序与集群资源进行交互，这些API复... 阅读全文

摘要： 平台数据仓库使用Hive进行构建，通过调研决定使用“SQL Standards Based Authorization in HiveServer2”对用户提交的SQL进行权限控制，也可根据实际情况选择是否开启“Storage Based Authorization in the Metastore... 阅读全文

摘要： 说明：该文档翻译/整理于Hive官方文档https://cwiki.apache.org/confluence/display/Hive/SQL+Standard+Based+Hive+Authorization#SQLStandardBasedHiveAuthorization-ObjectPri... 阅读全文

摘要： 功能jmap（Memory Map For Java）命令用于生成堆转储快照（一般称为heaphump或dump文件）。如果不使用jmap命令，要想获取Java堆转储快照还有一些比较“暴力”的手段：使用-XX:HeapDumpOnOutOfMemoryError参数，可以让虚拟机在OOM异常出现之后... 阅读全文

摘要： Hadoop适用于少量的大文件场景，而不是大量的小文件场景（这里的小文件通常指文件大小显著小于HDFS Block Size的文件），其主要原因是因为FileInputFormat在为这些小文件生成切片的时候，会为每一个小文件生成一个切片，如果小文件数目众多，会导致大量的Map Task，每个Map... 阅读全文

摘要： 引言数据平台目前通过Hive SQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高，需要重启HiveServer来缓解问题，但在某些任务比较集中的时间段往往会导致大量任务执... 阅读全文

摘要： 引言目前数据平台使用Hadoop构建，为了方便数据分析师的工作，使用Hive对Hadoop MapReduce任务进行封装，我们面对的不再是一个个的MR任务，而是一条条的SQL语句。数据平台内部通过类似JDBC的接口与HiveServer进行交互，仅仅能够感知到一条SQL的开始与结束，而中间的这个过... 阅读全文

摘要： 功能用于生成虚拟机当前时刻的线程快照（一般称为threaddump或javacore文件）。线程快照就是当前虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等都是导致线程长时间停顿的常见原因。线程出现... 阅读全文