MapReduce扩展：应用程序如何运行于Hadoop Yarn之上
摘要：1. 背景 “应用程序运行于Hadoop Yarn之上”的需求来源于微博运维数据平台中的调度系统，即调度系统中的任务需要运行于Hadoop Yarn之上。这里的应用程序可以简单理解为一个普通的进程（这里特指Java进程），调度系统中的任务执行实际也是一个进程的运行过程，这里我们不讨论为什么调度系统中
阅读全文
摘要：本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高？ 集群运维成本如何降低？ 1. 背景 这是我们初期的一个实时计算架构，大致划分为三个部分： （1）
阅读全文
摘要：<!--?xml version="1.0" encoding="UTF-8" standalone="no"?-->
阅读全文
摘要：随着平台业务的发展，依赖于Portal（Web）构建的服务架构已逐渐不能满足现有的一些复杂需求（如：使用Hive SQL无法完成计算逻辑），而且对于一些具备编程能力的程序员或数据分析师而言，能够自主控制任务的诉求越来越多，这就要求我们必须把平台的计算能力开放出去，主要涉及以下三个问题：（1）用户可以...
阅读全文
摘要：背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的...
阅读全文
