Zeus~

摘要： npm安装源修改为淘宝源 标签（空格分隔）： 编译 原：https://cnodejs.org/topic/4f9904f9407edba21468f31e npm安装源修改为淘宝源 镜像使用方法（三种办法任意一种都能解决问题，建议使用第三种，将配置写死，下次用的时候配置还在）: 1.通过confi 阅读全文

摘要： HBase 集群监控系统构建 标签（空格分隔）： Hbase 一, 集群为什么需要监控系统 总的来说是为了保证系统的稳定性，可靠性，可运维性。具体来说我认为有以下几点： 掌控集群的核心性能指标，了解集群的性能表现。 集群出现问题时及时报警，便于Hbase运维同学及时修复问题。 集群重要指标值异常时进 阅读全文

摘要： Hbase meta表异常修复 标签（空格分隔）： Hbase 一，Hbase meta元数据表 1.1 背景 线上Hbase 因为在hbase shell中清空 truncate 'table'一张表时候发现中途清空错了，嗯下了Ctrl+c,导致某张表在RIT 阶段。 1.2 meta表修复一 1 阅读全文

摘要： Hbase数据备份&&容灾方案 标签（空格分隔）： Hbase 一、Distcp 在使用distcp命令copy hdfs文件的方式实现备份时，需要禁用备份表确保copy时该表没有数据写入，对于在线服务的hbase集群，该方式不可用，将静态此目录distcp 到其他HDFS文件系统时候，可以通过在其 阅读全文

摘要： maven 高级玩法 标签（空格分隔）： maven 实用技巧 Maven 提速 多线程 跳过测试 DskipTests 不执行测试用例，但编译测试用例类生成相应的 class 文件至 target/test classes 下 Dmaven.test.skip=true 不执行测试用例，也不编译测 阅读全文

摘要： Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 阅读全文

摘要： hadoop作业调优参数整理及原理 标签（空格分隔）： hadoop 问题假设： 前提：已经对mapreduce处理框架模型有所了解 1.map会将已经产生的部分结果先写入到该buffer中.buffer大小可以通过那个参数来设置？ 2.如何降低map的split的次数？ 3.map中的数据什么情况 阅读全文

摘要： hadoop HA+Federation（高可用联邦）搭建配置（二） 标签（空格分隔）： hadoop core site.xml mountTable.xml hdfs site.xml Yarn site.xml mapred site.xml hdfs site.xml namespace1 阅读全文

摘要： hadoop HA+Federation（高可用联邦）搭建配置（一） 标签（空格分隔）： 未分类 介绍 hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。 HA联邦模式解决了单纯HA模式的性能瓶颈（主要指Namenode、ResourceManager），将整个HA集群划分为两 阅读全文

摘要： 配置 Hive On Tez 标签（空格分隔）： hive Tez 部署底层应用 简单介绍 介绍：tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2 3倍速度左右，大任务7 10倍左右，根据 阅读全文