摘要：
基本描述 Kerberos 使用Needha Schroeder协议作为它的基础。它使用了一个由两个独立的逻辑部分：认证服务器和票据授权服务器组成的"可信赖的第三方"，术语称为密钥分发中心（KDC）。 Kerberos 工作在用于证明用户身份的"票据"的基础上。 KDC持有一个密钥数据库；每个网络实 阅读全文
2016年11月15日
2016年11月11日
摘要：
"前言" "数据倾斜调优" "调优概述" "数据倾斜发生时的现象" "数据倾斜发生的原理" "如何定位导致数据倾斜的代码" "查看导致数据倾斜的key的数据分布情况" "数据倾斜的解决方案" "解决方案一：使用Hive ETL预处理数据" "解决方案二：过滤少数导致倾斜的key" "解决方案三：提高 阅读全文
摘要：
转自：http://tech.meituan.com/spark tuning basic.html?from=timeline "前言" "开发调优" "调优概述" "原则一：避免创建重复的RDD" "原则二：尽可能复用同一个RDD" "原则三：对多次使用的RDD进行持久化" "原则四：尽量避免使 阅读全文
2016年11月4日
摘要：
转载请注明出处 ：http://www.cnblogs.com/xiaodf/ "1 Sqoop概述" "2 版本说明" "3 驱动安装" "3.1 MySQL" "4 基本用法" "4.1 导入" "4.1.1 保护密码" "4.1.2 使用其他文件格式" "4.1.3 压缩导入的数据" "4.1 阅读全文
2016年11月2日
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ 1、测试环境 该benchmark用到了六台机器，机器配置如下 l IntelXeon 2.5 GHz processor with six cores l Six7200 RPM SATA drives l 32GB o 阅读全文
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，采集新数据发送给消息队列等。 1 安装部署Flume 若要采集数据节点的本地数据，每个节点都需要安装一个Flume工具，用来做数据采集。 1.1 阅读全文
2016年10月27日
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ 本文举例说明如何使用 org.apache.hadoop.security.UserGroupInformation 类在 Java 应用程序中对 Kerberos 主体进行身份验证。 以下代码段验证 user3主体（使用 阅读全文
2016年10月26日
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ 本博客实现了一个简单的RocketMQ消费者的示例,MQ里存储的是经过Avro序列化的消息数据，程序读取数据并反序列化后，将消息从控制台打印出来。 程序通过stdin.xml配置文件获取主要参数值，stdin.xml文件内 阅读全文
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ 本示例展示了一个RocketMQ producer的简单实现，通过解析文本文件获取输入数据，将数据经过Avro序列化后发送到RocketMQ。 程序通过stdin.xml配置文件获取主要参数值，stdin.xml文件内容如 阅读全文
2016年10月25日
摘要：
转载请注明出处：http://www.cnblogs.com/xiaodf/ 之前的博客介绍了通过Kerberos + Sentry的方式实现了hive server2的身份认证和权限管理功能，本文主要介绍Spark SQL JDBC方式操作Hive库时的身份认证和权限管理实现。 ThriftSer 阅读全文
