mantou叔叔

摘要： YARN Introduce 1. MapReduce1.0缺陷 （1）存在单点故障 （2）JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点） （3）容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存） （4）资源划分不合理（强制划分为sl 阅读全文

摘要： 如果把传统关系型数据库比做火车的话，那么到如今的大数据时代，图数据库就是高铁。那么如今炙手可热的图数据库究竟是什么呢？来不及解释了，快上车~ 阅读全文

摘要： 1. 介绍 Apache Atlas使用各种系统并与之交互，为数据管理员提供元数据管理和数据血缘信息。通过适当地选择和配置这些依赖关系，可以使用Atlas实现高度的服务可用性。本文档介绍了Atlas中的高可用性支持状态，包括其功能和当前限制，以及实现此高级别可用性所需的配置。 在高级架构章节(请参阅 阅读全文

摘要： 背景：笔者和团队的小伙伴近期在进行 数据治理/元数据管理 方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： "0] [使用Atlas进行元数据管理之Atlas简介" "1] [使用Atlas进行元数据管理之Glossary(术语)" "2] 阅读全文

摘要： 背景：笔者和团队的小伙伴近期在进行 数据治理/元数据管理 方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： "0] [使用Atlas进行元数据管理之Atlas简介" "1] [使用Atlas进行元数据管理之Glossary(术语)" "2] 阅读全文

摘要： 数据的真正价值在于数据驱动决策，通过数据指导运营。通过数据驱动的方法判断趋势，帮住我们发现问题，继而推动创新或产生新的解决方案。随着企业数据爆发式增长，数据体量越来越难以估量，我们很难说清楚我们到底拥有哪些数据，这些数据从哪里来，到哪里去，发生了什么变化，应该如何使用它们。因此元数据管理(数据治理)成为企业级数据湖不可或缺的重要组成部分。 阅读全文

摘要： 1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年，在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在H 阅读全文

摘要： 在调试Kerberos的时候可能会有需要禁用的场景。以下是各组件禁用Kerberos的相关配置。 环境 CDH版本：5.11.2 Linux版本：7.4.1708 Docker版本：Docker version 18.06.0 ce JDK版本：1.8 Zookeeper : false 的Serv 阅读全文

摘要： 本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。 阅读全文

摘要： 1. 概述 Kerberos是一种计算机网络认证协议，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议，并发布的一套免费软件。它的设计主要针对客户 服务器模型，并提供了一系列交互认证——用户和服务器都能验证对方的身份。Kerberos协议可以 阅读全文