摘要：
一，风险分为内部和外部 首先内部： CDH大数据集群部署过程中会自动创建以服务命名的用户，如图所示 用户名(login_name)：口令位置(passwd)：用户标识号(UID)：用户组标识号(GID)：注释性描述(users)：主目录(home_directory)：登陆shell(Shell) 阅读全文
摘要：
一，简介 大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控。 外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等； 数据安全从狭义上说包括对用户数据的加解密，又可细分为存储加密和传输加密；还包括用户数据的脱敏，脱敏可以看做“轻量级”的数据加密。如某人的生 阅读全文
摘要：
centos 6.5 镜像：http://archive.kernel.org/centos-vault/6.5/isos/x86_64/ docker ：https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 阅读全文
摘要：
问题一： 错误描述： /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent status cloudera-scm-agent dead but pid file exists 查看日志/opt/cm-5.7.0/log/cloudera-scm-agent/clo 阅读全文
摘要：
我们在部署完CDH 5.7.0和CM 5.7.0后，开始启动CM Agent，但是会出现下面的错误：# cloudera-scm-agent startStarting cloudera-scm-agent: [FAILED] 问题查找# cat /opt/cloudera-manager/cm-5 阅读全文
摘要：
一、摘要 impala作为实时数据分析引擎，其源数据时效性要求不同，主要分为离线数据分析和实时数据分析。离线数据分析应用场景下，可以利用hive离线加载数据。实时数据分析则依靠kafka（高吞吐量的消息发布订阅系统）。 二、kafka介绍 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理 阅读全文
摘要：
一、python循环体 1. python支持for循环，while循环，和嵌套循环； java支持for循环，while循环，do ... while...循环。 2. python中break，continue和java中含义相同，但是特有pass。 pass 不做任何事情，一般用做占位语句。 阅读全文
摘要：
一、平台基本功能 1. 数据接入 2. 数据存储和查询，存储模型应包括关系型模型，非关系型模型，文档模型等。 3. 数据计算，包括离线批处理，实时计算，机器学习，多维分析和全文检索。 4. 平台安全与管理，解决用户管理，数据隔离，访问授权，访问控制和集群服务安全等问题。 5. 平台辅助工具，如程序开 阅读全文
摘要：
一、方法介绍 假设要进行join的数据分别来自File1和File2. 参考：https://blog.csdn.net/yimingsilence/article/details/70242604 1.1 reduce side join reduce side join是一种最简单的join方式 阅读全文
摘要：
面试常见问题，必备答案。 参考：https://blog.csdn.net/u010697988/article/details/70173104 mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实效性，下面主要介绍mapReducehe和Spark两者的shuff 阅读全文