摘要：当前Apache Hadoop认证（authentication）支持simple和kerberos，simple是默认的，其实是信任操作系统的认证结果（也就是直接使用操作系统的用户）。kerberos是一套第三方的认证系统，我们没有使用。以下基于hadoop 2.6.0版本。hadoop权限相关的问题，涉及四个方面：HDFS权限、YARN资源使用权限、Container使用主机资源权限、主机（h... 阅读全文

摘要：spark mllib的pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法。在Pipeline中的每个算法被称为“PipelineStage”，表示其中的一个算法。PipelineStage分为两种类型，Estimator和Transformer，其中：Transformer将数据转换为两一种形式（例如修改格式），以供后续的Estimator使用，统一的转换函数tran... 阅读全文