摘要： 创建Hadoop系统用户 为Hadoop开启Kerberos， 需为不同服务准备不同的用户。 启动服务时需要使用相应的用户。 须在所有节点创建以下用户和用户组。 用户划分： User: Group Daemons hdfs: hadoop NameNode, Secondary NameNode, 阅读全文

摘要： ubuntu 安装 kerberos 组件安装： #ubuntu 安装 kerberos apt-get install -y krb5-user \ libpam-krb5 libpam-ccreds \ auth-client-config libkrb5-dev \ krb5-kdc krb5 阅读全文

摘要： WARNING! Using --password via the CLI is insecure. Use --password-stdin.Error saving credentials: error storing credentials - err: exit status 1, out: 阅读全文

摘要： 1、安装kerberos Kerberos Server节点（Kadmin，KDC）执行如下命令： yum install -y krb5-server krb5-libs krb5-workstation 使用Kerberos的节点（只使用Kerberos认证）执行如下命令： yum instal 阅读全文

摘要： 概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有54张表。 一、存储Hive版本的元数据表（VERSION） VERSION -- 查询版本信息 该表比 阅读全文

摘要： 下载 https://github.com/protocolbuffers/protobuf/releases 编译： ./configure --prefix=/usr/local/protobuf make make install 配置环境变量： vim .bash_profile expor 阅读全文

摘要： 参考：https://thrift.apache.org/docs/install/ 不要使用源码编译安装的方式！！！！ 0、先安装基础组件： jdk apache ant 1、brew配置国内源 参考：https://didispace.blog.csdn.net/article/details/ 阅读全文

摘要： 1、问题：数据库为什么要设计索引？ 图书馆存了1000W本图书，要从中找到《架构师之路》，一本本查，要查到什么时候去？ 为了快速查找一本书，图书管理员设计了一套规则： (1)、一楼放历史类，二楼放文学类，三楼放IT类… (2)、IT类，又分软件类，硬件类… (3)、软件类，又按照书名音序排序… 与之 阅读全文

摘要： 参考：https://www.jianshu.com/p/55defda6dcd2 概率算法 实际上目前还没有发现更好的在大数据场景中准确计算基数的高效算法，因此在不追求绝对准确的情况下，使用概率算法算是一个不错的解决方案。 概率算法不直接存储数据集合本身，通过一定的概率统计方法预估基数值，这种方法 阅读全文

摘要： 前言 看下下面几个问题： 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 以上这些场景有个共同的问题：如何查看一个东西是否在有大量数据的池子里。 Bloom Filt 阅读全文