12 2018 档案

hive 使用 beeline 执行hql传参数; hive 使用distcp 和 MSCK 进行hive数据库迁移

摘要：beeline 命令 -u 指定链接 -e 指定hql -f 指定hql文件 --hiveconf 指定传参数, 参数在hql里形如 ${hiveconf:var}, 要有hiveconf:前缀 jdbc='jdbc:hive2://bd-master01-pe2.f.cn:10000/defaul 阅读全文

posted @ 2018-12-21 18:34 爱知菜阅读(75) 评论(0) 推荐(0) 编辑

企业级大数据的安全方案 & Kerberos 的 expire 及 renew说明

摘要：企业级大数据集群有两个层面的安全系统：一个是每一台服务器的本地有个linux的账户系统，这个可以批量处理配置。为每个服务器建立一个本地的账号和组。用这个账号去SSH登录。另一个就是大数据集群，即Hadoop的账号系统，是Hadoop通过 Kerberos 协议实现的。Kerberos是一个协议，阅读全文

posted @ 2018-12-04 18:38 爱知菜阅读(31) 评论(0) 推荐(0) 编辑