2019年8月17日
Sqoop伪分布式配置
摘要： 阅读全文
posted @ 2019-08-17 12:58 会走的树 阅读(341) 评论(0) 推荐(0) 编辑
Spark伪分布式配置
摘要： 阅读全文
posted @ 2019-08-17 11:31 会走的树 阅读(484) 评论(0) 推荐(0) 编辑
Hive伪分布式配置
摘要： "安装MySQL" 安装HIve 配置环境变量 使用hive默认的元数据 使用MySQL作为元数据 Linux远程连接MySQL (5.1.41版本) 启动hive 参考: "大数据技术原理与应用 第十四章 基于Hadoop的数据仓库Hive 学习指南" "关于hive异常：Unable to in 阅读全文
posted @ 2019-08-17 10:50 会走的树 阅读(561) 评论(0) 推荐(0) 编辑
MySQL配置及常见问题解决
摘要： 本机安装MySQL (非Linux core版本) MySQL默认连接端口：3306 卸载已经安装 使用yum安装MySQL 启动mysql服务 解决初始密码问题 sqoop导入MySQL中文乱码的问题 Linux core连接MySQL 添加MySQL的主机IP映射 安装MySQL的客户端 阅读全文
posted @ 2019-08-17 10:46 会走的树 阅读(365) 评论(0) 推荐(0) 编辑
Spark-WordCount
摘要： words.txt 数据 阅读全文
posted @ 2019-08-17 10:43 会走的树 阅读(220) 评论(0) 推荐(0) 编辑
Spark-Dataframe操作
摘要： 准备代码 使用SQL语句查询 查看数据 加载数据到数组 获取指定字段的统计信息 获取n行数据 条件查询 去除重复数据 同字段数据组合(unionAll) 同字段数据行组合(join) 阅读全文
posted @ 2019-08-17 10:39 会走的树 阅读(1104) 评论(0) 推荐(0) 编辑