摘要: HDFS 的 Shell 操作 阅读全文
posted @ 2018-10-15 15:54 山间一棵松 阅读(247) 评论(0) 推荐(0) 编辑
摘要: HDFS的概念和特性 阅读全文
posted @ 2018-10-15 11:58 山间一棵松 阅读(2096) 评论(0) 推荐(0) 编辑
摘要: 0. 说明 编写工具类,考察 Spark 分布式程序的执行地点 1. 工具类编写 [ JMX ] Java Management Extend , Java 管理扩展服务。 主要用于运维和监控。 【测试 JMX】 开启 nc,参考 [Linux] nc 通过 Client 模式运行 Spark 在 阅读全文
posted @ 2018-10-14 19:36 山间一棵松 阅读(591) 评论(0) 推荐(0) 编辑
摘要: 启动 MySQL 时出现 ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061) 解决方案 阅读全文
posted @ 2018-10-14 13:06 山间一棵松 阅读(183) 评论(0) 推荐(0) 编辑
摘要: Spark & Hadoop 的分区 && 指定分区 repartition 和 coalesce 阅读全文
posted @ 2018-10-13 19:35 山间一棵松 阅读(300) 评论(0) 推荐(0) 编辑
摘要: nc 的介绍 & 使用 阅读全文
posted @ 2018-10-13 17:25 山间一棵松 阅读(142) 评论(0) 推荐(0) 编辑
摘要: groupByKey & reduceBykey 的区别 阅读全文
posted @ 2018-10-13 16:26 山间一棵松 阅读(269) 评论(0) 推荐(0) 编辑
摘要: Spark 集群模式 && Spark Job 部署模式 阅读全文
posted @ 2018-10-13 16:09 山间一棵松 阅读(152) 评论(0) 推荐(0) 编辑
摘要: Spark 集群管理命令 阅读全文
posted @ 2018-10-13 15:44 山间一棵松 阅读(1270) 评论(0) 推荐(0) 编辑
摘要: Spark job 部署模式 阅读全文
posted @ 2018-10-12 21:20 山间一棵松 阅读(288) 评论(0) 推荐(0) 编辑
摘要: Spark 核心组件 阅读全文
posted @ 2018-10-12 20:08 山间一棵松 阅读(796) 评论(0) 推荐(0) 编辑
摘要: RDD 概述 && 创建 RDD 的方式 && RDD 编程 API(Transformation 和 Action Operations) && RDD 的依赖关系 阅读全文
posted @ 2018-10-11 20:37 山间一棵松 阅读(547) 评论(0) 推荐(0) 编辑
摘要: 遇见有趣的自己 阅读全文
posted @ 2018-10-11 18:40 山间一棵松 阅读(262) 评论(0) 推荐(0) 编辑
摘要: Spark 下运行job,使用第三方 Jar 包的 3 种方式。 阅读全文
posted @ 2018-10-10 18:43 山间一棵松 阅读(7035) 评论(1) 推荐(0) 编辑
摘要: 将 IDEA 下的项目导出为 Jar 包,部署到 Spark 集群上运行。 阅读全文
posted @ 2018-10-10 15:49 山间一棵松 阅读(1369) 评论(0) 推荐(0) 编辑
摘要: 在 IDEA 中编写 Spark 代码实现将 JSON 数据转换成标签,分别用 Scala & Java 两种代码实现。 阅读全文
posted @ 2018-10-10 15:05 山间一棵松 阅读(726) 评论(0) 推荐(0) 编辑
摘要: Spark 集群搭建 阅读全文
posted @ 2018-10-09 14:03 山间一棵松 阅读(186) 评论(0) 推荐(0) 编辑
摘要: Spark 在 IDEA 下使用 Scala & Spark 在 IDEA 下使用 Java 编写 WordCount 程序 阅读全文
posted @ 2018-10-08 22:51 山间一棵松 阅读(185) 评论(0) 推荐(0) 编辑
摘要: Spark 实现气温统计 阅读全文
posted @ 2018-10-08 20:54 山间一棵松 阅读(829) 评论(0) 推荐(0) 编辑
摘要: Spark Shell 实现 Word Count 阅读全文
posted @ 2018-10-08 19:35 山间一棵松 阅读(273) 评论(0) 推荐(0) 编辑
摘要: Spark 基本概念 & 安装 阅读全文
posted @ 2018-10-08 16:35 山间一棵松 阅读(152) 评论(0) 推荐(0) 编辑
摘要: Scala 集合 & 函数 阅读全文
posted @ 2018-10-07 21:27 山间一棵松 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Scala 的基本概念 & 循环 阅读全文
posted @ 2018-10-04 18:57 山间一棵松 阅读(302) 评论(0) 推荐(0) 编辑
摘要: 在安装好 Hadoop 集群和 ZooKeeper 分布式的基础上装好 MySQL,再进行 Hive 的安装配置。 阅读全文
posted @ 2018-10-01 22:04 山间一棵松 阅读(250) 评论(0) 推荐(0) 编辑
摘要: IDEA 集成 Scala 阅读全文
posted @ 2018-09-29 11:45 山间一棵松 阅读(703) 评论(0) 推荐(0) 编辑