会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
孟尧
前途宽广,贵在坚持
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
9
10
···
15
下一页
2015年7月25日
8
摘要: 8
阅读全文
posted @ 2015-07-25 22:22 孟尧
阅读(87)
评论(0)
推荐(0)
编辑
7
摘要: 7
阅读全文
posted @ 2015-07-25 22:17 孟尧
阅读(95)
评论(0)
推荐(0)
编辑
Spark核心工作机制
摘要: 1.1、RDD的分区 Spark对RDD提供了两种分区方式,分别是基于哈希(HashPartitioner)和基于范围排序的(RangePartitioner)的分区器,实现类来自https://github.com/apache/spark/blob/v2.4.7/core/src/main/sc
阅读全文
posted @ 2015-07-25 22:16 孟尧
阅读(249)
评论(0)
推荐(0)
编辑
2015年7月20日
Spark-用户应用程序入门
摘要: 1 /* 2 Spark Standalone模式下的Application 3 Application是Spark中类似于Hadoop的Job的用户提交的应用。sc是Spark集群初始化时创建的SparkContext,Spark中包含Action算子和Transferer(...
阅读全文
posted @ 2015-07-20 20:30 孟尧
阅读(402)
评论(0)
推荐(0)
编辑
2015年7月18日
Hadoop-3.1.0+Hive-3.1.0+Spark-2.4.6单机集群部署
摘要: 一、环境准备 主机 IP 软件 发行商 进程 node01 192.168.10.101 hadoop-3.1.0 hive-3.1.0 spark-2.4.6 Apache社区 NameNode SecondaryNameNode DataNode ResourceManager NodeMana
阅读全文
posted @ 2015-07-18 14:43 孟尧
阅读(1015)
评论(0)
推荐(1)
编辑
2015年7月16日
Scala-的元组和映射
摘要: package com.mengyao.scala.function/*** Scala 映射* Scala中的Key,Value集合被称为映射,映射中的每一个key,value称为对偶* * @author mengyao*/object Test6 { def main(args:Array[...
阅读全文
posted @ 2015-07-16 17:36 孟尧
阅读(183)
评论(0)
推荐(0)
编辑
Scala-循环
摘要: package com.mengyao.scala.function/*** Scala中循环的声明和使用(while和for)* * @author mengyao*/object Test3 { def main(args: Array[String]){ test1 test2 tes...
阅读全文
posted @ 2015-07-16 17:35 孟尧
阅读(288)
评论(0)
推荐(0)
编辑
Scala-数组
摘要: package com.mengyao.scala.function/*** Scala中数组的声明和使用(定长数组和变长数组)* * @author mengyao*/object Test4 { def main(args: Array[String]): Unit = { //声明数组,通过...
阅读全文
posted @ 2015-07-16 17:35 孟尧
阅读(204)
评论(0)
推荐(0)
编辑
Scala-逻辑判断
摘要: package com.mengyao.scala.function/*** Scala的逻辑判断** @author mengyao*/object Test2 { def main(args: Array[String]) { val prod = buy(1) println(prod) } ...
阅读全文
posted @ 2015-07-16 17:34 孟尧
阅读(376)
评论(0)
推荐(0)
编辑
Scala-函数
摘要: package com.mengyao.scala.function/*** Scala函数的声明和使用** @author mengyao*/object Test1 { //主程序的main函数定义 def main(args: Array[String]) { val resSum1 = su...
阅读全文
posted @ 2015-07-16 17:33 孟尧
阅读(334)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
8
9
10
···
15
下一页
公告