会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
想法实例化的过程使我快乐
所有重复劳动都值得变成脚本……
首页
联系
订阅
管理
随笔 - 42
文章 - 0
评论 - 13
阅读 -
11万
02 2016 档案
spark - 从HDFS加载文件并分析
摘要:scala> val file=sc.textFile("/workspace/bpUserinfo_logs/bpUserinfo_20160212.log") scala> val count=file.flatMap(line => line.split(" ")).map(word => (
阅读全文
posted @
2016-02-16 14:25
LightingCui
阅读(1059)
评论(1)
推荐(0)
编辑
公告
昵称:
LightingCui
园龄:
13年4个月
粉丝:
12
关注:
0
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
积分与排名
积分 - 58746
排名 - 28527
随笔分类
(42)
Big Data Tips(5)
Docker Tips(7)
HA(4)
SDN Tips(1)
Spring Boot Tips(1)
Windows Phone Tips(9)
XNA Tips(5)
工作日志(1)
好用的LINUX脚本们(6)
日常记录(1)
转贴的文章(2)
随笔档案
(42)
2022年11月(2)
2022年10月(4)
2022年9月(1)
2022年8月(1)
2022年7月(1)
2020年7月(1)
2018年4月(1)
2017年10月(1)
2017年6月(1)
2017年3月(5)
2016年11月(1)
2016年3月(2)
2016年2月(1)
2016年1月(11)
2011年11月(6)
2011年10月(3)
阅读排行榜
1. Hive - 建表和加载数据指令小结 以及使用Load data指令的注意事项(33526)
2. scala - 从合并两个Map说开去 - foldLeft 和 foldRight 还有模式匹配(11970)
3. spark-shell 执行脚本并传入参数(7530)
4. Linux 下使用网易的SMTP服务器 发送邮件(6806)
5. go build 时报错 cc1.exe: sorry, unimplemented: 64-bit mode not compiled in(6373)
评论排行榜
1. Docker容器打包成镜像 - OpenDaylight官方 SDN Hub Tutorial VM 的docker镜像(2)
2. scala - 从合并两个Map说开去 - foldLeft 和 foldRight 还有模式匹配(2)
3. WP7 在调试过程中显示日志(2)
4. 从编译安装Keepalived 到 配置 负载均衡(LVS-DR)(1)
5. Linux 下使用网易的SMTP服务器 发送邮件(1)
推荐排行榜
1. WP7-XNA 3D开发 显示3D模型(BasicEffect、DualTexturesEffect)(7)
2. Windows Phone 开发中重力感应的简单使用示例(5)
3. WP7-XNA 3D开发 基本贴图控制(2)
4. scala - 从合并两个Map说开去 - foldLeft 和 foldRight 还有模式匹配(1)
5. WP7-XNA 3D开发 模型变换(缩放、移动、旋转)(1)
点击右上角即可分享