会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
刘姥爷观园子
博客园
首页
新随笔
联系
订阅
管理
随笔 - 37
文章 - 0
评论 - 6
阅读 -
34036
05 2018 档案
SparkR链接mysql数据库(踩坑)
摘要:本文主要讲述sparkR链接Mysql的过程和坑。 SparkR的开发可以用RStudio工具进行开发,连接spark可以通过RStudio界面中的Connections进行配置连接;具体方法这里不做介绍。 下面为spark程序的部分代码: 在集群和sparkR shell里会有一个不知道是不是bu
阅读全文
posted @
2018-05-21 15:57
刘姥爷观园子
阅读(393)
评论(0)
推荐(0)
编辑
公告
昵称:
刘姥爷观园子
园龄:
7年5个月
粉丝:
1
关注:
5
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
spark sql
(10)
jvm
(4)
java
(4)
sparkR
(1)
mysql
(1)
大数据
(1)
随笔分类
java(4)
kafka(2)
spark(4)
spark streaming(1)
zookeeper(1)
随笔档案
2022年1月(10)
2021年12月(2)
2021年10月(4)
2020年8月(1)
2020年7月(9)
2019年6月(3)
2018年8月(4)
2018年7月(1)
2018年5月(1)
2017年9月(2)
阅读排行榜
1. logstash output到kafka记录与总结( No entry found for connection 2)(11523)
2. Spark异常:A master URL must be set in your configuration处理记录(5228)
3. Spark Streaming job的生成及数据清理总结(2821)
4. Spark SQL(8)-Spark sql聚合操作(Aggregation)(2796)
5. Spark SQL(9)-Spark SQL JOIN操作源码总结(1277)
评论排行榜
1. Spark Streaming job的生成及数据清理总结(4)
2. Spark异常:A master URL must be set in your configuration处理记录(2)
推荐排行榜
1. logstash output到kafka记录与总结( No entry found for connection 2)(1)
最新评论
1. Re:Spark Streaming job的生成及数据清理总结
@ 即便那总是过去我的这个在spark ui executors里面看 每个批次结束 内存都会增长,kafka的话我当时写了一份demo;没出现oom,但我的版本是spark2.2.1,你可以本地起一...
--刘姥爷观园子
2. Re:Spark Streaming job的生成及数据清理总结
我现在用的kafka的dstream,也发生这个问题了,不过我这个是JobGenerator OOM了,然后也是没新的批次提交,我用的spark2.2.0,我这个问题没法稳定复现,不知道是不是内存泄漏...
--即便那总是过去
3. Re:Spark Streaming job的生成及数据清理总结
@ 即便那总是过去可以稳定复现的,spark2.2.1存在这个bug;后面升级已经修复了...
--刘姥爷观园子
4. Re:Spark Streaming job的生成及数据清理总结
这个bug你能稳定复现吗
--即便那总是过去
5. Re:Spark异常:A master URL must be set in your configuration处理记录
@ 木土家的田童你说的应该是公用的配置和参数,还是其他的,我一般是写在object里面定义final直接引用的,或者你可以选择继承,组合的面向对象的形式传递...
--刘姥爷观园子
点击右上角即可分享