ro0k1e

上一页 1 2 3 下一页

2020年6月4日

Spark读取json数据不匹配的情况

摘要： 今天晚上，我们老师给我们布置了一个任务，用spark读取一些json数据，然后做一些数据分析的任务 我以为重头戏是数据分析的部分，没想到自己被读取json数据拦了1个多小时，写篇博客记录下 orz 常规的读取数据： val userInfo = spark.read.format("json"). 阅读全文

posted @ 2020-06-04 21:09 ro0k1e 阅读(599) 评论(0) 推荐(0) 编辑

2020年5月9日

IDEA中的maven配置不生效的问题

摘要： 在从Eclipse转战IDEA中，因为对IDEA不熟悉，所以感觉很不习惯，就连maven创建项目都很僵硬 各位可能遇到过这种情况，明明已经在Setting中修改了maven的配置，但是在新建maven项目的时候，还是在C盘的.m2目录下创建仓库，打开一看Setting，好家伙，又变回去了 这个是因为 阅读全文

posted @ 2020-05-09 21:56 ro0k1e 阅读(14454) 评论(1) 推荐(0) 编辑

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray

摘要： 我是在用akka框架做简单的一个聊天，然而出师不利，刚开始学就遇到这个问题 遇事不决问百度，百度给出的结果是spark中scala版本和你使用的scala的版本不一致所导致的错误 我用的是akka，转换过来就是我的scala版本和pom中scala版本不一致，因为编译是用的你的配置的scala版本， 阅读全文

posted @ 2020-05-09 21:42 ro0k1e 阅读(1143) 评论(0) 推荐(0) 编辑

2020年5月1日

[08001] Could not create connection to database server. Attempted reconnect 3 time ... more 针对IDEA连接mysql的问题

摘要： 针对IDEA连接mysql的问题 开门见山的说，我这个连接不上mysql的问题是因为我的mysql版本为5.1 而mysql驱动后面的版本是不兼容这个版本的。 在配置好数据库后，默认下载的驱动版本是8.0的版本 所以就会造成连接时间超时的问题。 我们可以看到，他这里贴心的为我们专门准备了一个5.1的 阅读全文

posted @ 2020-05-01 21:53 ro0k1e 阅读(765) 评论(0) 推荐(0) 编辑

2020年3月18日

java.lang.NoClassDefFoundError: org/apache/htrace/SamplerBuilder启动不了hbase

摘要： https://blog.csdn.net/weixin_34367845/article/details/85861422 参考这篇文章 阅读全文

posted @ 2020-03-18 22:49 ro0k1e 阅读(417) 评论(0) 推荐(0) 编辑

解决关闭kafka后，jps仍然会显示kafka的问题及kill -9和kill -15的区别

摘要： 说实话，这个问题很简单，想必各位安装了kafka的话，肯定是已经安装过hadoop的，那么在hadoop的关闭中，其实也是会有这个问题的出现的。可以参考我转载的一篇关于hadoop关闭问题。 https://www.cnblogs.com/ro0k1e/p/12452466.html 之所以关不掉， 阅读全文

posted @ 2020-03-18 22:47 ro0k1e 阅读(1944) 评论(0) 推荐(0) 编辑

2020年3月16日

java.lang.NoClassDefFoundError: io/protostuff/ProtostuffIOUtil错误

摘要： 今天在用kafka，然后写更高效的序列化格式protostuff类，完成代码后，发现运行总是报一个找不到此类的错误 如下： 按照它给的代码错误提示，我习惯性的认为我是导错了包的缘故，可当我点入错误，深入查看时，发现并没有导错包。我有怀疑是否是没有这个类的缘故，但是我ctrl甚至能看到源代码。。。 这 阅读全文

posted @ 2020-03-16 09:46 ro0k1e 阅读(1189) 评论(0) 推荐(0) 编辑

2020年3月10日

kafka与zookeeper版本的对应

摘要： srpingboot与kafka版本对应页面: https://spring.io/projects/spring-kafka 阅读全文

posted @ 2020-03-10 22:18 ro0k1e 阅读(6476) 评论(0) 推荐(0) 编辑

2020年3月9日

解决关闭Hadoop时no namenode to stop异常

摘要： https://blog.csdn.net/GYQJN/article/details/50805472 阅读全文

posted @ 2020-03-09 23:15 ro0k1e 阅读(473) 评论(0) 推荐(0) 编辑

2020年3月6日

Error: Could not find or load main class resourcemanager

摘要： 今天跑sqoop时发现总是出问题 如图，应该是我的node3节点上的resourcemanager崩了，导致MapReduce进行不了，但是因为我有两个resourcemanager，所以任务还是可以跑下去的 跑完任务后，去node3节点看看情况 竟然还在！但是不工作的话，关了算了 竟然关不了？ 强 阅读全文

posted @ 2020-03-06 21:31 ro0k1e 阅读(810) 评论(0) 推荐(0) 编辑

上一页 1 2 3 下一页

导航