spark sql的partition discovery机制

该文被密码保护。 阅读全文
posted @ 2017-09-04 17:57 fann 阅读(9) 评论(0) 推荐(0) 编辑

idea的sbt下添加lib需要执行console命令

摘要: 1)首先我们需要修改项目的build.sbt文件,添加需要的Scala版本和libraryDependencies,注意sbt文件每行之间必须有空行。 1 2 3 4 5 6 7 name := “sbtTest” version := “1.0″ scalaVersion := “2.10.4″ 阅读全文
posted @ 2017-09-01 16:21 fann 阅读(323) 评论(0) 推荐(0) 编辑

java.lang.UnsupportedOperationException: Cannot have circular references in bean class,

该文被密码保护。 阅读全文
posted @ 2017-08-31 19:13 fann 阅读(45) 评论(0) 推荐(0) 编辑

Iterator比较坑人的错误----size

该文被密码保护。 阅读全文
posted @ 2017-08-29 18:36 fann 阅读(6) 评论(0) 推荐(0) 编辑

spark-submit报错java.lang.ClassNotFoundException

该文被密码保护。 阅读全文
posted @ 2017-08-28 17:51 fann 阅读(29) 评论(0) 推荐(0) 编辑

sqoop命令

该文被密码保护。 阅读全文
posted @ 2017-08-27 21:37 fann 阅读(4) 评论(0) 推荐(0) 编辑

spark执行源码中的例子时报错

该文被密码保护。 阅读全文
posted @ 2017-08-26 23:23 fann 阅读(301) 评论(0) 推荐(0) 编辑

spark sql-err mismatched input '=' expecting <EOF>(line 1, pos 11)

该文被密码保护。 阅读全文
posted @ 2017-08-25 23:29 fann 阅读(30) 评论(0) 推荐(0) 编辑

spark-notebooke安装

该文被密码保护。 阅读全文
posted @ 2017-08-25 13:40 fann 阅读(8) 评论(0) 推荐(0) 编辑

scala中的特殊字符

摘要: 恢复内容开始 1.scala中的:::表示连接,::表示在右边变量的前面插入左边的元素 2.set和map都有可变集合不可变集。 可变集需要import scala.collection.mutable.set 不可变的是import scala.collection.immutable.set , 阅读全文
posted @ 2017-08-21 21:34 fann 阅读(176) 评论(0) 推荐(0) 编辑