02 2018 档案
摘要：Spark shell引入第三方包 如何引入 spark shell jars path/nscala time_2.10 2.12.0.jar 若有多个jar包需要导入，中间用逗号隔开即可。 scala shell引入 scala classpath ~/Downloads/json4s nati
阅读全文
摘要：scala连接数据库 使用JDBC即可： 在sbt中添加对应依赖 在代码中引用 对应的参数如下： 参考 http://blog.cheyo.net/59.html
阅读全文
摘要：com.mysql.jdbc.Driver Not Found 提示很奇怪，在sbt文件中已经引用了，编译也没有问题： 原因 spark submit的时候没有提交对应jar，应该填上，如下： 非spark的jar包，都要写在这里。
阅读全文
摘要：起因 对数据进行三个维度的排序，用的是 ，结果其中两个维度上结果返回正确，另外一个维度上结果出现了大的排在后面的结果，错误的结果大概如下： 正确维度上如下： 排查 1. 以为是数据取错了，又重复的手工操作了一遍，发现数据还是这样，想应该不是数据的问题 2. 又在怀疑是不是碰到了bug，但是这么多人用
阅读全文
