12 2018 档案
摘要：和java或c++一样，scala也可以有任意多的构造器。不过，scala类有一个构造器比其它所有构造器都更为重要，它就是主构造器。除了主构造器之外，类还可以有任意多的辅助构造器。 有两点需要注意： 辅助构造器的名称为this。(在java或c++中，构造器的名称和类名相同--当你修改类名时就不那么
阅读全文
摘要：在Scala中你可以使用类型参数来实现类和函数，这样的类和函数可以用于多种类型。比如Array[T] 你可以存放任意指定类型T的数据. 类、特质、函数都可以有类型参数；将类型参数放在名字后面用方括号括起来 四 边界之视图边界（View Bounds）刚才我们看过上边界一个例子，class Pair[
阅读全文
摘要：T:ClassTag的例子（根据输入动态定义） 命令行代码：
阅读全文
摘要：1.构造器 在Scala中，每个类都有一个主构造器。主构造器与类的定义交织在一起，如下： 主构造器会执行类定义中的所有语句。如下，println语句是主构造器的一部分，当类被实例化时，println语句会立即执行。 通过把private修饰符添加在类参数列表的前边把主构造器隐藏起来。如： 这样客户代
阅读全文
摘要：Spark版本为2.1.0，Hadoop版本为2.7.1，元数据存储在mysql中，异常信息如下： 报错提示，hive metastore出现了多个版本，去hive的元数据库查看表VERSION，发现多了一条记录 解决过程 查资料 google了一些资料，网上也有人提过，如HIVE-9543，网上大
阅读全文
摘要：以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applica
阅读全文
摘要：使用Spring boot整合Hive，在启动Spring boot项目时，报出异常： 经过排查，是maven的包冲突引起的，具体做法，排除：jetty-all、hive-shims依赖包。对应的pom配置如下：
阅读全文
摘要：问题背景：通过Spark SQL的jdbc去读取Oracle数据做测试，在本地的idea中没有报任务错误。但是打包到集群的时候报： 测试代码： 在本地测试通过，服务器会报如上截图的错误。最后通过排查发现是少了一句要制定driver的类型
阅读全文
