摘要：
@ 1. 新建一个对hive的连接 2. 填写主机地址和登录信息 3. 最重要的一步，配置驱动 4. 点击进来后，会发现这里有一个默认的驱动，把它删掉 5. 使用hive自带的驱动，去到hive的安装目录下，有一个jdbc目录 使用sz命令把这个jar包下载到本地（rz命令是上传文件） sz hiv 阅读全文
摘要：
问题 在yarn集群上提交一个spark-submit的任务，最后抛出一个异常 解决 原因： 因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-s 阅读全文
摘要：
集合中的zip： 如果两个集合的元素个数不相等，那么会将同等数量的数据进行拉链，多余的数据省略不用 RDD算子的zip： 该操作可以将两个RDD中的元素，以键值对的形式进行合并。其中，键值对中的Key为第1个RDD中的元素，vaue为第2个RDD中的元素。 不同于集合中的zip()方法，将两个RDD 阅读全文
摘要：
分别观察一下集合与算子的sortBy()的参数列表 普通集合的sortBy() RDD算子的sortBy() 结论：普通集合的sortBy就没有false参数，也就是说只能默认的升序排。 如果需要对普通集合中的元素需要升序排怎么办？ 如图所示，我这调用的sortby()是List集合的方法了，不是算 阅读全文
摘要：
@ 了解json整体格式 这里有一段json格式的文件，存着全球陆地和海洋的每年异常气温(这里只选了一部分)：global_temperature.json { "description": { "title": "Global Land and Ocean Temperature Anomalie 阅读全文
摘要：
在java中，单例模式需要满足以下要求： 构造方法私有化，使得本类之外的地方不能使用构造方法new出对象 提供私有静态属性，接收单例对象 公共的、静态的getInstance方法，便于外界拿到单例对象 想了解Java单例模式的请转到：Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题 阅读全文
摘要：
new 反射：使用Class类的forName()方法得到指定类对象，然后使用类对象的newInstance()方法创建对象 克隆：实现Cloneable接口，需要已经有一个分配了内存的对象，使用这个已经创建的对象克隆新对象 反序列化：实现Serializable接口，将一个对象序列化到磁盘上，采用 阅读全文
摘要：
@ 构造器（构造方法） 作用： 构造对象 初始化属性（给对象的属性赋值） Java中构造器 方法名和类名保持一致 构造方法没有返回值类型 构造方法可以重载 Scala中构造器 主构造方法 在声明类的同时，就定义了主构造方法，换言之，类就是主构造方法 在一个类中，主构造方法只能有一个 辅助构造方法 方 阅读全文
摘要：
Java -private 只能在当前类中被访问 -default(默认) 当前类以及同包的其他类 -protected 当前类以及同包的其他类以及非同包的子类 -public 所有类 Scala -在scala中，类、方法、属性默认就是public修饰，但是没有public关键字 -private 阅读全文
摘要：
@ 函数可以作为值进行传递 语法var f = 函数名 _ 如果明确了变量的数据类型，那么下划线可以省略 //函数正常的声明与调用 def foo():Int={ println("foo...") 10 } //将foo函数的执行结果赋值给res变量 //val res: Int = foo() 阅读全文