【java反射】
摘要：反射之中包含了一个「反」字，所以想要解释反射就必须先从「正」开始解释。 一般情况下，我们使用某个类时必定知道它是什么类，是用来做什么的。于是我们直接对这个类进行实例化，之后使用这个类对象进行操作。 上面这样子进行类对象的初始化，我们可以理解为「正」。 而反射则是一开始并不知道我要初始化的类对象是什么
阅读全文
posted @
2019-09-17 19:43
我得去图书馆了
阅读(218)
推荐(0) 编辑
【spark 算子案例】
摘要：1 package spark_example01; 2 3 4 import java.io.File; 5 import java.io.FileWriter; 6 import java.io.IOException; 7 import java.util.Random; 8 9 /** 10 */ 11 public class PeopleInfoFileGenerator { 12 p
阅读全文
posted @
2019-09-16 23:10
我得去图书馆了
阅读(442)
推荐(0) 编辑
从服务端下载文件到本地windows
摘要：之前常使用本地ubuntu和远程的centos服务器或者是本地mac和远程centos服务器通过命令scp或者nc来进行文件的传输。 现在用的是windows系统，欲将服务器的某文件load到本地。 查了资料，在windows安装xshell的情况下，且服务器安装sz、rz服务的情况下，使用sz进行
阅读全文
posted @
2019-09-16 17:07
我得去图书馆了
阅读(5611)
推荐(0) 编辑
spark
摘要：1、在yarn模式下运行spark作业 （1）如果想让spark作业可以运行在yarn上，那么首先必须在配置文件spark-env.sh文件中，配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性，因为再使用spark-submit提交spark作业时，要先给yarn的resourc
阅读全文
posted @
2019-09-11 14:33
我得去图书馆了
阅读(231)
推荐(0) 编辑
【spark core学习---算子总结(java版本) (第1部分)】
摘要：map算子 flatMap算子 mapParitions算子 filter算子 mapParttionsWithIndex算子 sample算子 distinct算子 groupByKey算子 reduceByKey算子 1、map算子 （1）任何类型的RDD都可以调用map算子；在java中，ma
阅读全文
posted @
2019-09-10 19:30
我得去图书馆了
阅读(540)
推荐(0) 编辑
为centos7配置阿里yum源遇到的问题以及解决方法
摘要：【问题背景】 卸载安装的Ambari，之前都是因为卸载不干净。这次重写安装，卸载完之后，发现httpd无法启动，所以想卸载httpd进行重新安装，但是执行命令yum list | grep httpd报错。 【遇到的问题】 配置过程很简单，去https://opsx.alibaba.com/mirr
阅读全文
posted @
2019-09-03 14:42
我得去图书馆了
阅读(56831)
推荐(4) 编辑
