摘要:
SparkSQL 该模块能在spark上运行sql语句 DataFrame //数据框,相当于mysql中的表 使用类似SQL的方式来访问hadoop,实现MR计算。RDD df = sc.createDataFrame(rdd); DataSet<Row> ==DataFrame >//类似于ta 阅读全文
摘要:
0.spark transformation map filter repartition spark核心API [SparkContext] 连接到spark集群上的入口点 [HadoopRDD] 读取hadoop上的数据 [MapPartitionsRDD] 针对父RDD的每个分区提供了函数,构 阅读全文
摘要:
1.spark模块 (1)Spark Core //核心库 (2)Spark SQL //核心库 (3)Spark Streaming //准实时计算 (4)Spark MLlib //机器学习库 (5)Spark graph //图计算 2.Spark集群的运行 1.local //本地模式 2. 阅读全文
摘要:
解决方法:在sbin目录下的spark-config.sh 中添加对应的jdk 路径,然后使用scp -r 命令复制到各个worker节点 阅读全文
摘要:
Spark 1.Lighting-fast cluster computing 快如闪电的计算 2.大规模快速通用的计算引擎 3.spark在内存中计算的速度是hadoop的百倍;在磁盘中计算是MapperReduce的10倍 4.DAG: //direct acycle graph,有向无环图 5 阅读全文
摘要:
一、高阶函数 1.作为值的函数:在Scala中,函数是头等公民,就和数字一样。 对函数能够干什么呢?调用它以及传递它 2.匿名函数 在scala中,不需要给每一个函数来进行命名,正如不需要给每个数字命名一样,以下是一个匿名函数 f1:add f2:sub //遍历数组值,输出元素值,每个元素平方返回 阅读全文
摘要:
1.trait 如果只有一个trait就使用extends进行扩展,如果是多个,就使用with对生于trait进行扩展 //trait之间也存在扩展 trait logger2 extens logger1{} //with trait 是需要对每个trait都使用trait 自身类型 this:类 阅读全文
摘要:
一、这段时间在学校,把之前的东西都好好捡起来。 0.下面介绍Mysql的最基本的增删改查操作,很多IT工作者都必须掌握的命令,也是IT面试最常考的知识点。在进行增删改查之前,先建立一个包含数据表users的数据库。 1.JDBC:java database connection,java数据库连接 阅读全文
摘要:
SSM java web 框架 spring //业务层框架 spring MVC //开发web程序应用的模块model+ view +controller模块化编程。模型视图控制器展现部分放到一个模块中去,控制的部分放到一个文件中去,数据部分放到一个数据模块中去。当改变数据的时候前面的状态会有变 阅读全文
摘要:
最近刚开始学习maven工具,下载解压完毕,环境变量配置完毕,运行如下命令尝试快速构建一个maven项目: mvn archetype:generate 结果就有问题: [INFO] Scanning for projects...Downloading: http://repo1.maven.or 阅读全文