随笔分类 - Spark
摘要：转载于:https://www.cnblogs.com/lestatzhang/p/10611321.html 前言 在我们提交spark程序时，应该如何为Spark集群配置–num-executors， - executor-memory和–execuor-cores 呢？ 一些资源参数设置的基本
阅读全文
摘要：1.PostgreSQL的安装1.1 下载并安装PostgreSQL官方yum源配置文件dnf install https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm1.2 禁用系统内置yum源的PostgreSQL安装模块PostgreSQL官方的y...
阅读全文
摘要：参考：http://db.apache.org/derby/releases/release-10.12.1.1.cgihttps://blog.csdn.net/hxl122lcq/article/details/7782940修改 D:\Java\Java8X64\jre1.8.0_181\lib\security\java.policy与D:\Java\Java8X64\jdk1.8.0_1...
阅读全文
摘要：1）隐式转换隐式转换函数是以implicit关键字声明的带有单个参数的函数。这种函数将会自动应用，将值从一种类型转换为另一种类型object Scala01 {def main(args: Array[String]): Unit = { val num1 : Int = 3.5 val num2 : Int = 4.6 println(num1) println(num...
阅读全文
摘要：函数式编程把函数当做一等公民，充分利用函数、 支持的函数的多种使用方式。比如：在Scala当中，函数是一等公民，像变量一样，既可以作为函数的参数使用，也可以将函数赋值给一个变量. 函数的创建不用依赖于类或者对象，而在Java当中，函数的创建则要依赖于类、抽象类或者接口. 函数式编程中，将函数也当做数据类型，因此可以接受函数当作输入（参数）和输出（返回值）。（增强了编程的粒度）1）函数/方法的定义d...
阅读全文
摘要：数据类型描述Byte8位有符号补码整数。数值区间为 -128 到 127Short16位有符号补码整数。数值区间为 -32768 到 32767Int32位有符号补码整数。数值区间为 -2147483648 到 2147483647Long64位有符号补码整数。数值区间为 -9223372036854775808 到 9223372036854775807Float32 位, IEEE 754标准...
阅读全文
摘要：1. 创建maven 项目2. 项目添加scala的framework创建的maven项目默认是不支持scala的，需要为项目添加scala的framework，如图：在这里选择Scala后，在右边的Use library中配置你的安装目录即可，最后点击OK。说明： 第一次引入scala frame
阅读全文
摘要：SPARK_MASTER_HOST=sparkmaster.smartmap.comSPARK_MASTER_PORT=7077SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1024MSPARK_MASTER_WEBUI_PORT=8080SPARK_CONF_DIR=/app/spark/spark-2.3.0-bin-hadoop2.7/conf JAVA_...
阅读全文
