11 2017 档案
摘要:object func { def main(args:Array[String]):Unit={ //函数赋值给变量时, 必须在函数后面加上空格和下划线。 def sayHello(name: String) { println("Hello, " + name) } val sayHelloFu
阅读全文
摘要:①csd包:http://archive.cloudera.com/spark2/csd/ 下载SPARK2_ON_YARN-2.2.0.cloudera1.jar ②parcel包:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1
阅读全文
摘要:Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。 Docker与虚拟机比较 作为一种轻量级的虚拟化方式,Docker在运行应用上跟传统的虚拟机
阅读全文
摘要:object learn { def main(args:Array[String]):Unit={ println("请输入两个数字:") var a:Int=Console.readLine().toInt var n:Int=Console.readLine().toInt println(expressed(a,n)+add(a,n)); val n1:I...
阅读全文
摘要:import scala.util.control._ object learnning { def main(args:Array[String]):Unit={ val n:Int=10 println("第"+n+"个月兔子总数为"+fun(n)) val n1:Int=1 val n2:Int=100 var count:Int=0 /...
阅读全文
摘要:大数据实时处理平台市场上产品众多,本文着重讨论spark与storm的比对,最后结合适用场景进行选型。 大数据实时处理平台市场上产品众多,本文着重讨论spark与storm的比对,最后结合适用场景进行选型。 一、spark与storm的比较 比较点 Storm Spark Streaming 实时计
阅读全文
摘要:1. 到网站 http://idea.lanyus.com/ 获取注册码。 2.填入下面的license server: http://intellij.mandroid.cn/ http://idea.imsxm.com/ http://idea.iteblog.com/key.php 以上方法验
阅读全文
摘要:CDH大数据平台实施经验总结2016(转载) 2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来。 1. 平台规划注意事项 1.1 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanod
阅读全文
摘要://基类-Person class Person(val na: String, val ag: Int) { //属性 var name: String = na var age: Int = ag } //派生类-sz,继承基类属性 class sz(override val na:String,override val ag:Int,val se:String,val add:...
阅读全文
摘要:1.scala shell命令 2.scala基本类型 3.常用特殊字符 \n 换行符,其Unicode编码为 (\u000A) \b 回退符,其Unicode编码为 (\u0008) \t tab制表符 ,其Unicode编码(\u0009) \” 双引号,其Unicode编码为 (\u0022)
阅读全文
摘要:HiveContext/SQLContext val hiveContext=new HiveContext(new SparkContext(new SparkConf().setAppName("HiveApp").setMaster("spark://master:7077"))) 定义一个h
阅读全文
摘要:附录1:scala-spark api-http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package
阅读全文
摘要:Spark On YARN内存分配(转载) Spark On YARN内存分配(转载) 说明 按照Spark应用程序中的driver分布方式不同,Spark on YARN有两种模式: yarn-client模式、yarn-cluster模式。 当在YARN上运行Spark作业,每个Spark ex
阅读全文
摘要:import java.io._ //基类---Ponit class Point(val xc: Int, val yc: Int) { //属性 var x: Int = xc var y: Int = yc //方法 def move(dx: Int, dy: Int) { x = x + dx y = y + dy println ("x 的坐...
阅读全文
摘要:import Array._ import scala.collection.mutable.Set object DataStructure { def main(args:Array[String]):Unit={ //数组 var z:Array[String] = new Array[String](3); var z1 = new Array[String](3);...
阅读全文
摘要:参考:http://docs.scala-lang.org/cheatsheets/index.html、http://docs.scala-lang.org/、http://www.scala-lang.org/api/2.10.4/#package 1.关键字 空白字符。\u0020 | \u0
阅读全文
摘要:Scala函数 Scala有函数和方法。 Scala方法是一个具有名称和签名的类的一部分。 Scala中的函数是一个可以分配给变量的完整对象。 函数定义可以出现在源文件中的任何位置。 不带参数的函数 在Scala中定义函数,请使用def关键字,后跟方法名和方法体,如下所示。 等号=用作方法签名和方法
阅读全文
摘要:Scala条件运算符 Scala条件运算符在下表中列出。 注意 &&和||是“短路"运算符。 一旦知道答案,他们就停止计算表达式。 在Java中,==仅比较对象引用。它不会执行逻辑等同性检查,即比较字段值。使用equals方法。 Scala使用==作为逻辑等式,但它调用equals方法。 当您想要比
阅读全文
摘要:1.hello world程序 注意 语句末尾的分号通常是可选的。 语句末尾的分号通常是可选的。 分号是表达式分隔符,它们是推断的。 Scala将行的结尾视为表达式的结尾,除非它可以推断表达式继续到下一行。 Scala程序处理从主方法开始,这是每个Scala程序的一个强制性部分。 主要方法未标记为静
阅读全文
摘要:解决方案一: #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l
阅读全文
摘要:HDFS数据块所在存储的目录满了的解决方法 1.增加磁盘空间 2.删除回收站 hadoop dfs -du -h 查看各个HDFS空间占用情况 hadoop dfs -expunge 清空回收站 hadoop dfs -rm -skipTrash /user/path 删除目录跳过回收站 fs.tr
阅读全文
摘要:1.安装mesos #用centos6的源yum安装 # rpm -Uvh http://repos.mesosphere.io/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm # yum install mesos -y 注意:如果要运行Mes
阅读全文
摘要:在本地IDE里直接运行spark程序操作远程集群 一般运行spark作业的方式有两种: 本机调试,通过设置master为local模式运行spark作业,这种方式一般用于调试,不用连接远程集群。 集群运行。一般本机调试通过后会将作业打成jar包通过spark-submit提交运行。生产环境一般使用这
阅读全文
摘要:Spark SQL的一个用途是执行SQL查询。Spark SQL也可以用来从现有的Hive安装中读取数据。有关如何配置此功能的更多信息,请参阅Hive表部分。从另一种编程语言中运行SQL时,结果将作为数据集/数据框返回。您还可以使用命令行 或通过JDBC / ODBC与SQL接口进行交互。 参考:h
阅读全文
摘要:#运行实例 #./bin/run-example SparkPi 10 #./bin/spark-shell --master local[2] #./bin/pyspark --master local[2] #./bin/spark-submit examples/src/main/python
阅读全文
摘要:#查看帮助:./bin/spark-submit --help ./bin/spark-shell --help 用法1: spark-submit [options] <app jar | python file> [app arguments]用法2: spark-submit --kill [
阅读全文
摘要:### Spark SQL Running the SET -v command will show the entire list of the SQL configuration.
阅读全文
摘要:参考http://spark.apache.org/docs/latest/configuration.html Spark提供三个位置来配置系统: Spark属性控制大多数应用程序参数,可以使用SparkConf对象或通过Java系统属性进行设置。 可以使用环境变量通过conf/spark-env
阅读全文
摘要:默认hive on spark是禁用的,需要在Cloudera Manager中启用。1.登录CM界面,打开hive服务。2.单击 配置标签,查找enable hive on spark属性。3.勾选Enbale Hive on Spark(Unsupported),并保存更改。4.查找Spark
阅读全文
摘要:1.Xshell客户端设置 2.服务端设置 修改/etc/ssh/sshd_config文件,找到 ClientAliveInterval 0和ClientAliveCountMax 3并将注释符号("#")去掉, 将ClientAliveInterval对应的0改成60, ClientAliveI
阅读全文