摘要:
\?:查看命令帮助 cmd:进入命令行 dir:查看当前目录文件 cd:切换目录 \:windows路径分割符 cls:clear screen,清屏 mkdir:创建目录 exit:退出 echo:回音 >:重定向,覆盖操作 >>:重定向,追加操作 type:输出文件内容 rmdir:删除文件 t 阅读全文
摘要:
package com.bjsxt.scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark 阅读全文
摘要:
函数基本用法 1.方法定义用def,函数的参数 要写类型,不写类型不可以。2.函数的返回值类型可以不写,会自动推断3.scala会将函数体中最后一行计算的结果当做返回值返回4.可以写“return”,写了return要显式的声明方法体的返回类型。5.定义方法时,如果不写“=”,那么无论方法体中最后一 阅读全文
摘要:
1.scala中定义在object中的变量,方法都是静态的,object叫对象,相当于java中的单例对象。object不可以传参,Trait也不可传参。2.scala 中一行代码后可以写“;”也可以不写,会有分号推断机制。多行代码写在一行要用分号隔开。3.定义变量用var,定义常量用val , a 阅读全文
摘要:
scala简介 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上,并兼容现有的Java程序。 Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库 阅读全文
摘要:
scala代码: package offline import org.apache.spark.ml.feature.{HashingTF, IDF} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.Spa 阅读全文
摘要:
spark实现UserCF package cf import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.SparkSession object UserCF { def main(args: Array[String]): Un 阅读全文
摘要:
计算切好词的两个句子的LCS(最长公共子序列) # -*- coding: utf-8 -*- from pyspark.sql.functions import udf from pyspark.sql.types import IntegerType from pyspark.sql impor 阅读全文
摘要:
取Hive中的数据写入Hbase中 package hbase import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.{HTable, Put} imp 阅读全文
摘要:
Spark Streaming简介 Spark Streaming架构 Spark Streaming作业提交 Spark Streaming窗口操作 Spark Streaming全局统计量 Spark Streaming容错性分析 WAL工作原理 Spark Streaming消费Kafka D 阅读全文