摘要：
\?：查看命令帮助 cmd：进入命令行 dir：查看当前目录文件 cd：切换目录 \：windows路径分割符 cls：clear screen，清屏 mkdir：创建目录 exit：退出 echo：回音 >：重定向，覆盖操作 >>：重定向，追加操作 type：输出文件内容 rmdir：删除文件 t 阅读全文
摘要：
package com.bjsxt.scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark 阅读全文
摘要：
函数基本用法 1.方法定义用def,函数的参数 要写类型，不写类型不可以。2.函数的返回值类型可以不写，会自动推断3.scala会将函数体中最后一行计算的结果当做返回值返回4.可以写“return”,写了return要显式的声明方法体的返回类型。5.定义方法时，如果不写“=”，那么无论方法体中最后一 阅读全文
摘要：
1.scala中定义在object中的变量，方法都是静态的,object叫对象，相当于java中的单例对象。object不可以传参,Trait也不可传参。2.scala 中一行代码后可以写“;”也可以不写，会有分号推断机制。多行代码写在一行要用分号隔开。3.定义变量用var,定义常量用val ， a 阅读全文
摘要：
scala简介 Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库 阅读全文
摘要：
scala代码： package offline import org.apache.spark.ml.feature.{HashingTF, IDF} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.Spa 阅读全文
摘要：
spark实现UserCF package cf import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.SparkSession object UserCF { def main(args: Array[String]): Un 阅读全文
摘要：
计算切好词的两个句子的LCS（最长公共子序列） # -*- coding: utf-8 -*- from pyspark.sql.functions import udf from pyspark.sql.types import IntegerType from pyspark.sql impor 阅读全文
摘要：
取Hive中的数据写入Hbase中 package hbase import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.{HTable, Put} imp 阅读全文
摘要：
Spark Streaming简介 Spark Streaming架构 Spark Streaming作业提交 Spark Streaming窗口操作 Spark Streaming全局统计量 Spark Streaming容错性分析 WAL工作原理 Spark Streaming消费Kafka D 阅读全文