摘要： 一、日期时间、字符串的处理 日期 Date: 日期类，年与日 POSIXct: 日期时间类，精确到秒，用数字表示 POSIXlt: 日期时间类，精确到秒，用列表表示 Sys.date(), date(), difftime(), ISOdate(), ISOdatetime() 字符串处理 ncha 阅读全文

摘要： 基本输入输出 输入： readline, edit, fix 输出： print, cat 输出重定向 sink 模拟数据和数据集 文件数据源 文本文件： read.table, read.csv, read.delim excel文件： 多种方式 SPSS文件： foreign::read.sps 阅读全文

摘要： R语言 1997年成为GNU项目 开源免费 R官方网址 www.r-project.org R是数据分析领域的语言小巧灵活，通过扩展包来增强功能绘图功能代码简单 开发环境R + RStudio 1、数据类型character 字符numeric 数值型，实数或小数integer 整型complex 阅读全文

摘要： SQL 程序中SQL执行的结果返回的是DataFrame, DataFrames DataFrames是分布式数据集，由带名字的列组成。类似关系型数据库的结构。 DataFrames的数据来源包括：结构化数据文件，Hive表，RDDs，外部数据库；json是半结构化文件. DataFrames的操作 阅读全文

摘要： 使用Saprk SQL 操作Hive的数据 前提准备： 1、启动Hdfs，hive的数据存储在hdfs中; 2、启动hive -service metastore，元数据存储在远端，可以远程访问; 3、在spark的conf目录下增加hive-site.xml配置文件，文件内容： 编写Scala测试 阅读全文

摘要： 理解reduceByKey操作，有助于理解Shuffle reduceByKey reduceByKey操作将map中的有相同key的value值进行合并，但是map中的数据键值对，并不一定分布在相同的partition中，甚至相同的机器中。 所以需要将数据取到相同的主机进行计算-同地协作。 单一t 阅读全文

摘要： 一、主要的集合特质 Seq有先后顺序的序列，如数组列表。IndexedSeq通过下标快速的访问元素。不可变：Vector, Range, List 可变：ArrayBuffer, LinkedList Set一组没有先后顺序的集合，SortedSet排过序的顺序被访问。 Map一组(键，值)对，So 阅读全文

摘要： 一、作为值的函数 结果： 二、匿名函数 三、带函数参数的函数 结果： 四、参数(类型)推断 匿名函数简写： 五、一些有用的高阶函数 map这个方法将一个函数应用到某个集合的所有元素并返回结果 foreach将函数应用到每个元素，并不返回结果 结果： filter输出所有匹配某个特定条件的元素 结果： 阅读全文

摘要： 一、标识符 二、中置操作符 中置表达式，操作符位于两个参数之间 1 to 10 1.to(10) 1 -> 10 1.->(10) 三、一元操作符 a.标识符() 1 toString 1.toString() +、-、!、~ 可以作为前置操作符，转换成名为 unary_操作符 的方法调用 -a 和 阅读全文

摘要： 一、为什么没有多重继承 c++允许多重继承 Java不允许多重继承，类只能继承一个超类，可以实现任意数量的接口。 如何继承这两个抽象基类？ Scala提供“特质”而非接口；特质可以同时抽象方法和具体方法。类可以实现多个特质。 二、当做接口使用的特质 三、带有具体实现的特质 注：特质发生变化，所有混入 阅读全文