摘要：mysql可以在命令行模式下执行shell命令 mysql> help For information about MySQL products and services, visit: http://www.mysql.com/For developer information, includin
阅读全文
posted @ 2017-11-30 15:34
11 2017 档案
摘要：select DATE_FORMAT(CURDATE(),'%Y%m%d') DateId,elt(interval(curnum,0, 10000,20000,30000,40000,50000, 100000,200000,300000, 500000,1000000,2000000,30000
阅读全文
posted @ 2017-11-30 11:47
摘要：CREATE DEFINER PROCEDURE `updaterole_20171127`()beginDROP TEMPORARY TABLE IF EXISTS tmppassword;create temporary table if not exists tmppassword ( tab
阅读全文
posted @ 2017-11-30 11:15
摘要：LOAD DATA INFILE 'D:\GX\\mm.txt' REPLACE INTO TABLE mm FIELDS TERMINATED BY ' ' // 以空格为分隔符插入数据，前提是mm.txt字段顺序要和表mm字段顺序一致，Navicat测试通过
阅读全文
posted @ 2017-11-30 11:09
摘要：Scala是一门多范式的编程语言，一种类似java的编程语言[1] ，设计初衷是实现可伸缩的语言[2] 、并集成面向对象编程和函数式编程的各种特性。 Scala 具有很完整又很强大的集合处理能力。Scala拥有庞大而完整的集合类库，比如Set, List, Vector, Tuple, Map，而有
阅读全文
posted @ 2017-11-24 15:19
摘要：DateFrame 早期叫作SchemaRDD是存放Row 对象的RDD，每个Row 对象代表一行记录。 SchemaRDD 还包含记录的结构信息（即数据字段）。SchemaRDD 看起来和普通的RDD 很像， 但是在内部，SchemaRDD 可以利用结构信息更加高效地存储数据。 此外，Schema
阅读全文
posted @ 2017-11-16 17:36
摘要：Overview Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data s
阅读全文
posted @ 2017-11-13 10:55
摘要：scala> val text=spark.read.textFile("/tmp/20171024/tian.txt")text: org.apache.spark.sql.Dataset[String] = [value: string] scala> text.countres0: Long
阅读全文
posted @ 2017-11-09 18:03
摘要：2017-11-09注释：IntelliJ IDEA 2017.2.5 x64 等新版本会安装maven，为了有好的体验 建议在安装目录找到IntelliJ IDEA 2017.2.5\plugins\maven\lib\maven3\conf目录设置 <localRepository>D:\合适的
阅读全文
posted @ 2017-11-08 10:51
摘要：http://spark.apache.org/docs/latest/rdd-programming-guide.html The first thing a Spark program must do is to create a SparkContext object, which tells
阅读全文
posted @ 2017-11-07 17:47
摘要：RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。在这些操作中，诸如map、flatMap、filter等转换操作实现了monad模
阅读全文
posted @ 2017-11-06 14:32
摘要：1.下载 wget https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.tgz 2.安装 tar -zxvf sbt-0.13.15.tgz -C /root/scala/sbt 3.在/root/scala/sbt目录
阅读全文
posted @ 2017-11-06 11:57
摘要：find命令查找某些文件并将其拷贝到指定目录 [root@host lib]# find -name "*hbase*.jar" |xargs -i cp {} /root/aaa/[root@host lib]# find /root/hbase-2.0.0/lib -name "*hbase*.
阅读全文
posted @ 2017-11-03 16:29
摘要：1. 连接mysql 首先需要把mysql-connector-java-5.1.39.jar 拷贝到 spark 的jars目录里面； scala> import org.apache.spark.sql.SQLContextimport org.apache.spark.sql.SQLConte
阅读全文
posted @ 2017-11-02 16:28
