集技术与颜值于一身

摘要： 即席查询普通查询 Load Data1) RDD DataFrame/Dataset2) Local Cloud(HDFS/S3) 将数据加载成RDDval masterLog = sc.textFile("file:///home/hadoop/app/spark-2.1.0-bin-2.6.0- 阅读全文

摘要： 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击...） 用户行为轨迹、流量日志 日志数据内容： 1）访问的系统属性： 操作系统、浏览器等等 2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等 3）访问信息：session_id、访问ip( 阅读全文

摘要： 用户： 方便快速从不同的数据源（json、parquet、rdbms），经过混合处理（json join parquet）， 再将处理结果以特定的格式（json、parquet）写回到指定的系统（HDFS、S3）上去 Spark SQL 1.2 ==> 外部数据源API 外部数据源的目的 1）开发人 阅读全文

摘要： DataFrame它不是Spark SQL提出的，而是早起在R、Pandas语言就已经有了的。 A Dataset is a distributed collection of data：分布式的数据集 A DataFrame is a Dataset organized into named co 阅读全文

摘要： 提交Spark Application到环境中运行spark-submit \--name SQLContextApp \--class com.imooc.spark.SQLContextApp \--master local[2] \/home/hadoop/lib/sql-1.0.jar \/ 阅读全文

摘要： 文本文件进行统计分析：id, name, age, city1001,zhangsan,45,beijing1002,lisi,35,shanghai1003,wangwu,29,tianjin....... table定义：personcolumn定义： id：int name：string ag 阅读全文

摘要： 前置要求： 1）Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+ 2）export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" mvn编译命令： ./bu 阅读全文

摘要： MapReduce的局限性： 1）代码繁琐； 2）只能够支持map和reduce方法； 3）执行效率低下； 4）不适合迭代多次、交互式、流式的处理； 框架多样化： 1）批处理（离线）：MapReduce、Hive、Pig 2）流式处理（实时）： Storm、JStorm 3）交互式计算：Impala 阅读全文

摘要： 课程整套CDH相关的软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/ cdh-5.7.0 生产或者测试环境选择对应CDH版本时，一定要采用尾号是一样的版本 http://hadoop.apache.org/ 对于Apache的顶级项目来说，projectn 阅读全文