摘要：
RDD是Spark建立之初的核心API。RDD是不可变分布式弹性数据集，在Spark集群中可跨节点分区，并提供分布式low-level API来操作RDD，包括transformation和action。 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是S 阅读全文
posted @ 2018-06-20 14:29 打杂滴 阅读(373) 评论(0) 推荐(0) 编辑
2018年6月20日
2018年6月15日
摘要：
Load运算符 你可以使用 Pig Latin 的 LOAD 运算符，从文件系统（HDFS / Local）将数据加载到Apache Pig中。 语法 load语句由两部分组成，用“=”运算符分隔。在左侧，需要提到我们想要存储数据的关系的名称；而在右侧，我们需要定义如何存储数据。下面给出了 Load 阅读全文
posted @ 2018-06-15 15:33 打杂滴 阅读(453) 评论(0) 推荐(0) 编辑
摘要：
pig的两种运行模式，local模式，mapreduce模式 local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使 阅读全文
posted @ 2018-06-15 10:29 打杂滴 阅读(699) 评论(0) 推荐(0) 编辑
摘要：
hadoop生态圈 主要从hdfs底层存储，hbase数据库，hive数据仓库，flume收集，Kafka缓存，zookeeper分布式协调服务，spark大数据分析，sqoop数据互转 hdfs分布式文件系统，高容错的特点，可以部署在廉价的硬件上，设计目标：检查和快速修复硬件故障；流式访问；简化一 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(213) 评论(0) 推荐(0) 编辑
摘要：
Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。 要使用 Apache Pig 分析数据，程序员需要使用Pig Latin 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(1450) 评论(0) 推荐(0) 编辑
2018年6月12日
摘要：
1.通过cli直接执行 2.hive -e "hql" 如：[root@host ~]# hive -e "use gamedw;show tables" [root@host ~]# hive -e 'use gamedw;show tables' 3.执行文件[root@host tmpdata 阅读全文
posted @ 2018-06-12 16:31 打杂滴 阅读(283) 评论(0) 推荐(0) 编辑
2018年6月11日
摘要：
下例根据20180605号的登录计算历史N天留存，本例未加注册时间限制 select a.DateID,a.platid,DATEDIFF(cast(c.DateID as datetime),cast(a.DateID as datetime)),count(distinct a.Accid) f 阅读全文
posted @ 2018-06-11 14:32 打杂滴 阅读(135) 评论(0) 推荐(0) 编辑
2018年6月8日
摘要：
Linux 中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。 脚本通常以下语句开始： #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序 cd / 是回到根目录 cd 当前 阅读全文
posted @ 2018-06-08 10:13 打杂滴 阅读(111) 评论(0) 推荐(0) 编辑
2018年6月7日
摘要：
hbase是hadoop的数据库，能够对大数据提供随机实时的读写访问功能，具有开源，分布式，可扩展行，面向列存储的特点。hbase的目标是存储并处理大量的数据。 它可以直接使用本地文件系统，也可以使用hdfs文件存储系统。使用 hdfs更加稳妥。 hbase存储的是松散数据。存储的数据可以理解为ke 阅读全文
posted @ 2018-06-07 17:41 打杂滴 阅读(119) 评论(0) 推荐(0) 编辑