摘要：
Load运算符 你可以使用 Pig Latin 的 LOAD 运算符，从文件系统（HDFS / Local）将数据加载到Apache Pig中。 语法 load语句由两部分组成，用“=”运算符分隔。在左侧，需要提到我们想要存储数据的关系的名称；而在右侧，我们需要定义如何存储数据。下面给出了 Load 阅读全文
posted @ 2018-06-15 15:33 打杂滴 阅读(457) 评论(0) 推荐(0) 编辑
2018年6月15日
摘要：
pig的两种运行模式，local模式，mapreduce模式 local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使 阅读全文
posted @ 2018-06-15 10:29 打杂滴 阅读(713) 评论(0) 推荐(0) 编辑
摘要：
Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。 要使用 Apache Pig 分析数据，程序员需要使用Pig Latin 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(1460) 评论(0) 推荐(0) 编辑
摘要：
hadoop生态圈 主要从hdfs底层存储，hbase数据库，hive数据仓库，flume收集，Kafka缓存，zookeeper分布式协调服务，spark大数据分析，sqoop数据互转 hdfs分布式文件系统，高容错的特点，可以部署在廉价的硬件上，设计目标：检查和快速修复硬件故障；流式访问；简化一 阅读全文
posted @ 2018-06-15 10:28 打杂滴 阅读(213) 评论(0) 推荐(0) 编辑