摘要：
原创不易，转载请务必注明，原创地址，谢谢配合! http://qindongliang.iteye.com/ Pig系列的学习文档，希望对大家有用，感谢关注散仙！ Apache Pig的前世今生 Apache Pig如何自定义UDF函数？ Apache Pig5行代码怎么实现Hadoop的WordC... 阅读全文
摘要：
散仙在上篇文章中，介绍了关于ElasticSearch基本的增删改查的基本粒子，本篇呢，我们来学下稍微高级一点的知识：（1）如何在ElasticSearch中批量提交索引 ？（2）如何使用高级查询（包括，检索，排序，过滤，分页） ？（3）如何组合多个查询 ？（4）如何使用翻页深度查询 ？（5）如何使... 阅读全文
摘要：
散仙，在上篇文章中介绍了，如何使用Apache Pig与Lucene集成，还不知道的道友们，可以先看下上篇，熟悉下具体的流程。在与Lucene集成过程中，我们发现最终还要把生成的Lucene索引，拷贝至本地磁盘，才能提供检索服务，这样以来，比较繁琐，而且有以下几个缺点：（一）在生成索引以及最终能提供... 阅读全文
摘要：
在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台，它提供的SQ... 阅读全文
摘要：
相信大家都知道，在看一本书的时候，通过该书的目录和索引能够很快的了解本书内容和找到我们需要的页数，因为一本专业的书本往往记录的知识都非常全面，举个例子假如我们初学Hadoop，所以呢就购买了一本《Hadoop编程指南》，打算系统的学习一下这个东东来提高一下自己的逼格和工资水平，那么问题来了，如何才能... 阅读全文
摘要：
主要整理了一下，pig里面的一些关键词的含义和用法，pig虽然是一种以数据流处理为核心的框架，但数据库的大部分关键词和操作，在pig里面基本上都能找到对应的函数，非常灵活与简洁，春节前的最后一篇文章了，祝大家春节快乐！1，保留关键字：-- A assert, and, any, all, arran... 阅读全文
摘要：
昨日，360公司官方人士向腾讯科技确认，公司已斥巨资收购国际顶级域名360.com。传闻这一收购价格为1700万美元，约合人民币1.1亿元。史上最贵域名诞生!360斥资1700万美元买360.com此前，360.com由电信运营商沃达丰(Vodafone)持有，360曾与沃达丰谈判多年，试图回购域名... 阅读全文
摘要：
上篇文章散仙介绍了ElasticSearch的入门安装和使用，那么本篇我们来看下，如何使用java api来和ElasticSearch进行交互，简单点说，就是实现一个增删改查，来找找入门的感觉。在这里散仙解释一下，为啥选择使用Java api来作为一个入门的例子，主要原因如下：（1）Java在大中... 阅读全文
摘要：
最近散仙在做公司的一个跟搜索有关的数据分析项目，主要就是统计搜索的转化率，目的主要有以下几个：（1）通过数据分析挖掘，找出搜索业务在整个平台系统里的GMV里所占份额（2）给公司的搜索算法调优，提供可靠的参考依照（3）了解从搜索入口到最终交易之间各个阶段的数据比重，主要有搜索点击率，搜索曝光率，搜索添... 阅读全文
摘要：
1，Pig的安装 （一）软件要求 （二）下载Pig （三）编译Pig2，运行Pig （一）Pig的所有执行模式 （二）pig的交互式模式 （三）使用pig脚本执行模式3，Pig Latin语句的声明 （一）加载数据 （二）使用和处理数据 （三）存储中间数据（四）存储最终数据（五）调试Pig Lati... 阅读全文