摘要：
COALESCE(value,value，…)是一个可变参函数，可以使用多个参数。 作用：接受多个参数，返回第一个不为NULL的参数，如果所有参数都为NULL，此函数返回NULL；当它使用2个参数时，和IFNULL函数作用相同。 使用场合：假如某个字段默认是null，你想其返回的不是null，而是比 阅读全文
摘要：
public static void downJDProductComment() throws IOException { String url = "https://club.jd.com/comment/productPageComments.action?productId=10001119 阅读全文
摘要：
是不是所有练习爬虫的人都会去爬取商品信息。。。 下面是爬取京东上商品信息的代码(只爬取了一页数据) public void downJDProduct() throws IOException { String input = "辣条";// 以辣条为例，可以给这个方法加一个参数，这样就能接收用户输 阅读全文
摘要：
在使用爬虫进行一些数据爬取的时候，难免会碰上IP被封的情况，因此提前做个准备，写了一个简单的程序先爬取一些代理IP。 public void downIP() throws IOException { // 需要爬取IP信息的网站地址 String url = "http://www.66ip.cn 阅读全文
摘要：
select * from tablename as t where(t.field1 like '%param1%' or 'param1' is null) or (t.field2 like '%param2%' or 'param2' is null) ... tablename 为表名 f 阅读全文
摘要：
hive下载地址： http://www.apache.org/dyn/closer.cgi/hive/ 安装部署： 解压hive源程序： 配置环境变量： 保存退出后，运行source ~/.bashrc使配置立即生效。 修改/usr/local/hive/conf下的hive-site.xml 将 阅读全文
摘要：
以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 首先要求出A、B、C、….等是谁的好友 该段程序运行完成后，得到的结果应为： 接下来来进行第二步，得到哪些人两两之间有共同好友，及他俩的共同好友都 阅读全文
摘要：
需求：假如有一个边长为1的正方形。以正方形的一个端点为圆心，以1为半径，画一个圆弧，于是在正方形内就有了一个直角扇形。在正方形里随机生成若干的点，则有些点是在扇形内，有些点是在扇形外。正方形的面积是1，扇形的面积是0.25*Pi。设点的数量一共是n，扇形内的点数量是nc，在点足够多足够密集的情况下， 阅读全文
摘要：
通过hadoop的分布式文件系统与MR完成日常日志文件的数据处理，以求达到数据清洗的目的。 日志数据格式： 27.19.74.143 - - [30/Mar/2015:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 11 阅读全文
摘要：
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 阅读全文