wqy1027

摘要： Hive1.2.1安装 1.上传压缩包并解压（在/usr/local/soft/目录下） tar -zxvf apache-hive-1.2.1-bin.tar.gz 2.修改目录名称 mv apache-hive-1.2.1-bin hive-1.2.1 3.修改配置文件（在hive-1.2.1下 阅读全文

摘要： Hive（数据仓库建模工具之一） 简介： Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 思考：计算文件user.txt中张 阅读全文

摘要： 练习题：求每个平均消费,如果遇到异常数据，money异常，就回填为10数据：张三,12月3号,20张三,12月3号,10李四,12月3号,12王五,12月3号,10王五,12月2号 王五,12月2号,30王二麻,12月2号,0王二麻,12月2号,,王二麻,12月2号, , 代码 package co 阅读全文

摘要： 作业1：电信小项目：业务数据：电信手机用户行为日志数据分隔符：\t字段：用户手机号码,时间戳,城市id,城市区域id,所在区域停留时间,开始进入区域的时间,离开区域的时间,日期D55433A437AEC8D8D3DB2BCA56E9E64392A9D93C 117210031795040 83401 阅读全文

摘要： 天气案例 随机生成温度代码；并写入到文件中 需求：求每年2月份的最高温度 package utils; import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java. 阅读全文

摘要： jdbc 阅读全文

摘要： 预聚合 在map合并之后，reduce拉取之前有预聚合操作（combiner或者map join） 预聚合目的：减少reduce拉取的次数，加快map任务处理的速度。 不能确定combiner函数会调用多少次，因为不确定map任务有多少个 combiner不适用于求平均数、根号、次方~ 数据倾斜解决 阅读全文

摘要： java模拟切分文件 package com.shujia; import java.io.*; import java.util.ArrayList; public class SplitFileBlock { public static void main(String[] args) thro 阅读全文

摘要： Hadoop2.7.6 hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTab 阅读全文

摘要： MapReduce hadoop-ha问题 dfs.ha.fencing.methods 表示：a list of scripts or Java classes which will be used to fence the Active NameNode during a failover 而配 阅读全文