摘要：
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个... 阅读全文
摘要：
1、mysql-- 创建数据库create database logs;-- 使用use logs;-- 创建表create table weblogs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar... 阅读全文
摘要：
create database logs;use logscreate table weblogs_from_hdfs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar(15));sqoop expor... 阅读全文
摘要：
hadoop fs列出所有的命令hadoop fs -help ls列出某个命令的详细信息hadoop dfs -mkdir /data/weblogshadoop dfs -mkdir /data/dir1 /data/dir2 ...创建文件夹,可以递归创建,可同时创建多个目录echo "Hel... 阅读全文
摘要：
distcp启动MR实现复制1、关闭源集群map任务的推测执行，mapred-site.xml mapred.map.tasks.specutive.execution false,避免map任务失败时产生不可知的行为2、版本hadoop必须一致前提：B上已建立对应文件夹接收数据1、复制A->Bha... 阅读全文
摘要：
1、列裁剪select a,b from t where e < 10;设置参数：hive.optimize.cp = true2、分区裁剪select * from (select c1,count(1) from t group by c1) subqwhere subq.prtn = 100;... 阅读全文
摘要：
直接代码吧：记得要开启hive jdbc服务hive --service hiveserverpackage hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import ... 阅读全文
摘要：
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解... 阅读全文
摘要：
作为参考即可。在cmd下使用$hive -f 指定hive脚本文件$hive -e 'select * from test_change' 在cmd里执行hive语句在hive里面hive>source file_name 执行hive脚本文件-- 删除表drop table if exists t... 阅读全文
摘要：
一个练习：1、student表1:zhangsan:boy:12:compute3:lisi:boy:32:math2:xiaoli:girl:23:meish模式：A = load 'student' using PigStorage(':') as (sno:chararray,sname:ch... 阅读全文
摘要：
可以作为一个随身参考1、更简单的挖掘大规模数据集而发明。可使用用户定义语言UDF进行修改运行pig脚本 pig script.piggrunt自动补全机制 tab键 创建autocomplete文件，常用单词或文件路径 quit退出2、示例 计算年度最高气温 --表示注释1)records = LO... 阅读全文
摘要：
一位盲人老者打车，至下车计价器显示11.4元，帅哥司机把他扶至小区保安处。只说，我不收你钱，因为我比你挣钱容易。 小区内走出一斯文大叔，上车，一路畅谈。至下车计价器显示14.5，下车时掏出30元，说：这钱还有刚才那位的，我也不伟大但挣钱比你也容易点，就希望你能继续做好事! 有个故事很有启发，与大... 阅读全文