05 2017 档案
摘要：启动hiveServer2 启动beeline之后 连接 !connect jdbc:hive2://localhost:10000/default 启动的时候连接 /beeline -u jdbc:hive2://localhost:10000 -n hadoop http://blog.csdn
阅读全文
摘要：http://blog.csdn.net/skywalker_only/article/details/40650427
阅读全文
摘要：package my.hadoop.hdfs.mapreduceJoin; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.net.URI; import java.ne...
阅读全文
摘要：引用 6 楼 的回复: 好吧各位，应该写getInt(1)但是我要问的是为什么第二次用会出错 啊，好古老的一个问题。。。第二次出错的原因，是因为你创建Statement的时候，没有指定结果集（游标）模式！createStatement(int resultSetType, int resultSet
阅读全文
摘要：亲测，只能调用一次，如果想想在一次reduce重复使用迭代器中的数据，得先取出来放在list中然后在从list中取出来！！多次读取reduce函数中迭代器的数据 根本原因是迭代器本来就只能调用一次，因为便利完之后指针就移动到最后了，再使用iter.hasNext()肯定烦返回的是false啊。由于r
阅读全文
摘要：遇到两次了，都是启动之后太早执行mapreduce了，过了一会执行就可以了
阅读全文
摘要：一种错误的理解就是E在A的还有列表中，那么A也在E的列表，且A和E同时有的好友才是共同好友 ，如果按照这个观点思考下去就简单了，但是这个是错的，因为A-E：B，C，D 这种不不满足 正确的理解是求人与人之间的共同好友，人与人之间是否是同一个好友，是否在彼此的好友列表无关。 如果这个程序不用mapre
阅读全文
摘要：http://blog.csdn.net/tianjun2012/article/category/6794531 http://blog.csdn.net/tianjun2012/article/details/62444281
阅读全文
摘要：这里要查询的是去过的国家数（country）的次数ct大于2的人的名字 select name ,count(country) ct from sz03 where ct >2 group by name; ERROR 1054 (42S22): Unknown column 'ct' in 'wh
阅读全文
摘要：hive中order by,sort by, distribute by, cluster by作用以及用法
阅读全文
摘要：结果图 按照理解来说，应该只有一个1啊，难道这个sql有问题，自己没有理解对group by 的用法？ 以上是hive的 下面的是mysql的 感觉这条sql写的是有问题啊
阅读全文
摘要：解读：计数器Counter http://www.cnblogs.com/codeOfLife/p/5521356.html 这个讲的更详细
阅读全文
摘要：之前环境一直好好的，由于玩坏了一个mini3只能复制一个了，但是复制之后就出现这个问题了 解决办法是 设置xshell向每一个窗口发消息http://mofansheng.blog.51cto.com/8792265/1683336 设置时间 date -s "2012-11-03 10:25:25
阅读全文
摘要：http://blog.sina.com.cn/s/blog_6f83c7470101b7d3.html http://blog.csdn.net/slq1023/article/details/49826081 当客户端提交更新数据请求时，是先写入edits，然后再写入内存的
阅读全文
摘要：默认情况下，TextInputFormat对任务的切片机制是按照文件规划切片的，不管文件大小，都会有一个单独的切片，都会交给一个maptask，此时如果有很多小文件就会产生大量的maptask，导致处理效率低下 优化1 最好的办法，在数据处理系统的最前端（预处理/采集）就将小文件合并成大大文件再上传
阅读全文
摘要：MapReduce Input Split（输入分/切片）详解 public static long getMaxSplitSize(JobContext context) { return context.getConfiguration().getLong(SPLIT_MAXSIZE, Long
阅读全文
摘要：job.setPartitionerClass(myPartitioner.class);//设置了5个 job.setNumReduceTasks(2); 1.当分区数等于rducer数量时，正常运行， 2.当分区数等于5时，reduce为1时，正常运行,有一个结果文件 当reduce数量=2时报
阅读全文
摘要：http://qianshangding.iteye.com/blog/2259421 Hadoop之MapReduce的两种任务模式
阅读全文
摘要：ApplicationMaster是如何启动container并通信 hadoop的关键进程 http://blog.csdn.net/jediael_lu/article/details/46386773 当wordcount程序传入两个元文件时启动了两个map task ，可以看到两个jps进程
阅读全文
摘要：-cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;” java -cp .;myClass.jar packname.mainclassname classpath中的jar文件能使用通配符，如果是多个jar
阅读全文
摘要：demo1 crontab -e # 一分钟执行一次 */1 * * * * /home/hadoop/hivestudy/test.sh ll test.dat 观察文件是否在变大 crontab -l 查看定时任务 每五分钟执行 */5 * * * * 每小时执行 0 * * * * 每天执行
阅读全文
摘要：[hadoop@mini2 study]$ ./t.sh access.log.1 hahahahtest1.sh hahahaht.sh hahahah 这个结果就不对，因为[[]]中的等号两端没有空格！，加上空格就对了 还有if后面必须有空格，then要和if在同一行then前面必须加上分号；
阅读全文
摘要：1。运行mapreduce程序出错，connection to resourcemanagerretrying ...retrying ...原因是没有启动yarn或者启动失败 2.hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在da
阅读全文
摘要：http://blog.itpub.net/30066956/cid-175369-list-1/
阅读全文
摘要：URI统一资源定位符jdbc:mysql://localhost：3306hdfs://mini2:9000schema 协议ip端口指定客户端在访问时访问那个ip的那个端口hadoop.tmp.dir 每个进程工作时的数据目录mapred-site.xml 中hdfs.framework的默认值是
阅读全文
摘要：centos 6.7 hadoop 2.6.5 解决方案 /usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加 log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR 我的是学习
阅读全文
摘要：1.关闭防火墙 2.所有的hadoop操作都是hadoop用户下面的，同时需要用hadoop用户登录之后，对于其他的机器的hadoop用户可以免密登录 3.hadoop用户在root组下面，不是附加组！ 4.配置hadoop-env 中的Java_home 是因为hadoop只运行时需要ssh 启动
阅读全文
摘要：配置HADOOP_HOME export HADOOP_HOME=/usr/hadoop-1.2.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin :$HADOOP_HOME/sbin是管理级别的，不加，只加bin就可以了source /et
阅读全文
摘要：新建用户useradd hadoop passwd hadoop usermod -g root hadoop #用改hadoop用户的组为root 如果用 usermod -g 组名 用户名 ， 是修改用户的所在组，是覆盖性的。如果要加入多个组，应该用： usermod -G 组名，组名，组名..
阅读全文
摘要：反之，不阻塞，就是会继续执行不会因为子线程还没有结束而等待，而被阻塞的方法，这会因为某个子线程还没有结束而等待
阅读全文
摘要：this.queryCurrentTime();//执行的结果，结果与预期的一样 queryCurrentTime();//执行的结果 与预期的不一样！！，好像就没有实现锁的功能 看疯狂java上说的，对于synchronized修饰的实例方法（非static方法）而言，无须显示指定同步监视器，同步
阅读全文
摘要：http://www.cnblogs.com/mq0036/p/4995390.html List<String> children = zkClient.getChildren("/", true);| 其中ctrl+1是在只写了zkClient.getChildren("/", true);|将
阅读全文
摘要：#!/bin/shecho "start zkServer"for i in 2 3 4dossh mini$i "source /etc/profile;/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start"done mini$i 代
阅读全文
摘要：source会把定义在脚本文件中的变量放在当前shell中 export会把变量放在他所在的shell进程以及子进程shell中 子shell进程可以访问父shell进程的export 声明的变量，但是父shell进程不能访问子shell进程中的用export声明的变量（解决办法是用source）
阅读全文
摘要：安装zookeeper，将zookeeper上传到三个服务器，保存在/usr/local/zookeeper目录下，解压tar包 tar -xzvf zookeeper-3.4.6.tar.gz 进入目录zookeeper-3.4.6中，将conf目录中的zoo_sample.cfg文件复制为zoo
阅读全文
摘要：修改启动顺序 # vim /etc/inittab 。。。。。。。 d:3:initdefault: #找到这一行，d:3:initdefault:最小化启动 d:5:initdefault:图形界面启动 #去掉开机等待的5s vi /boot/grub/menu.lst timeout=5 #设置
阅读全文
摘要：查看目前系统的jdk: rpm -qa | grep jdk 得到的结果： $ rpm -qa | grep jdk java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 可能还有1.7的 卸载之： $ yum -y remove java-1.6.0-op
阅读全文
