10 2014 档案

hbase 数据拷贝
摘要：由于运营数据太大，另外避免影响正常访问，所以需要临时拷贝部分数据到临时表中. bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.ad... 阅读全文
posted @ 2014-10-30 11:40 谭志宇 阅读(1190) 评论(0) 推荐(0) 编辑
Scala学习笔记
摘要：1 闭包 var a = 3 var addfun = (x:Int) => x + a var b = addfun(10) println(b) addfun 就是个和对象无关的函数，局部变量，使用方法和函数一样，但是好像不推荐这种写法。2 类的创建，简单使用a... 阅读全文
posted @ 2014-10-22 20:55 谭志宇 阅读(189) 评论(0) 推荐(0) 编辑
flume ng 1.3 安装(转)
摘要：http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop... 阅读全文
posted @ 2014-10-20 16:08 谭志宇 阅读(246) 评论(0) 推荐(0) 编辑
学习scala trait
摘要：// 类接口，但是可以实现方法// 作用 多重继承trait traitA{ val tnum: Int def log(msg: String): Unit ={ println("log : " + msg) }}trait traitB extends traitA{ def t... 阅读全文
posted @ 2014-10-19 21:59 谭志宇 阅读(239) 评论(0) 推荐(0) 编辑
scala性能测试
摘要：主要对比scala 的for, while循环，以及和java for while循环作对比scala代码object TestScalaClass { var maxindex = 100000 def testloopfor(): Unit ={ var beg = System.cu... 阅读全文
posted @ 2014-10-19 06:31 谭志宇 阅读(3619) 评论(0) 推荐(0) 编辑
scala容器使用
摘要：花了两个小时左右，学习了一下scala语言， 由于scala运行在jvm之上， 可以使用java容器也可以使用scala自带的容器.import java.utilimport java.util.{HashMap => JavaHashMap}import scala.collection.mut... 阅读全文
posted @ 2014-10-18 23:08 谭志宇 阅读(5747) 评论(0) 推荐(0) 编辑
服务器登录
该文被密码保护。
posted @ 2014-10-17 10:26 谭志宇 阅读(2) 评论(0) 推荐(0) 编辑
参考资料
摘要：http://blog.csdn.net/v_july_v/article/details/7577684 阅读全文
posted @ 2014-10-17 10:24 谭志宇 阅读(104) 评论(0) 推荐(0) 编辑
归并排序
摘要：import java.lang.reflect.Array;import java.util.Arrays;import java.util.Collections;import java.util.List;public class Test { public static int[] sort... 阅读全文
posted @ 2014-10-16 17:44 谭志宇 阅读(179) 评论(0) 推荐(0) 编辑
Error:Cannot determine Java VM executable in selected JDK
摘要：http://devnet.jetbrains.com/message/5521484#5521484Configure -> Project defaults -> Project structure and added the jdk如果无法回到开始界面，在help->show logFIles... 阅读全文
posted @ 2014-10-14 07:48 谭志宇 阅读(414) 评论(0) 推荐(0) 编辑
Spark1.0.0属性配置
摘要：1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用... 阅读全文
posted @ 2014-10-13 21:17 谭志宇 阅读(6235) 评论(0) 推荐(0) 编辑
yarn默认配置
摘要：namevaluedescriptionyarn.ipc.client.factory.classFactory to create client IPC classes.yarn.ipc.serializer.typeprotocolbuffersType of serialization to ... 阅读全文
posted @ 2014-10-13 21:04 谭志宇 阅读(13031) 评论(0) 推荐(0) 编辑
spark安装
摘要：1 安装参考 http://www.kankanews.com/ICkengine/archives/106212.shtml 1.1 安装scala wget http://www.scala-lang.org/files/archive/scala-2.9.3.tgz exp... 阅读全文
posted @ 2014-10-13 20:42 谭志宇 阅读(216) 评论(0) 推荐(0) 编辑
多线程序的角度理解静态类
摘要：通常称为嵌套类，当内部类是static时，意味着：1 要创建嵌套类的对象，并不需要其外围类的对象2不能从嵌套类的对象中访问非静态的外围类对象（不能够从静态内部类的对象中访问外部类的非静态成员）在创建静态内部类时不需要将静态内部类的实例绑定在外部类的实例上。普通非静态内部类的对象是依附在外部类对象之中... 阅读全文
posted @ 2014-10-08 12:45 谭志宇 阅读(312) 评论(0) 推荐(0) 编辑
Java 多线程序的一点理解
摘要：synchronized 是java 内主要的同步标记1 同步非静态方法 作用域范围只是当前对象在不同线程间的同步, 如果n 为Test外的对象，在不同的Test对象之间，等于没有同步, 该方法只能同步n为Test类内对象 public class Test public synchroni... 阅读全文
posted @ 2014-10-08 08:31 谭志宇 阅读(323) 评论(0) 推荐(0) 编辑
Storm 出现 no jzmq in java.library.path
摘要：在真实环境中运行时，在log日志下，查看workpid日志发现出现该错误。解决办法: 在conf/storm.yaml添加jzmq安装的路径, 我使用的默认安装在/usr/local/lib下java.library.path: "/usr/local/lib", 阅读全文
posted @ 2014-10-04 17:17 谭志宇 阅读(375) 评论(0) 推荐(0) 编辑
测试Storm的多源头锚定
摘要：过程,Spout 发送msgid 1-10一级Bolt， msgid1的tuple做为基本组合tuple, 其他8个和一组合, 然后发送给二级Bolt， 同时单个msgid对应的tuple都ack一次，msgid1对象tuple, acker将会跟踪8个二级bolt处理情况.二级Bolt，发送ack... 阅读全文
posted @ 2014-10-03 21:28 谭志宇 阅读(3026) 评论(0) 推荐(0) 编辑
理解Storm可靠性消息
摘要：看过一些别人写的， 感觉有些东西没太说清楚，个人主要以源代码跟踪，参考个人理解讲述，有错误请指正。1基本名词1.1 Tuple: 消息传递的基本单位。很多文章中介绍都是这么说的， 个人觉得应该更详细一点。在spout发送的时候，函数原型public List emit(List tuple, Obj... 阅读全文
posted @ 2014-10-03 11:33 谭志宇 阅读(3237) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示