mapreduce中控制mapper的数量
摘要:很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Mapper
阅读全文
posted @
2016-05-16 15:52
知识天地
阅读(959)
推荐(0) 编辑
IntelliJ IDEA 将 Maven 构建的 Java 项目打包
摘要:前言 IntelliJ IDEA 编译生成 Jar 包的方式与 Eclipse 不同,如何将此 Maven 构建 Java 推荐引擎项目生成 Jar 包确实搜索了不少资料,有成功的有失败的,特将此验证成功的方法记录下来分享给遇到此类问题的朋友。 开发环境 OS: Windows 8.1 JRE: 1
阅读全文
posted @
2016-05-09 23:28
知识天地
阅读(575)
推荐(0) 编辑
IntelliJ IDEA 显示行号方法
摘要:为何N多人问这问题,设置方法如下: File->Settings->Editor->General->Appearence->Show Line Number
阅读全文
posted @
2016-04-07 17:30
知识天地
阅读(2848)
推荐(0) 编辑
JetBrains Makes its Products Free for Students(JetBrains 对学生免费了)
摘要:只要你有大学有些 后缀是 .edu的 如:@buaa.edu.cn,用你的邮箱注册,就可以免费试用 JetBrains了 下面是详细注册步骤: Hello everyone, If you’re on social media, you may have noticed that we have o
阅读全文
posted @
2016-04-07 12:05
知识天地
阅读(535)
推荐(0) 编辑
Java Dictionary Example
摘要:Dictionary class is the abstract class which is parent of any class which uses the key and value pair relationship. The classes like HashTable extends
阅读全文
posted @
2016-04-06 18:40
知识天地
阅读(1060)
推荐(0) 编辑
Java Dictionary 类
摘要:Dictionary 类是一个抽象类,用来存储键/值对,作用和Map类相似。 给出键和值,你就可以将值存储在Dictionary对象中。一旦该值被存储,就可以通过它的键来获取它。所以和Map一样, Dictionary 也可以作为一个键/值对列表。 Dictionary定义的抽象方法如下表所示: D
阅读全文
posted @
2016-04-06 18:28
知识天地
阅读(2434)
推荐(0) 编辑
JAVAC 命令使用方法
摘要:结构javac [ options ] [ sourcefiles ] [ @files ]參数可按随意次序排列。options命令行选项。sourcefiles一个或多个要编译的源文件(比如 MyClass.java)。@files一个或多个对源文件进行列表的文件。说明javac有两种方法可将源码文件名称传递给 javac:假设源文件数量少,在命令行上列出文件名称就可以。假设源文件数量多,则将源文件名称列在一个文件里,名称间用空格或回车行来进行分隔。然后在 javac 命令行中使用该列表文件名称,文件名称前冠以 @ 字符。源码文件名称称必须含有.java后缀,类文件名称称必须含有.class
阅读全文
posted @
2013-06-27 16:43
知识天地
阅读(14347)
推荐(0) 编辑
Linux环境下编译并执行ava helloworld程序
摘要:原文:http://blog.lupaworld.com/home-space-uid-24466-do-blog-id-2578.html已经学会怎样在Windows下怎样编辑,编译和运行Java程序了,我就想试试怎样在Linux下编译和运行Linux。昨天下载了一个for Linux 的Eclipse,使用起来和在Windows下沒有什么差别,可是速度慢了些,于是今天我想尝试一下怎样在控制台下使用命令编译和运行Java程序。首先,去Sun的站点上Download一个JDK,我下载的版本号是 jdk1.5.0_08,安装。接着,在root下编写了一个简单的Java程序 first.java
阅读全文
posted @
2013-06-27 11:31
知识天地
阅读(569)
推荐(0) 编辑
java的定时器详解
摘要:定时器类Timer在java.util包中。使用时,先实例化,然后使用实例的schedule(TimerTask task, long delay)方法,设定指定的任务task在指定的延迟delay后运行。定时器任务类TimerTask是抽象类,继承并重写其run()方法,可实现详细任务。schedule(TimerTask task, Date time)设定指定任务task在指定时间time运行。cancel()方法结束这个定时器。schedule(TimerTask task, long delay, long period)方法设定指定任务task在指定延迟delay后进行固定延迟pe
阅读全文
posted @
2013-06-16 15:46
知识天地
阅读(1261)
推荐(0) 编辑
java海量数据处理(千万级别)(2)-海量数据FTP下载
摘要:这个也是曾经做过的一个程序,目的主要是去ftp主机(最多100左右)去取xx数据文件. 千万级别仅仅是个概念,代表数据量等于千万或者大于千万的数据 本分享不牵扯分布式採集存储之类的.是在一台机器上处理数据,假设数据量非常大非常大的话,能够考虑分布式处理,假设以后我有这方面的经验,会及时分享的.1、程序採用的ftp工具, apache 的 commons-net-ftp-2.0.jar2、千万级别ftp核心关键的部分--列文件夹到文件,仅仅要是这块做好了,基本上性能就沒有太大的问题了.能够通过apache 发送ftp命令 "NLST" 的方式列文件夹到文件里去# ftp列文件
阅读全文
posted @
2013-06-16 13:04
知识天地
阅读(2667)
推荐(0) 编辑
正则表达式 JAVA语言 总结
摘要:在Sun的Java JDK 1.40版本号中,Java自带了支持正則表達式的包,本文就抛砖引玉地介绍了怎样使用java.util.regex包。 可粗略预计一下,除了偶尔用Linux的外,其他Linu x用户都会遇到正則表達式。正則表達式是个极端强大工具,而且在字符串模式-匹配和字符串模式-替换方面富有弹性。在Unix世界里,正則表達式差点儿没有什么限制,可肯定的是,它应用很之广泛。 正則表達式的引擎已被许多普通的Unix工具所实现,包含grep,awk,vi和Emacs等。此外,许多使用比較广泛的脚本语言也支持正則表達式,比如Python,Tcl,JavaScript,以及最著名的P...
阅读全文
posted @
2013-06-16 00:29
知识天地
阅读(1039)
推荐(0) 编辑
java 中的 socket 编程详细介绍
摘要:一,网络编程中两个主要的问题一个是怎样准确的定位网络上一台或多台主机,还有一个就是找到主机后怎样可靠高效的进行传输数据。在TCP/IP协议中IP层主要负责网络主机的定位,传输数据的路由,由IP地址能够唯一地确定Internet上的一台主机。而TCP层则提供面向应用的可靠(tcp)的或非可靠(UDP)的传输数据机制,这是网络编程的主要对象,一般不须要关心IP层是怎样处理数据的。眼下较为流行的网络编程模型是客户机/server(C/S)结构。即通信两方一方作为server等待客户提出请求并予以响应。客户则在须要服务时向server提出申请。server一般作为守护进程始终运行,监听网络port,一
阅读全文
posted @
2013-06-12 23:41
知识天地
阅读(1616)
推荐(0) 编辑
天将降大任于斯人也,必先苦其心志,劳其筋骨,饿其体肤,空乏其身,行拂乱其所为,所以动心忍性,增益其所不能
摘要:出自:http://blog.csdn.net/arielxp/article/details/72003Java本身是一种设计的非常简单,非常精巧的语言,所以Java背后的原理也很简单,归结起来就是两点:1、JVM的内存管理理解了这一点,所有和对象相关的问题统统都能解决2、JVM Class Loader理解了这一点,所有和Java相关的配置问题,包括各种App Server的配置,应用的发布问题统统都能解决就像张无忌学太极剑,本质就是一圈一圈的画圆,你要是懂得了太极剑的本质,那么太极剑就那么一招而已,本身是很容易学的,只是难度在于你要能够举一反三,化一式剑意为无穷无尽的剑招,这就需要一点悟
阅读全文
posted @
2013-05-29 00:45
知识天地
阅读(729)
推荐(0) 编辑
java的定时器使用方法
摘要:定时器类Timer在java.util包中。使用时,先实例化,然后使用实例的schedule(TimerTask task, long delay)方法,设定指定的任务task在指定的延迟delay后执行。定时器任务类TimerTask是抽象类,继承并重写其run()方法,可实现具体任务。schedule(TimerTask task, Date time)设定指定任务task在指定时间time执行。cancel()方法结束这个定时器。schedule(TimerTask task, long delay, long period)方法设定指定任务task在指定延迟delay后进行固定延迟pe
阅读全文
posted @
2013-05-29 00:38
知识天地
阅读(1514)
推荐(0) 编辑
JDK1.5官方下载_JDK5官方下载_JDK1.5API(chm)下载_JDK5APICHM中文参考下载_JDK1.5下载_JDK5下载
摘要:JDK 是整个Java的核心,包括了Java运行环境(Java Runtime Envirnment),一堆Java工具和Java基础的类库(rt.jar)。不论什么Java应用服务器实质都是内置了某个版本的JDK。因此掌握 JDK是学好Java的第一步。最主流的JDK是Sun公司发布的JDK,除了Sun之外,还有很多公司和组织都开发了自己的JDK,例如IBM公司开发的JDK,BEA公司的Jrocket,还有GNU组织开发的JDK等等。其中IBM的JDK包含的JVM(Java Virtual Machine)运行效率要比Sun JDK包含的JVM高出许多。而专门运行在x86平台的Jrocket
阅读全文
posted @
2013-05-28 23:48
知识天地
阅读(758)
推荐(0) 编辑
java环境变量配置
摘要:windows xp下配置JDK环境变量: 1.安装JDK,安装过程中可以自定义安装目录等信息,例如我们选择安装目录为D:/java/jdk1.5.0_08; 2.安装完成后,右击“我的电脑”,点击“属性”; 3.选择“高级”选项卡,点击“环境变量”; 4.在“系统变量”中,设置3项属性,JAVA_HOME,PATH,CLASSPATH(大小写无所谓),若已存在则点击“编辑”,不存在则点击“新建”; 5.JAVA_HOME指明JDK安装路径,就是刚才安装时所选择的路径D:/java/jdk1.5.0_08,此路径下包括lib,bin,jre等文件夹(此变量最好设置,因为以后运行tomcat,.
阅读全文
posted @
2013-05-28 21:43
知识天地
阅读(178)
推荐(0) 编辑