随笔分类 - Java
抓取之近似网页过滤
摘要:抓取的网页内容中,有大部分会是相似的,抓取时就要过滤掉,开始考虑用VSM算法,后来发现不对,要比较太多东西了,然后就发现了simHash算法,这个算法的解释我就懒得copy了,simhash算法对于短数据的支持不好,但是,我本来就是很长的数据,用上! 源码实现网上也有不少,但是貌似都是同样的,...
阅读全文
Hadoop 2.4.1 登录认证配置小结
摘要:1.简单模式 这种模式,配置简单,使用简单。 core-site.xml添加 hadoop.security.authorization true hadoop.security.authentication s...
阅读全文
Window中调试HBase问题小结
摘要:1.好久没用log4j了,转到logback好多年了,hbase程序运行时,报缺少log4j配置,那么,就转去logback吧(以下的XXX表示版本号)。 原先lib包里面有log4j-XXX.jar、slf4j-api-XXX.jar、slf4j-log4j12-XXX.jar,干掉log4...
阅读全文
Hbase0.98.4/Hadoop2.4.1整合小结【原创】
摘要:设定hbase的数据目录,修改conf/hbase-site.xml hbase.cluster.distributed true The mode the clusterwill be in. Possible values are ...
阅读全文
Hadoop 2.4.1 Map/Reduce小结【原创】
摘要:看了下MapReduce的例子。再看了下Mapper和Reducer源码,理清了参数的意义,就o了。public class Mapperpublic class Reducer Map是打散过程,把输入的数据,拆分成若干的键值对。Reduce是重组的,根据前面的键值对,重组数据。 自己写M...
阅读全文
hadoop的dfs工具类一个【原创】
摘要:开始没搞定插件问题,就弄了个dsf操作类,后面搞定了插件问题,这玩意也就聊胜于无了,还是丢这里算了。 首先是一个配置,ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado...
阅读全文
简化 Hadoop 2.4.1 Eclpse 插件编译【原创】
摘要:昨天折腾hadoop2X的eclipse插件,从https://github.com/winghc/hadoop2x-eclipse-plugin把源码搞下来后,很快搞定出来一个,但是。。。New Hadoop Location时,窗口出不来,汗死,原因后面会说明的。源码难下,最后我会附上源码包...
阅读全文
Hadoop 2.4.1 设置问题小结【原创】
摘要:先丢点问题小结到这里,免得忘记,有空再弄个详细教程玩,网上的教程要不就是旧版的,要不就是没说到点子上,随便搞搞也能碰上结果是对的时候,但是知其然而不知其所以然,没意思啊。解决问题的方法有很多种,总得找到比较合适的方法才行的。1.服务器禁用ipV6配置.2.Could not locate execu...
阅读全文
spring的自动装配导致quartz出问题【原创】
摘要:昨天由于项目需要,要把quartz集成进去,原来的项目已经用过,所以直接把配置copy下就行了,这个工作交给同事做去了,谁知道一直报错,死活不行,由于临下班了,所以没管了。 今天早上过来,把yui-ext精简了下,不记得昨天的问题了,过了一会,同事那还是不行,奇怪了,把文件复制过来,我这边一运行,问题依旧,怪了,我原来是可以的。 仔细一查,发现是工作保存方式有问题,一般只要存在内存中就行了,但...
阅读全文
关于用jsp生成xml的问题【原创】
摘要:刚看到群里人说jsp生成的xml用ajax取有问题,由于基本不用jsp做显示,所以只有试验了下,随便写了段测试代码,用ie直接看,很正常,ajax取死活不行,代码如下:<%@pagelanguage="java"contentType="text/xml;charset=UTF-8"import="java.util.*"pageEncoding="UTF-8"%><%out.p...
阅读全文
spring的单例导致webwork文件上传出现问题【原创】
摘要:查了下webwork文件上传部分的源码,发现它将出错信息保存起来了,前端ftl一调用,ok了,但是,发现错误是越加越多,还以为是webwork的addFieldError部分引起的,就想把错误信息在显示完后清除掉。但是由于整个处理过程被webwork封装了,想清除也不是那么容易的,就去查整个处理过程。 在这个时候,发现如果上传一次非法文件后,就不能再上传任何文件了,对一些请求的调用,居然都返回到...
阅读全文
resin版本导致的webwork2.2.4找不到xwork.xml【原创】
摘要:由于webwork2.2.2的文件上传对中文文件名的支持不够,所以今天早上找了webwork2.2.4,换了几个包,调试了下,中文ok了,但是,只好了这么一下,就永远的报找不到xwork.xml了。 开始怀疑是代码的问题,左找右找没找出问题来。叫同事试了下,居然可以,郁闷。 换新resin、新JDK、新系统、新Eclipse,都不行,郁闷。叫同事把编译好的拿来运行,不行,接着叫拿他们的resi...
阅读全文
Gel备注【原创】
摘要:昨天在网上看到个编java的IDE,就是Gel了,号称世界上最轻巧的Java IDE,费了一番功夫下了个,没想到还是多国语言版的,爽到了。 用了一会,就把原来下的JCreator4.0删了,尽管JCreator4.0相比以前的版本有很大的提高,但是感觉还是不如Gel好用。尽管功能不如Eclipse,但是Gel可是轻巧型的。 留一个下载地址,需要的自己去下:http://memescape.co...
阅读全文
struts的action直接输出中文备注【原创】
摘要:刚在群里解答了一个ajax取action产生的中文页面得到乱码的问题,感觉有必要记下来,这段代码是这么写的,输出编码为utf-8response.setContentType("text/html;charset=utf-8");response.setHeader("Cache-Control","no-cache");try{PrintWriterpw=newPrintWriter(newOu...
阅读全文
FreeMarker生成xml的教训【原创】
摘要:原来生成xml,是在一个servlet直接把xml字符串输出来,总感到有那么点不好,就决定用FreeMarker做模板,在struts的action中取得对象集合,传过去,生成xml。 由于这个工作很简单,很快就完成了,输入地址直接看了下,是xml那种形式的,然后,产生树形结构的代码中的ajax部分调用这个xml,结果居然抛错,取不到responseXML中的元素。 我怎么想都不明白,明明看着...
阅读全文
图解MyEclipse配置struts+hibernate+spring+FreeMarker【原创】
摘要:这几天把hibernate和spring好好看了下,再想想struts的一些东西,决定把3个整合一下一起用,表现层用struts+freemarker,业务层用spring,hibernate处理持久层。在struts中,利用委托,将action的处理委托给spring进行,struts只负责页面逻辑。 前些日子下了Eclipse 3.2+MyEclipse5.0M2,感觉MyEclipse...
阅读全文
打印0-n的所有路径【原创】
摘要:几天在论坛,看到这么个题目: 打印0—N(0" + pInfo.endNode, depth); } if (numStartNode > 0) // 有分支的话,如果这里不成立,整个就结束了 { for (int i = 0; i " + pI...
阅读全文
CVS用户管理配置备忘【原创】
摘要:一年多前,由于项目需要,配置了一个CVS,用的是CVSNT的独立验证模式,前些日子,有朋友想建立一个,我居然忘记怎么做了,当初没写下来真是亏了。 花了点时间,终于在朋友那配出来了,不过我自己的机器由于我改了组策略,导致出了一些问题,不管怎么样,都报错:Error reading from server 192.168.0.168: 0,真是郁闷到了,不管怎么样,把过程说一下,毕竟朋友那出来了...
阅读全文
对于C/S应用的小结【原创】
摘要:年初做了个C/S的项目,当时找了一把的资料,整理整理,写了个例子出来,今天一看,好像不怎么样,不够通用,于是就操起Eclipse,把它给改造了,抽出业务逻辑的具体处理,一个是AbstractServerHandle (抽象类),一个是ClientHandleImpl(接口),加入线程池(以前写的一个小东西),再把log4j给弄进去,就有了最终的csComm.jar。 在这里,源码公开也没什么...
阅读全文
java生成验证码【原创】
摘要:前段时间做项目,需要验证码,就上网找了找,再修改一下,就有了下面这个VerifyCode.java: package org.ofbiz.ent;import java.awt.Color;import java.awt.Font;import java.awt.Graphics;import java.awt.image.BufferedImage;import java.io.IOExce...
阅读全文