封起De日子

摘要： 最近在系统的学习hadoop 课程第一步是安装hadoop1.x，具体安装步骤如下： 一、系统安装 本文使用centos6.5安装，具体安装步骤省略 二、jdk安装 下载jdk1.7.0_51解压，在环境中 设置环境变量： vi /etc/profile,添加如下行： export JAVA_... 阅读全文

摘要： heritrix作为一个比较经典的开源爬虫，写这篇文章目的是因为，3.X之后的heritrix的介绍以及配置的文章比较少了。 heritrix 3.x 以后使用maven 2配置jar包引用，但是总是有好多包没法从maven库下载。所以，这里讲的环境搭建直接使用了编译好的工程来做，heritr... 阅读全文

摘要： 优化原因 环境中部署两个程序： web应用 tomcat 10G（webservice服务端，前端web服务）java应用 5G（webservice客户端，socket客户端） 之前的设计思路是打算web应用作为前端不做业务处理，后端使用webservice... 阅读全文

摘要： 由于archive.org屏蔽，编译完成版本 http://builds.archive.org/maven2/org/archive/heritrix/heritrix/3.2.0/ 无法下载。 现将dist版本放到github，方便大家下载学习 github地址如下： https:... 阅读全文

摘要： 最近花很大的经历来做性能测试，把结果整理到了ppt中，可能有个别地方不准，但是可以看看一个趋势。 主要分为两部分，一部分是写入elasticsearch性能，一部分是查询测试，elasticsearch的查询性能。 当然在elasticsearch1.3.0之后elasticsearch会提供... 阅读全文

摘要： 最近对系统进行改造，发现在泛型实例初始化的时候，得不到想要的泛型。或者需要强制转换。 spring 4 开始支持泛型对象初始化，初始化方法如下： 注：使用配置文件的方法暂时还没有发现，下面是使用java annotation的方法： package com.mitchz..toolkit.cha... 阅读全文

摘要： 近期一直在折腾着elasticsearch，需要对硬件进行评估 大概几方面 内存 cpu 硬盘 网络。 iostat vmstat top 几个命令用了一堆，其实需要关注的几个点只要都列出来就可以了 [root@cloud-15 tsar-master]# tsar -l -i 1Time... 阅读全文

摘要： 最近对负载均衡进行搭建具体方法如下：haproxy 修改部分(haproxy-cfg.cfg)global daemon maxconn 4500 defaults mode http timeout connect 5000ms time... 阅读全文

摘要： 由于定时刷新程序的启用，导致catalina.out配置文件中打入大量日志，致使程序调试困难。 无法正常查看日志。所以客户要求将性能流量配置日志迁移出catalina.out目录。修改log4j配置文件后，发现 分文件中有了日志输出，但... 阅读全文

摘要： 近期需要一个汇总统计，由于数据太多，数据量太大所以在java程序中实现比较困难。若用后台程序统计，数据不能保证实时，同时实现周期比较长。顾使用函数返回结果集的方式，在不增加临时表的情况下实时获取数据。需求为：多个端口流量每五分钟累计汇总一次。如果用程序实现则为讲所有数据取出做每五分钟统计，元数... 阅读全文