liuming_1992

摘要： 最近没什么事儿做，刚好看到有需要网络编程的知识，java中有NIO和IO两种不同的方式，但是NIO的编写比较麻烦，刚好找到一个成熟的网络框架Netty。接下来的一个月就准备将Netty IN ACTION这本书翻译下，同时跑跑这本书上的代码。 Netty官网:http://netty.io/　... 阅读全文

摘要： 在Hadoop的MR程序开发中，经常需要统计一些map/reduce的运行状态信息，这个时候我们可以通过自定义Counter来实现，这个实现的方式是不是通过配置信息完成的，而是通过代码运行时检查完成的。 1、创建一个自己的Counter枚举类。enum PROCESS_COUNTER { ... 阅读全文

摘要： TaskTracker节点向JobTracker汇报当前节点的运行时信息时候，是将运行状态信息同心跳报告一起发送给JobTracker的，主要包括TaskTracker的基本信息、节点资源使用信息、各任务状态等。所以信息被序列化为TaskTrackerStatus实例对象。每次发送心跳报告的时候，... 阅读全文

摘要： 在TaskTracker中对象healthStatus保存了当前节点的健康状况，对应的类是org.apache.hadoop.mapred.TaskTrackerStatus.TaskTrackerHealthStatus。定义如下：static class TaskTrackerHealthS... 阅读全文

摘要： 刚刚在项目中遇到mysql数据库连接不够的问题，查了一点资料，记录下。异常信息主要为：Data source rejected establishment of connection, message from server: "Too many connections"。可以明显的看到由于mysq... 阅读全文

摘要： ApacheFlume是一个分布式的、可靠的、高效的系统，可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的，flume可以使用传输大量的自定义event数据，包括但不限于网站流量信息、社会媒体信息、email信息以及... 阅读全文

摘要： 在美眉图片下载demo中，我们可以看到多个线程在公用一些变量，这个时候难免会发生冲突。冲突并不可怕，可怕的是当多线程的情况下，你没法控制冲突。按照我的理解在java中实现同步的方式分为三种，分别是：同步代码块机制，锁机制，信号量机制。一、同步代码块 在java的多线程并发开发过程中，我们最常用... 阅读全文

摘要： 负载是一个很大的话题，也是一个非常重要的话题。不管是在大的互联网软件中，还是在一般的小型软件，都对负载有一定的要求，负载过高会导致服务器压力过大；负载过低又比较浪费服务器资源，而且当高请求的时候还可能出现低效率的问题。多线程就是一种提高服务效率的方式。面对海量的用户请求，单线程肯定扛不住，那么多... 阅读全文

摘要： 在Hadoop1.x版本中，MapReduce采用master/salve架构，TaskTracker就是这个架构中的slave部分。TaskTracker以服务组件的形式存在，负责任务的执行和任务状态的汇报。TaskTracker是hadoop集群中运行在各个节点上的服务。扮演着“通信交通”的... 阅读全文

摘要： IKAnalyzer分词是一个开源的，基于java语言开发的轻量级的中文分词工具包。IKAnalyzer采用“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种模式。支持用户字典扩展定义，不过对中英文混合词的分割没有特别好的支持。1、下载IKAnalyzer中文分词器http://ik-analy... 阅读全文