摘要：
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基... 阅读全文
摘要：
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些... 阅读全文
摘要：
一、运行环境CPU： Intel(R) Pentium(R) P6200@2.13GHz ；内存：4G，装的是32位win7，只认出3G，没有花时间去整ramdisk之类的东西；操作系统：win7 32位；JDK：1.7.0_55Tomcat：7.0.53大家不要笑，公司电脑，就给配这样的，慢的要死... 阅读全文
摘要：
lion.ec开源框架主要功能有移动、传统电商、数据分析、工作流、库存、订单、支付、运行、移动交易、客户等功能；代码方式开源：代号：lionIDE：JDK7.0,Eclipse,Maven3.x主要采用框架技术：Spring+Hibernate4.0+JPA2.0+Freemaker+jquery+... 阅读全文
摘要：
pinyin4j是一个支持将简体和繁体中文转换到成拼音的Java开源类库，作者是Li Min (xmlerlimin@gmail.com)。以下是一些具体的介绍和使用方式。1.pinyin4j的官方下载地址http://sourceforge.net/projects/pinyin4j/files/... 阅读全文
摘要：
有时，一个空间中有很多项目，但是这其中有的是我们不需要的，这时我们不想让工作空间显示很多项目。于是，我们可以采用下面的办法，对工作空间中的项目进行分组。对工作空间中的项目进行分组的方法：1.打开设置分组的菜单（注意，这里是Navigator）。2.创建分组。3.创建分组之后，在上面左面的窗口中便会有... 阅读全文
摘要：
前不久在网络上看见一个很不错的jQuery的DataTable表格插件。后来发现在MVC中使用该插件的文章并不多。本文将介绍在MVC3.0如何使用该插件。在介绍该插件之前先简单介绍一下，推荐该插件的原因。在项目中我使用jqgrid比较多。但是发现当进行样式调整时jqgrid的样式常常会让美工头疼。而... 阅读全文
摘要：
Venus 是一个简单的、高性能、高并发能力的java 开源Remoting框架wiki地址：http://wiki.hexnova.com/display/Venus/HOME性能测试：http://wiki.hexnova.com/pages/viewpage.action?pageId=150... 阅读全文
摘要：
一、性能测试支付宝场景介绍2013年双11过程当中，促销开启的第一分钟内支付宝的交易总额就突破了一亿元，短时间内大量用户涌入的情况下，如何保证用户的支付顺畅，是对支付宝应用系统的一个极大的挑战。支付宝的性能测试场景分为性能基线测试，项目性能测试。任意一笔交易过来，我们都需要对交易进行风险扫描，对于有... 阅读全文
摘要：
DataTorrent是一个实时的流式处理和分析平台，它每秒可以处理超过10亿个实时事件。与Twitter平均每秒大约6000条微博相比，最近发布的DataTorrent 1.0似乎已经超出了需求，它每秒可以处理超过10亿个实时事件。他们在一个包含37个节点的集群上进行了测试，每个节点256GB内存... 阅读全文
摘要：
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储 了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Name... 阅读全文
摘要：
目录 1 环境准备... 4 1.1 硬件配置... 4 1.2 软件... 4 1.3 网络拓扑结构... 4 1.4 系统分区... 5 1.5 虚拟机配置... 5 1.6 SSH免密码登录... 5 1.7 JDK安装... 7 2 Hadoop1.2.1安装及配置... 8 2.1 下载Hadoop安装介质... 8 2.2 解压Hadoop安装介... 阅读全文
摘要：
由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop... 阅读全文
摘要：
目前，为了使web能适应大规模的访问,需要实现应用的集群部署. 而实现集群部署首先要解决session的统一，即需要实现session的共享机制。目前，在集群系统下实现session统一的有如下几种方案：(1) 应用服务器间的session复制共享（如tomcat session共享）(2) 基于c... 阅读全文
摘要：
一、摘要Oracle PLSQL性能诊断是经常会遇到问题，所以Oracle提供了比较多的程式诊断工具，其中包括了dbms_profiler包DBMS_PROFILER中会用到一些基本构建如下在调用程式前DBMS_PROFILER.START_PROFILER，启动对该程式监控在调用程式后DBMS_P... 阅读全文
摘要：
IT168技术】Gizzard是Twitter在11年4月份新推出的一个通用数据切分中间件，在Twitter的架构中占用重要的作用。 从图中看到Gizzard主要用于在MYSQL之上，作用是实现数据切分。但目前据说 Gizzard最主要的作用在用于在memcache和redis上。众所周知，mem... 阅读全文
摘要：
Naresh Kumar是位软件工程师与热情的博主，对于编程与新事物拥有极大的兴趣，非常乐于与其他开发者和程序员分享技术上的研究成果。近日，Naresh撰文谈到了12款知名的免费、开源NoSQL数据库，并对这些数据库的特点进行了分析。现在，NoSQL数据库变得越来越流行，我在这里总结出了一些非常棒的... 阅读全文
摘要：
1. 背景1.1. 惊人的性能数据最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。事实上，我对这个数据... 阅读全文
摘要：
Storm中用到的技术分析 阅读全文
摘要：
Spring 3.0.5的，更细颗粒化的缓存设置，更方便的注解，可以具体到把每个方式的返回值做缓存，需要 ehcache-spring-annotations-1.1.x。下载地址是：http://code.google.com/p/ehcache-spring-annotations首先，appl... 阅读全文
摘要：
缓存简介缓存，我的理解是：让数据更接近于使用者；工作机制是：先从缓存中读取数据，如果没有再从慢速设备上读取实际数据（数据也会存入缓存）；缓存什么：那些经常读取且不经常修改的数据/那些昂贵（CPU/IO）的且对于相同的请求有相同的计算结果的数据。如CPU--L1/L2--内存--磁盘就是一个典型的例子... 阅读全文
摘要：
memcached是一款非常优秀的分布式缓存工具，有效提升了按主键检索数据的性能问题。而simple-spring-memcached组件通过与spring框架整合，让memcached的调用变得更加简单。simple-spring-memcached本质上是采用了AOP的方式来实现缓存的调用和管理... 阅读全文
摘要：
通过spring 拦截，实现颗粒度比较细，容易控制的缓存。了解了下，spring 3.0 以后，应该从3.1 以后吧，注解方式的缓存就已经实现，下面是我自己做的例子，分享给大家：例子内容介绍：1.没用数据库，用的集合里面的数据，也就没事务之类的，完成的一个CRUD操作2.主要测试内容，包括第一次查询... 阅读全文
摘要：
a. 在hadoop解压目录下，找到src\contrib\eclipse-plugin\build.xml，增加如下几行： b. 在build.xml增加如下：c. 在build.xml，修改如下：d. 找到src\contrib\build-contrib.... 阅读全文
摘要：
Hibernate4的改动较大只有spring3.1以上版本能够支持，Spring3.1取消了HibernateTemplate，因为Hibernate4的事务管理已经很好了，不用Spring再扩展了。这里简单介绍了hibernate4相对于hibernate3配置时出现的错误，只列举了问题和解决方... 阅读全文
摘要：
本文主要通过介绍Node.js的商业效益来一一展示Node.js盛行的原因 阅读全文
摘要：
Google File System中文版Google Bigtable中文版Google MapReduce中文版 阅读全文
摘要：
1 Hadoop简介1.1 Hadoop简介Hadoop——轻松应对海量数据存储与分析所带来的挑战。（来自Hadoop权威指南）百度百科对Hadoop介绍：http://baike.baidu.com/view/908354.htm?fr=aladdin维基百科对Hadoop介绍：http://zh... 阅读全文
摘要：
导读：Kristóf Kovács 是一位软件架构师和咨询顾问，他最近发布了一片对比各种类型nosql数据库的文章。文章由敏捷翻译 –唐尤华编译。如需转载，请参见文后声明。虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能... 阅读全文
摘要：
几年前，Java将死的话题被传得沸沸扬扬，特别是在甲骨文公司收购SUN公司后，几乎全世界的Java程序员都皱起了眉头。但随着Google Android平台的崛起以及大数据时代的来临，Java似乎又重新焕发了光芒。2014年1月份，CSDN携手《程序员》杂志发起了“2013年中国软件开发者薪资大调查... 阅读全文
摘要：
Hadoop Studio 是一个 map-reduce 结构的集成开发环境，基于NetBeans。你可以利用它来方便快速的创建基于Hadoop的 map-reduce 应用。该工具提供了一个实时的map-reduce任务的工作流视图，可以显示任务之间独立的输入输出和交互，而且该视图在代码修改时会实... 阅读全文
摘要：
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考：http://bl... 阅读全文
摘要：
Hadoop简介Hadoop 运行环境准备运行环境部署结构介绍Linux CentOS6.5安装（Hadoop环境配置）Linux 常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse Plugin... 阅读全文
摘要：
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr,... 阅读全文
摘要：
A机器ssh登录B机器无需输入密码；当应用有服务器很多的时候输入密码很浪费时间 在Hadoop安装时要求免密码登录；一、创建在用户的home目录下创建 .ssh文件夹mkdir .ssh可以隐藏文件夹或文件内容ls -a二、 生成证书证书分为：dsa和rsassh-keygen -t rsa -P ... 阅读全文
摘要：
今天开通博客园，以前用过东西没有记，还得重新研究半天才能用继续；为了让自己少走一点曲线以后坚持多写一点博客；同时也是分享给程序爱好者； 阅读全文