Tao's Blog

摘要： Google文件系统（Google File System，GFS）是构建在廉价的服务器之上的大型分布式系统。它将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大减少了系统的成本。GFS是Google云存储的基石，其它存储系统，如Google Bigtable，Google Megastore，Google Percolator均直接或者间接地构建在GFS之上。另外，Google大规模批处理系统MapReduce也需要利用GFS作为海量数据的输入输出。系统架构GFS将整个系统的节点分为三种角色：GFS Master（总控服务器），GFS Chunkserve 阅读全文

摘要： 前段时间看到brendangregg的Linux Performance Analysis and ToolsPPT里面提到Linux常用性能调优工具, 见下图：其中提到了的工具，大部分在我日常工具箱里或者在实践的案例里面使用过, 都有很高的价值，这里方便大家索引下：nicstat: 参见这里oprofile: 参见这里perf: 参见这里systemtap: 参见这里iotop: 参见这里blktrace: 参见这里dstat: 参见这里strace: 参见这里top: 参见这里pidstat: 参见这里vmstat: 参见这里slabtop: 参见这里tcpdump: 参见这里free: 阅读全文

摘要： 一、lucene,solr,nutch,hadoop的区别和联系apache lucene是apache下一个著名的开源搜索引擎内核，基于Java技术，处理索引，拼写检查，点击高亮和其他分析，分词等技术。nutch和solr原来都是lucene下的子项目。但后来nutch独立成为独立项目。nutch是2004年由俄勒冈州立大学开源实验室模仿google搜索引擎创立的开源搜索引擎，后归于apache旗下。nutch主要完成抓取，提取内容等工作。solr则是基于lucene的搜索界面。提供XML/HTTP 和 JSON/Python/Ruby API，提供搜索入口，点击高亮，缓存，备份和管理界面。 阅读全文

摘要： 1. Maven介绍1.1. 简介java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。1.2. Maven资源见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Cookbook，官方的cookbook；POM Reference，POM文件的设置参考Settings Reference，settings文件的设置参考Better Builds with Maven，免费的电子书，下载需要注册。1.3. Maven和Ant的 阅读全文

摘要： 1、Hama概论 ·建立在Hadoop上的分布式并行计算模型。 ·基于 Map/Reduce 和 Bulk Synchronous 的实现框架。 ·运行环境需要关联 Zookeeper、HBase、HDFS 组件。 ·集群环境中的系统架构由 BSPMaster/GroomServer(Computation Engine)、Zookeeper(Distributed Locking)、HDFS/HBase(Storage Systems)这3大块组成。如图所示： ·Hama中有2个主要的模型: – 矩阵计算(Matrix package) – 阅读全文

摘要： SHOW PROCESSLIST显示哪些线程正在运行。您也可以使用mysqladmin processlist语句得到此信息。如果您有SUPER权限，您可以看到所有线程。否则，您只能看到您自己的线程（也就是，与您正在使用的MySQL账户相关的线程）。请参见13.5.5.3节，“KILL语法”。如果您不使用FULL关键词，则只显示每个查询的前100个字符。本语句报告TCP/IP连接的主机名称（采用host_name:client_port格式），以方便地判定哪个客户端正在做什么。如果您得到“too many connections”错误信息，并且想要了解正在发生的情况，本语句是非常有用的。MyS 阅读全文

摘要： 文件结构是文件存放在磁盘等存贮设备上的组织方法。主要体现在对文件和目录的组织上。目录提供了管理文件的一个方便而有效的途径。 linux使用标准的目录结构，在安装的时候，安装程序就已经为用户创建了文件系统和完整而固定的目录组成形式，并指定了每个目录的作用和其中的文件类型。 linux采用的是树型结构。最上层是根目录，其他的所有目录都是从根目录出发而生成的。微软的DOS和windows也是采用树型结构，但是在DOS 和windows中这样的树型结构的根是磁盘分区的盘符，有几个分区就有几个树型结构，他们之间的关系是并列的。但是在linux中，无论操作系统管理几个磁盘分区，这样的目录树只有一个。... 阅读全文

摘要： Comparable & Comparator 都是用来实现集合中元素的比较、排序的，只是 Comparable 是在集合内部定义的方法实现的排序，Comparator 是在集合外部实现的排序，所以，如想实现排序，就需要在集合外定义 Comparator 接口的方法或在集合内实现 Comparable 接口的方法。Comparator位于包java.util下，而Comparable位于包 java.lang下Comparable 是一个对象本身就已经支持自比较所需要实现的接口（如 String、Integer 自己就可以完成比较大小操作，已经实现了Comparable接口） 自定义的 阅读全文

摘要： 几种常见的编码格式为什么要编码不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号 的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次 翻译，把它翻译成英语。这个翻译的过程就是编码。所以可以想象只要不是说英语的国家要能够使用计算机就必须要经过编码。这看起来有些霸道，但是这就是现 状，这也和我 阅读全文

摘要： Right now I feel - just like a leaf on a breeze 此刻我感觉就像是微风中的一片落叶Who knows where it's blowin' 谁知道它将被吹向何方Who knows where it's goin' 谁知道它将去向何方I find myself somewhere I - I never thought I'd be Going round in circles我发现我迷失了方向我从未曾想过我会毫无目的四处狂奔Thinking about you and me 想着你我之间的种种How do I 阅读全文