摘要： 一、inode是什么？ 理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种... 阅读全文

摘要： 1. 问题 今天为storm程序添加了一个计算bolt，上线后正常，结果发现之前的另一个bolt在将中文插入到hbase中后查询出来乱码。其中字符串是以UTF-8编码的url加密串，然后我使用的URLDecoder.decode(str, "UTF-8")解码，最后插入到hbase中。2. 排查（... 阅读全文

摘要： 一、什么是安全模式 hadoop安全模式是name node的一种状态，处于该状态时有种量特性： 1.namenode不接受任何对hfds文件系统的改变操作（即此时整个文件系统处于只读状态）； 2.不执行block的replica和delete动作。二、安全模式的原理 安全模式实在n... 阅读全文

摘要： 今天有朋友去面试，被问到一个“如何扫描局域网IP”的问题（即找出局域网中当前已使用的IP），朋友回答的不好，回来问我，我首先想到的就是使用ping命令将局域网可分配的IP地址逐个遍历一遍，能ping通的就是已使用的。那么基于思路，实现代码也没啥太难的，以java语言来实现。linux下的代码：pub... 阅读全文

摘要： 一）64位系统和32位有什么区别？1、64bit CPU拥有更大的寻址能力，最大支持到16GB内存，而32bit只支持4G内存2、64位CPU一次可提取64位数据，比32位提高了一倍，理论上性能会提升1倍。但这是建立在64bit操作系统，64bit软件的基础上的。什么是64位处理器？之所以叫做“64... 阅读全文

摘要： storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例，来进行剖析：pu... 阅读全文

摘要： storm的配置项，可以从backtype/storm/Config.java中找到所有配置项及其描述 阅读全文

摘要： 一、引言 对于没有接触过Unix/Linux操作系统的人来说，fork是最难理解的概念之一：它执行一次却返回两个值。fork函数是Unix系统最杰出的成就之一，它是七十年代UNIX早期的开发者经过长期在理论和实践上的艰苦探索后取得的成果，一方面，它使操作系统在进程管理上付出了最小的代价，另一方面，... 阅读全文

摘要： 今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm，现在将剖析过程整理一下，作为记录。注：使用的storm版本为0.8.0。${STORM_HOME}/bin/storm文件是用python写的，该文件写的还是相当精简和清晰的。首先，命令的运行从main()方法开始，m... 阅读全文

摘要： 1. 将日期格式转为时间戳获取当前时间：currenttime=`date "+%Y-%m-%d %H:%M:%S"` 结果：2015-04-13 11:15:43将当前时间转为时间戳：timestamp=`date -d "$curtime" +%s` 结果：1428894966　2. 将时间戳转... 阅读全文