12 2011 档案
摘要：我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。构建piwik网站统计系统构建环境操作系统：centos5.4（不能连接外网）Web服务器：nginx1.0.2数据库：mysql开源软件包：piwik运行环境：PHP脚本构建步骤（1） 安装nginx1.0.2 a)下载nginx1.0.2的源代码并解压 b) 进入解压后源代码用./configure配置 c)make和make install编译安装 d)配置nginx.conf文件并运行nginx，打开网站测试：localhost：8080具体执行脚本如下：#tar ...
阅读全文
摘要：我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。我的找工作之路 对于大四的学生来说最重要的事情就是找工作了，我现在也正是大四，也正在努力找适合自己的工作.找工作能够让人体会到各种各样的滋味，毕竟这是我们开始真正踏入社会的第一次磨练。我在找工作的过程中学会了很多，感受到很多，更是明白了很多。现在就把自己找工作过程中的体会和感悟陈诉如下。 我自己真正意义上开始找工作是在大三快结束的时候。为什么说真正意义上开始找工作是在大三快结束的时候呢？那是因为我大二下学期课程对我来说比较少，而且很多都是学过的内容，所以想到外面公司去找找真实的项目
阅读全文
摘要：我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。第一章Hadoop启动Shell启动脚本分析第一节start-all.sh脚本 此脚本很简单，就是根据运行此脚本的目录进入安装hadoop目录下的bin目录，然后运行启动hdfs和mapred的启动脚本。1 bin=`dirname "$0"`2 bin=`cd "$bin"; pwd`3 . "$bin"/hadoop-config.sh4 # start dfs daemons5 "$bin"/st
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。写入日志到Scribe的解决方案1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向scribe服务器发送日志信息。由于scribe服务器是基于thrift框架实现的，并且thrift支持多种编程语言的通信，所以对于写入scribe服务器的客户端实现也可以使用多种语言，这就为把写入日志的客户端集成到各种应
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。scribe结构及源码详细分析1. 整体类关系图2. 客户端写日志序列图3. 活动及状态图Scribe活动图4. 启动代码详解启动过程流程图（1） 调用setrlimit函数设置能够打开的最大文件数为65535；（2） 调用getopt_long函数解析运行scribe所带参数信息，如-p port指定运行端口号；（3） 调用srand、time和getpid产生唯一的随机种子（不知道有什么作用）；（
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 上一篇文章介绍了一些关于scribe的基础知识，也是自己在公司内部分享的一些内容，当时公司很多同事也积极与我沟通，没想到网上也有这么多人关注，下面几篇文章继续分享一些自己研究scribe的一些成果和心得吧！ 其实我们研究一个开源的系统，第一步通常是先把它用起来，因为一个开源的系统能够出现在大家的面前肯定是比较出名和流行的，所有功能是比较出色的。所以我们必须很清楚的这些功能，而scribe最大的特点就
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 上一篇文章介绍了一些关于scribe的基础知识，也是自己在公司内部分享的一些内容，当时公司很多同事也积极与我沟通，没想到网上也有这么多人关注，下面几篇文章继续分享一些自己研究scribe的一些成果和心得吧！ 其实我们研究一个开源的系统，第一步通常是先把它用起来，因为一个开源的系统能够出现在大家的面前肯定是比较出名和流行的，所有功能是比较出色的。所以我们必须很清楚的这些功能，而scribe最大的特点就
阅读全文
摘要：我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。以下是我在公司内部分享的关于分布式日志收集系统的PPT内容，现在与大家分享，希望对于需要使用的人能够起到基本的入门作用或是了解！1.分布式日志收集系统:背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。前面有几篇文章专门介绍了空间数据的导入，导入的目的是为了统一管理。今天介绍空间数据导出，导出的格式支持和导入的格式一样，导出的目的是为了方便数据的迁移。其实导入和导出用到的技术基本上都是相同的，不过为了介绍的完整性还是单独拿出来，因为这一部分的功能也是很重要而且是必不可少的！1.首先定义一个用于操作SDE数据库的工作空间并且在构造函数中初始化（调用工具类里面提供的静态方法初始化）：1 ...
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。自从我和我的一个同学都把自己的电脑搬到实验室以后，我们两个就变成了整个实验室、乃至整个学校里面最疯狂的人，我们除了洗漱回一趟寝室以外我们所有的时间都待在实验室，当然除了上课和吃饭。当时我们的课程管得比较严，每次辅导员都会亲自到场点名，如果发现谁没有到就可能找他谈话，所以很多人虽然不想去上课，但是还是会去把时间混满。虽然我和我的那个同学基本上都是在一起学习和吃饭，但是平时交流并不是很多，造成这种原因不能
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 提前说明：我的博客文章在博客园与CSDN都是同步更新的，但是我用的GA只能监控博客园的访问，CSDN不能，是因为CSDN屏蔽了GA的脚本，应该是CSDN会自动过滤JS代码吧！这里在补充一点点现在自己正在从事的IT技术相关工作，我不喜欢谈论公司的任何事情，只是简单介绍一下自己从事哪些方面的技术，方便与同行交流和沟通！目前自己工作的内容主要三方面：云计算（hadoop生态系统相关：如hbase、hive
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 上一篇博文介绍了自己初入大学的一些情况，看了几位博友的评论，有点觉得是流水账，有的觉得是真实的叙述。其实这些评论都是非常正确和到位的，同一件事情不同的人肯定有不同的看法，而且不同的人都有自己爱好和性格。包括自己爱好的文章，有的喜欢真真切切，有的喜欢夸张或者是描述得更加丰富一些。但是我既然选择最真实最平淡的描述我的大学生活，因为真实才对别人有真实的意义，因为这个不是小说，可能看起来并不是那么给人淋漓.
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 本篇文章主要介绍本系统中的日志管理功能，由前面介绍的内容可以知道日志分为三类：分别是用户操作日志、数据表更新日志以及数据库监控日志，这些日志的写入可能遍布整个系统中的各个地方。这里提供一个统一的日志管理界面，可以对日志进行查询和删除，并没有提供修改的功能，因为日志是系统自动生成的，修改日志没有任何意义，而且还可能造成系统的漏洞，比如谁删除了数据然后把删除的日志记录修改了，就不能正确发现谁删除了数据！
阅读全文
摘要：我的独立博客网址是：http://wuyouqiang.sinaapp.com/。我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 最近在北京出差一直没有时间继续写博客，主要是晚上上网的条件不好，而且和几个同事住在一起也不太方便写博客，因为随时我们都可能聊天交流！今晚还是决定继续写一遍比较简单的博客，就是继续写ArcGIS的项目，今天主要介绍的内容就是关于空间数据完整性、格式等地检查！1.首先定义一个用于操作的SDE空间数据库的工作空间。1 public IFeatureWorkspace pWorkspaceSDE;//SDE
阅读全文
