摘要：
系统环境：Linux ubuntu 3.13.0-24-generic #46-Ubuntu SMP Thu Apr 10 19:11:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux系统中已经安装好mysql是本文的前提。第一步， 修改配置文件，/etc/mys... 阅读全文
摘要：
最近在做一个有关时空数据查询的分布式服务器的原型系统(主要是为了论文啦)，其中需要实现一个比较高效的服务器。现将近一段时间的实验和服务的大概框架记录下来，希望能对分布式服务器感兴趣的同学有所帮助。 同时，希望各位提出各种建议，这样我能够进一步的改进。代码已经放在了github上， 写的比较烂，这里就不公布链接了(嘿嘿)， 想讨论的同学请私信我~ 以下是全部记录： 在我们实现的分布式服务器中，每个节点都存有时空数据，这些节点上的时空数据利用RTree进行索引。每个节点同时保存着路由(邻居节点)信息。客户端可以向服务器端发送数据查询请求。服务器负责接收请求，并根据请求的类型进行相应的处理， ... 阅读全文
摘要：
在很多分布式系统中，我们最常遇到的一个问题是，需要在服务器集群上保证多台机器之间的SSH无密钥登录。以Hadoop为例，为了方便，我们需要在master和slaves之间配置密钥登录，这样我们启动Hadoop时就不用一个个输入密码了。问题是在配置无密钥登录过程中，如果集群机器很多，我们要将master机器上产生的公钥分发给所有的slaves, 分发一次就要输入一次密码，这种超费体力的活我们何不交给计算机自己来做呢？ 于是就有了这篇文章。1.准备工作集群机器信息 本次实验使用Openstack云平台来创建测试集群， 所有节点采用的配置为CPU: 1CoreMEM: 512MDisk: ... 阅读全文
摘要：
在学习关于C语言指针的时候，发现这样一个问题，代码如下:#include#include#includestruct A{ int a; char b;};struct B{ struct A *n;};struct B *new_B(){ struct A t = { 100, 'c'}; struct B *p; p = (struct B *) malloc(sizeof(struct B)); p->n = &t; return p;}int main(void) { struct B *p; p = new_B(); ... 阅读全文
摘要：
svn，全称subversion， 是目前用的较多的开源的版本管理工具。相信有些经历的程序员应该都听说过它。 通常的svn服务器是搭建在Linux中，不过如果作为个人或者单个小组使用的话，就可以把svn服务器搭建在Windows下。下面总结了Windows下如何搭建一个简单的svn服务器和客户端。服务器篇 目前在Windows下比较简单的svn服务器方案是使用VisualSVN Server， 下载地址:http://www.visualsvn.com/server/download/。 安装非常简单。 安装过程中有个选择组件的步骤，选择VisualSVN Server and Man... 阅读全文
摘要：
网上看到一张关于hadoop分布式文件系统(hdfs)的工作原理的图片，其实主要是介绍了向hdfs写一个文件的流程。图中的流程已经非常清晰，直接上图 好吧，博客园告诉我少于200字的文章不允许发布到网站首页，我只能巴拉巴拉多扯几句了。以前一直以为从Client端写大文件到hdfs中需要先把文件全部传到Namenode上，然后由namenode来按块切分，并分发到Datanode上去。还是too young, too simple呀，上图简单的几个图让我茅塞顿开，文件的分割由client端完成，并由client端与Namenode分配的datanodes通讯并进行数据传输，Namenode... 阅读全文
摘要：
转载:http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.html作者：杨鑫奇PS：文章有部分参考资料来自网上，并经过实践后写出，有什么问题欢迎大家联系我。update: 20130518大家可以尝试下Ambari来配置Hadoop的相关环境快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的监控功能,强烈推荐使用.http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.htmlHadoop 2.0集群配置详细教程前言Hadoop2.0介绍H 阅读全文
摘要：
在《在eclipse下编译hadoop2.0源码》一文中，我详细介绍了如何在eclipse环境和命令行环境下编译hadoop2.0源代码，并简单介绍了如何构建hadoop环境，这篇文章将着重介绍如何在eclipse下调试源代码。在hadoop2.0中，常用的模块有NameNode，DataNode, ResourceManager, NodeManager, FsShell等。这里我们以调试FsShell和NameNode模块为例。FsShell命令调试：FsShell命令是hadoop的Client端(任何hadoop集群上的节点都可以作为Client端)访问hadoop集群的最基本方式。比 阅读全文
摘要：
Hadoop是一个分布式系统基础架构，由apache基金会维护并更新。官网地址:http://hadoop.apache.org/Hadoop项目主要包括以下4个模块:Hadoop Common: 为其他Hadoop模块提供基础设施。Hadoop HDFS:一个高高靠、高吞吐量的分布式文件系统。Hadoop MapReduce: 一个分布式的计算框架，包括任务调度和集群资源管理。Hadoop YARN: 一个新的MapReduce框架。有兴趣的同学请参考:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/由于项目 阅读全文
摘要：
本文不详细介绍如何用python连接并操作postgres数据库，只介绍如何在Python下安装postgres数据库接口，以及在安装过程中遇到的一些问题。我其中博客介绍了利用easy_install来安装mysql数据库接口。如果没有安装easy_install的童鞋，请参考博文:Ubuntu下安装easy_install 和 mysql-python。和Mysql一样，用Python连接postgres数据库也需要对应的连接库。我采用的是psycopg2，如果有童鞋不想用easy_install安装，上面已经给出了psycopg2的官方网址，里面也介绍了其他的安装方法以及详细的使用文档。下 阅读全文