随笔分类 -  Python

摘要:在很多分布式系统中,我们最常遇到的一个问题是,需要在服务器集群上保证多台机器之间的SSH无密钥登录。以Hadoop为例,为了方便,我们需要在master和slaves之间配置密钥登录,这样我们启动Hadoop时就不用一个个输入密码了。问题是在配置无密钥登录过程中,如果集群机器很多,我们要将master机器上产生的公钥分发给所有的slaves, 分发一次就要输入一次密码,这种超费体力的活我们何不交给计算机自己来做呢? 于是就有了这篇文章。1.准备工作集群机器信息 本次实验使用Openstack云平台来创建测试集群, 所有节点采用的配置为CPU: 1CoreMEM: 512MDisk: ... 阅读全文
posted @ 2013-11-20 19:35 AfterSummer 阅读(2018) 评论(2) 推荐(0) 编辑
摘要:本文不详细介绍如何用python连接并操作postgres数据库,只介绍如何在Python下安装postgres数据库接口,以及在安装过程中遇到的一些问题。我其中博客介绍了利用easy_install来安装mysql数据库接口。如果没有安装easy_install的童鞋,请参考博文:Ubuntu下安装easy_install 和 mysql-python。和Mysql一样,用Python连接postgres数据库也需要对应的连接库。我采用的是psycopg2,如果有童鞋不想用easy_install安装,上面已经给出了psycopg2的官方网址,里面也介绍了其他的安装方法以及详细的使用文档。下 阅读全文
posted @ 2013-05-05 16:37 AfterSummer 阅读(2366) 评论(0) 推荐(0) 编辑
摘要:前一段时间一直在研究如何用python抓取搜索引擎结果,在实现的过程中遇到了很多的问题,我把我遇到的问题都记录下来,希望以后遇到同样问题的童鞋不要再走弯路。1. 搜索引擎的选取 选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种:Google、Bing、Baidu、Yahoo!。 作为程序员,我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码,根本没我想要的搜索结果。于是我转而投向了Bing的阵营,在用过一段时间后我发现Bing返回的搜索结果对于我的问题来说不太理想。正当我要绝望时,Google拯救了我。原来Google为了照顾那些禁止浏. 阅读全文
posted @ 2013-05-01 15:45 AfterSummer 阅读(13180) 评论(15) 推荐(4) 编辑
摘要:easy_install是由PEAK(Python Enterprise Application Kit)开发的setuptools包里带的一个命令, 使用easy_install实际上是调用setuptools来完成模块的安装、更新等操作。比如数据库模块,json模块等。附上EasyInstall的官方文档地址http://peak.telecommunity.com/DevCenter/EasyInstall在Ubuntu下安装easy_install非常简单,只需使用以下命令:sudo apt-get install python-setuptools python-dev build- 阅读全文
posted @ 2012-12-04 17:27 AfterSummer 阅读(8561) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示