摘要: 简介 Hadoop 是一个能够处理海量数据的分布式系统基础软件框架,理论上能够通过增加计算节点以处理无限增长的数据,由java写成。其作者是 Doug Cutting,得益于谷歌的Map/Reduce计算模型和GFS分布式文件系统,Hadoop实现了其核心组件HDFS和MapReducce。Hado 阅读全文
posted @ 2018-10-11 19:02 丁耀庭 阅读(303) 评论(0) 推荐(0) 编辑
摘要: Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包,心跳包中包含Datanode的校验等信息,用来监控Datanode。HDFS将数据分为块,默认为64M每个块信息按照配置的参 阅读全文
posted @ 2018-10-10 11:25 丁耀庭 阅读(854) 评论(0) 推荐(0) 编辑
摘要: 在旧服务器上 使用的是python 2.7.6,但是pip 有很多库是2.7.6不支持的(pip支持的某些库要在2.7.9以上),所以,新服务器上安装python2 最新版本2.7.15 先看一下系统自带的python 版本 python version 我们这个系统是2.6.6版本 所以我们要安装 阅读全文
posted @ 2018-10-09 13:54 丁耀庭 阅读(2109) 评论(0) 推荐(0) 编辑
摘要: 前言: 做一个项目不是 提交代码就算完成,持续集成的策略也很重要,持续集成的工具很多,这里就用最流行的jenkins 来说吧 jenkins 是开源软件,java写的 因此先要保证环境中 有java 运行环境 yum install y java 然后将它jenkins repo 放在yum源里 w 阅读全文
posted @ 2018-09-26 12:01 丁耀庭 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 环境 BerkeleyDB版本:6.2.32 。 操作系统:CentOS Linux release 7.3.1611。 下载BerkeleyDB,上传到待安装的服务器上。 解压缩软件 tar zxvf db 6.2.32.tar.gz 编译软件 进入解压后的文件夹中 cd db 6.2.32 运行 阅读全文
posted @ 2018-09-21 01:00 丁耀庭 阅读(1759) 评论(0) 推荐(0) 编辑
摘要: 环境 openldap版本:2.4.44 。 点击下载 服务器版本:CentOS Linux release 7.3.1611 BerkeleyDB:openldap使用BerkeleyDB存储数据,安装openldap前先安装该数据库。 下载openldap 下载地址 http://www.ope 阅读全文
posted @ 2018-09-21 01:00 丁耀庭 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Supervisor Supervisor是一个Python开发的client/server系统,可以管理和监控*nix上面的进程。不过同daemontools一样,它也不能监控daemon进程 部件组成 Supervisor有不同的部件组成,部件分别负责不同的功能,对进程进行监控和管理。 Supe 阅读全文
posted @ 2018-09-21 00:59 丁耀庭 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 前言:在我们程序员做项目的时候,大多是多人完成一个项目,要处理好规范文档, 是很重要的,在我们规定git 提交规范的时候,各个团队和各人都有不同的准则或是考量,摸索出适合自己的一套很有必要,也许这个规范可能会伴你一生。就如我刚开始写代码的时候,我的师傅就对我的代码规范很严格,而我也一直遵循着他的规范 阅读全文
posted @ 2018-09-21 00:59 丁耀庭 阅读(729) 评论(0) 推荐(0) 编辑
摘要: 1、wget https://packages.erlang solutions.com/erlang solutions 1.0 1.noarch.rpm 2、rpm Uvh erlang solutions 1.0 1.noarch.rpm 3、yum install epel release 阅读全文
posted @ 2018-09-21 00:21 丁耀庭 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一个管理维护satis仓库的web 管理平台 composer composer create project playbloom/satisfy stability=dev satis.json 配置 在Project Root目录新建 satis.json 配置satis.json 内容: { 阅读全文
posted @ 2018-09-21 00:20 丁耀庭 阅读(352) 评论(0) 推荐(0) 编辑