15个私有云上的DevOps 开源工具
本文由来:之前工作需要,在查找运维自动化资料时,发现了这篇文章的英文原版,觉得很不错。它综合的介绍了哪些工具,我们运维人员需要掌握,并且如何进行结合其它工具一起使用。给了一些指导性的意见。由于是英文的,于是便有了想翻译成中文的想法。分享给需要的同学们。结合着谷歌翻译大法,于是便有了这篇文章。如文中哪里翻译有误,还请大家指出哈,我会及时进行修正的。😅😅
以下是正文,此处应有分隔线...
在可维护性,可靠性,效率和安全性方面,DevOps为私有云在改进操作流程方面发挥着重要的作用。私有云是一个由许多硬件和软件组件组成的复杂系统。对于任何支持的企业组织,操作流程的自动化和文档记录,规划变更和跟踪应用的更新都是强制性的要求。
同样的方法也适用于云计算的工作负载量。此外DevOps的实践也成为开发者和QA团队事实上的标准,特别是当使用私有云作为开发或目标平台时。当然,并不是所有的云操作方面都可以用DevOps来实践。例如,许多硬件相关的操作不匹配--你不能用一个软件工具,去物理的连接服务器上的硬件开关(?本人注:服务器的IPMI是可以做到远程控制呀。)--但即使在这种情况下,你仍可使用DevOps工具和实践来验证连通性和记录网络配置过程。也为不断增长的软件定义网络(SDN)的需求提供了一个机会,让DevOps在新的领域得以发展。
我们将回顾私有云几种类别上的15个DevOps 工具
在这篇文章中,我们将在几个类别中讨论15个针对私有云的DevOps工具。这几些工具类别的分选主要是人为合成的,在由工具提供的功能之间没有严格的边界,并且在某些情况下,这里所提到的工具可以做更多范畴假设。最后,这里的一些工具没有根据具体的规则去分类,所以如果我们忘记了你认为应该包括的工具,只需给我们发个消息,我们将会讨论这个工具,并在下一次综述时将其纳入其中。
注1:本文属于作者原创翻译,转载还请注明出处以及地址。飞走不可:http://www.cnblogs.com/hanyifeng/p/6022560.html
DevOps Tools
配置管理工具(Configuration management tools)
配置管理工具自动完成日常操作,系统管理任务,当建立复杂的系统时,最大限度地减少人为错误。配置管理工具允许你定义的配置作为代码。(“Infrastructure as a code” 的方式)。它可以让你追踪配置基线之间的变化(又称为配置版本控制),有效的应用它们并在必要时进行回滚更改操作。此外操作流程,如部署或发布管理可以记录并验证。
使用案例:私有云初始化部署和配置,将更改应用到私有云,应用具体的部署和配置。
Chef
Chef 的配置文件使用领域专用语言(DSL)的“配方”(以.rb 为文件扩展名)。多个配方也可以整合到一个菜谱(cookbook)中。该配方定义了资源及其状态,例如:应该安装的软件包,该文件应存在,服务应该运行,等等。Chef验证所有定义的资源是否应具有指定的状态,如果必要,任何资源的实际状态如果与指定的状态不同,那么则应用更改。这允许你写幂等的配方,意味着你可以多次应用相同的配方,如果所有定义的资源都具有指定的状态,那么Chef 将不会更改任何内容。Chef可以在 服务器/客户端 模式中使用,也可在独立的模式下运行。在任何情况下,Chef 应安装要配置的节点或VM上。
Chef 客户端是用Ruby语言编写的,Chef 服务器是用Ruby 和Erlang语言编写的。许可:2.7版本以后的使用 Apache License,之前版本使用 GNU General Public License。
Chef 菜谱的示例:
include_recipe "apt" package 'nginx' do action :install end service 'nginx' do action [ :enable, :start ] end
Puppet
Puppet 的配置文件使用特殊的领域专用语言,它们被称为Puppet 清单(以.pp 为文件扩展名)。Puppet 可以使用独立的模式或者 服务器/客户端 模式。Puppet 客户端(agent)应该安装要配置的每个节点或VM上。Puppet客户端 通过一个名为Facter的工具收集Puppet服务器上的配置更改要求,并生成特定与服务器的目录,其应用的配置更改都会记录下来。
Puppet 可以用来配置 类unix系统或 Windows节点/虚拟机。
Puppet 是用Ruby 语言编写。许可:Apache License.
Puppet 清单 的示例:
service { 'nginx': ensure => running, enable => true, }
Ansible
Absible 使用 模块(Modules)来定义配置任务。模块可以用标准脚本语言(Python,Bash,Ruby,等等)编写,这是一个很好的做法,使每个模块幂等。Ansible剧本(YAML语言编写)角色映射到 节点/虚拟机上,以对这些节点/虚拟机 进行编排有序的执行。Ansible支持ad-hoc任务:管理任务(不必幂等)以在多个节点/虚拟机上执行。Ansible具有无代理架构:你不需要在配置的节点/虚拟机上安装Ansible(然而,这些节点必须安装python环境),Ansible 通过SSH或者通过PowerShell(Windows机器)从单个控制机器上配置管理节点/虚拟机,并且能够支持并行配置多个节点。Ansible 可以用来配置 类unix系统或 Windows节点/虚拟机。
Ansible 使用Python 语言编写。许可:GNU General Public License.
Ansible playbook 示例:
- name: Install nginx yum: name=nginx state=present - name: restart nginx service: name=nginx state=restarted enabled=yes
Salt
Salt(又叫SaltStack)同时支持服务器/客户端 和无代理模式。在后一种情况下,Salt 使用SSH连接到受管理的节点/虚拟机。Salt 使用以Python编写的执行模块,其中包含函数以定义配置任务。另外 Salt 支持ad-hoc 命令。Salt 状态文件(以.sls 为文件扩展名)以YAML格式定义幂等任务。
Salt 使用Python 语言编写。许可:Apache License.
Salt 状态描述文件示例:
nginx:
pkg.installed
裸机配置工具(Bare-metal provisioning tools)
裸机配置工具从中心服务器基于网络的操作系统自动安装。
使用案例:在私有云的初始部署期间提供新的裸机,增加新的裸机服务器,裸机配置作为私有云的服务。
Cobbler
Cobbler使用 DHCP服务器来处理引导服务器并将其引导到TFTP服务器,在那里它可以下载作为PXE引导文件和带有操作系统的可引导映像。然后 Cobbler使用Linux的 Kickstart(用于基于Red Hat的操作系统)或Pressed(用于基于Debian的操作系统)安装方法进行无人值守的操作系统安装和配置。由配置文件来自定义要配置的系统,Cobbler支持多个配置文件。一旦节点被配置,Cobbler应确保该节点被引导到预配置的操作系统而不是PXE。Cobbler包含 命令行客户端和Web客户端。
Cobbler 使用Python语言编写。许可:GNU General Public License.
Ironic
Ironic 是一个OpenStack项目,它使用PXE配置裸机服务器和 IPMI以打开/关闭机器。Ironic 包含Ansible Playbooks(bifrost项目),以独立模式安装和运行Ironic,无需其它OpenStack 组件。Ironic还包含命令行客户端和Web客户端。
Ironic 使用Python 语言编写。License: GNU Affero General Public License
编排工具(Orchestration tools)
编排作为配置工具的元级。
使用方案:初始化部署和配置私有云,自动扩展。
MCollective
MCollective 是构建服务器编排和并行工作执行系统的框架,而不是一个工具。MCollective 支持分散库存和自动发现。MCollective 服务端 应安装在 被管理节点/虚拟机,而MCollective 客户端应安装在控制机上。MCollective使用代理插件来扩展其功能。MCollective 服务器和客户端不直接通信,而是在发布/订阅模式中使用中间件系统(通常是RabbitMQ)。这允许MCollective客户端向 MCollective 服务器发送广播请求,也支持直接请求/回复。
MCollective 使用Ruby语言编写. 许可: Apache License
Juju
Juju允许你将复杂的应用程序部署到多个云平台和裸机服务器上。Juju使用charms来定义代理的行为,charm hooks是要执行的实际任务(如:安装软件,启动或停止服务等)。Charms 还定义了与其它charms 的关系。Charm hooks 可以用任何语言来实现。还有配置管理工具,如Ansible,Chef,Puppet 可以在hook里面做服务器配置管理。Charm bundle 允许你将一组charms,它们的属性和关系导出到YAML文件中。然后,这个 bundle可以导入到另一个Juju环境中,以准确的部署已部署的应用程序。Juju包含 命令行客户端和web客户端。
Juju 使用Go语言编写。许可:GNU Affero General Public License, GNU Lesser General Public License
Apache Brooklyn
Apache Brooklyn 允许你使用基于策略的自动化来建模,监控和管理应用程序。对于建模,Apache Brooklyn 使用蓝图(blueprint)的概念,它根据组件、配置、关系和部署场景来定义应用程序。蓝图使用YAML文件编写。Apache Brooklyn支持许多应用程序,开箱即用。并具有Web UI来部署,监视和管理应用程序。此外,Apache Brooklyn支持许多位置部署,包括云平台和现有节点。相同的蓝图可以用于将应用程序部署到不同的位置。Policies 根据应用程序传感器的读数定义对应用程序的无人值守更改。
Apache Brooklyn 使用Java, Javascript, Groovy语言编写. 许可: Apache License.
Cloudify
Cloudify 允许你在YAML文件中定义应用程序配置、服务和依赖关系。这样的文件称为蓝图.Cloudify 采用蓝图作为输入,可以部署和管理应用程序。Cloudify 支持多种云计算平台和虚拟化环境。蓝图还定义了应用程序的生命周期。对于应用程序部署阶段,Cloudify支持配置管理工具,如Chef和Puppet。
Cloudify 使用Python 语言编写。许可:Apache License
注1:本文属于作者原创翻译,转载还请注明出处以及地址。飞走不可:http://www.cnblogs.com/hanyifeng/p/6022560.html
Docker Machine
Docker Machine 是一个工具,它允许你在提供的节点上安装Docker(见下文),之后可以远程的管理这样的节点。
Docker Machine 使用Go语言编写。许可:Apache License.
持续集成工具 (Continuous integration tools)
使用案例:从开发到生产,在内部云开发、安装和应用程序运行的统一平台
Jenkins
Jenkins 是一个具有许多插件的自动化服务器。用于构建,测试和自动化部署应用程序。通常Jenkins用作软件开发的CI/CD工具。Jenkins 的作业(构建)可以由各种触发器启动。例如提交代码到版本控制系统,按计划事件,通过访问特定URL构建或者在完成其它构建之后进行触发。
Jenkins 使用Java 语言编写. 许可: MIT License.
Docker
Docker 允许你将具有所有依赖关系的应用程序软件打包到容器中,这可以很轻松的部署在基于Linux的平台上。在非Linux 平台上Docker使用一个虚拟机来运行容器。
Docker 使用Go 语言编写。 许可:Apache License 2.0
监控和日志记录(Monitoring and logging)
使用案例:从私有云服务和应用程序整合日志,监控分布式服务和应用程序。
Zabbix
Zabbix是一个为应用服务,网络服务和硬件监控提供的解决方案。Zabbix 将收集的数据存储在关系数据库中,如MySQL,PostgreSQL等。Zabbix 允许你监控简单的服务,如HTTP服务。Zabbix agent端可以安装在Windows和 类Unix服务器上,用来检视系统参数,如CPU 负载,内存和磁盘利用率等。另外,agent可用于监视标准服务和自定义应用程序。Zabbix也支持通过SNMP、SSH等方式,无需在要监视的服务器上安装代理。
Zabbix 使用C, PHP,Java 语言编写. 许可: GNU General Public License version 2.
Elasticsearch, Logstash, Kibana (ELK)
ELK 是Elasticsearch,Logstash,Kibana软件的组合,它是用于记录,日志分析,日志搜索和可视化的完整工具。Elasticsearch是基于Apache Lucene的搜索工具。Logstash是用于收集,解析和存储日志的工具,可以通过Elasticsearch对其进行索引。Logstash 支持许多数据源,解析器和过滤器。Logstash通常与Lumberjack(一种工具)结合使用。该工具提供其 syslog实现,并可将本地日志事件转发到Logstash中。当通过网络发送日志时,Lumberjack使用SSL对日志进行加密。Logstash 和Elastcsearch都支持 HA配置,没有单点故障,以确保所有日志都存储在远程。Kibana 是Elasticsearch的可视化插件。
Elasticsearch, Logstash 使用Java 编写. Kibana 使用JavaScript 编写. Lumberjack 使用C语言编写. License: Apache License 2.0
DevOps是一个不断增长的文化,许多组织企业正在采取。将传统IT和开发人员紧密结合在一起,为企业提供敏捷,快速响应的环境。由于许多工具来支持这些努力,以Devops为IT中心的转变,正变得更不复杂和更有益。
注1:本文属于作者原创翻译,转载还请注明出处以及本文链接地址。飞走不可:http://www.cnblogs.com/hanyifeng/p/6022560.html
注2:英文原文链接:http://www.stratoscale.com/blog/devops/15-open-source-devops-tools-for-the-private-cloud/
参考资料:
http://kisspuppet.com/2013/11/10/mcollective-middleware/
http://www.ibm.com/developerworks/cn/cloud/library/cl-cn-virtualboxironic/index.html
https://www.ibm.com/developerworks/cn/linux/l-cobbler/
http://www.ituring.com.cn/article/179897