2018年12月27日
Hadoop 部署之 HBase (四)
摘要： [TOC] 一、HBase是什么 HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。 HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。 它是Hadoop的生态 阅读全文
posted @ 2018-12-27 09:58 小水滴18 阅读(246) 评论(0) 推荐(0) 编辑
Hadoop 部署之 Hadoop (三)
摘要： [TOC] 一、Hadoop 介绍 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 1、HDFS 介绍 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System） 阅读全文
posted @ 2018-12-27 09:57 小水滴18 阅读(354) 评论(0) 推荐(0) 编辑
Hadoop 部署之 ZooKeeper (二)
摘要： [TOC] 一、Zookeeper功能简介 ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置维护，名字服 阅读全文
posted @ 2018-12-27 09:55 小水滴18 阅读(257) 评论(0) 推荐(0) 编辑
Hadoop 部署之环境准备(一)
摘要： [TOC] 一、软硬件规划 | ID | 主机类型 | 主机名 | IP | 应用软件 | 操作系统 | 硬件配置 | | | | | | | | | | 1 | 物理机 | namenode01 | 192.168.1.200 | jdk1.8.0_171、hadoop 2.7.3、hive 2. 阅读全文
posted @ 2018-12-27 09:54 小水滴18 阅读(309) 评论(1) 推荐(0) 编辑
2018年12月26日
Kubernetes 集群日志管理 Elasticsearch + fluentd(二十)
摘要： [TOC] Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理。这是一个 Elasticsearch、Fluentd 和 Kibana 的组合。Elasticsearch 是一个搜索引擎，负责存储日志并提供查询接口；Fluentd 负责从 Kubernetes 阅读全文
posted @ 2018-12-26 12:13 小水滴18 阅读(653) 评论(0) 推荐(0) 编辑
2018年12月22日
Kubernetes 监控方案之 Prometheus Operator(十九)
摘要： [TOC] 一、Prometheus 介绍 Prometheus Operator 是 CoreOS 开发的基于 Prometheus 的 Kubernetes 监控方案，也可能是目前功能最全面的开源方案。 Prometheus Operator 通过 Grafana 展示监控数据，预定义了一系列的 阅读全文
posted @ 2018-12-22 19:01 小水滴18 阅读(611) 评论(0) 推荐(0) 编辑
kubernetes 监控方案之：heapster+influxdb+grafana(十八)
摘要： [TOC] heapster 已经 deprecated 了：https://github.com/kubernetes/heapster，所以下面的演示主要针对 Kubernetes 1.10 之前的版本，我这里是新版本，所以是收集不到数据的。 一、Heapster 介绍 Heapster 是容器 阅读全文
posted @ 2018-12-22 15:00 小水滴18 阅读(239) 评论(0) 推荐(0) 编辑
Kubernetes 使用 Weave Scope 监控集群(十七)
摘要： [TOC] 创建 Kubernetes 集群并部署容器化应用只是第一步。一旦集群运行起来，我们需要确保一起正常，所有必要组件就位并各司其职，有足够的资源满足应用的需求。Kubernetes 是一个复杂系统，运维团队需要有一套工具帮助他们获知集群的实时状态，并为故障排查提供及时和准确的数据支持。 一、 阅读全文
posted @ 2018-12-22 13:50 小水滴18 阅读(505) 评论(0) 推荐(0) 编辑
2018年12月21日
Kubernetes 基于 RBAC 的授权(十六)
摘要： [TOC] 一、RBAC介绍 在Kubernetes中，授权有ABAC（基于属性的访问控制）、RBAC（基于角色的访问控制）、Webhook、Node、AlwaysDeny（一直拒绝）和AlwaysAllow（一直允许）这6种模式。 从1.6版本起，Kubernetes 默认启用RBAC访问控制策略 阅读全文
posted @ 2018-12-21 23:10 小水滴18 阅读(742) 评论(0) 推荐(0) 编辑
Kubernetes 使用 ingress 配置 https 集群(十五)
摘要： [TOC] 一、背景 1.1 需求 我们有这样的一个需求，就是把 Pod 集群升级为 https，目前的办法就是要么每个容器配置 https，然后前端通过 Service 进行调度，但是这样配置起来会比较麻烦，以及每个容器的建立都通过 https ，也增加了建立连接的负担。 我们需要一种这样的改造， 阅读全文
posted @ 2018-12-21 22:37 小水滴18 阅读(9856) 评论(0) 推荐(2) 编辑