摘要： MapReduce Hadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。 但是HDFS存的数据量非常大时，对汇总程序所在的服务器将产生巨大压力，并且网络IO也十分消耗资源。 为了解决这种问题，Map 阅读全文

摘要： HDFS HDFS由大量服务器组成存储集群，将数据进行分片与副本，实现高容错。 而分片最小的单位就是块。默认块的大小是64M。 HDFS Cli操作 官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/F 阅读全文

摘要： Hadoop是什么 大白话，Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。 HDFS：分布式存储 MapReduce：分布式计算 Yarn：调度MapReduce 现在为止我们知道了HDFS、MapReduce、Yarn是干啥的，下面通过一张图再来 阅读全文

摘要： ServiceAccount ServiceAccount是给运行在Pod的程序使用的身份认证，Pod容器的进程需要访问API Server时用的就是ServiceAccount账户。 ServiceAccount仅局限它所在的namespace，每个namespace创建时都会自动创建一个defa 阅读全文

摘要： emptyDir临时卷 有些应用程序需要额外的存储，但并不关心数据在重启后仍然可用。 例如，缓存服务经常受限于内存大小，将不常用的数据转移到比内存慢、但对总体性能的影响很小的存储中。 再例如，有些应用程序需要以文件形式注入的只读数据，比如配置数据或密钥。 临时卷就是为此类用例设计的。因为卷会遵从 P 阅读全文

摘要： 我们前面部署的pod调度取决于kube-scheduler，它会根据自己的算法，集群的状态来选择合适的node部署我们的pod。 下面我们来看下如何来根据我们自己的要求，来影响pod的调度。 定向node调度 有时候我们想将pod调度到某一些node上，比如csharp开发的程序，调度到某一些nod 阅读全文

摘要： 什么是HPA https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale/ 我们前面有通过kubectl scale命令手动扩展我们的服务，生产环境中我们希望k8s能够根据一些指标信息自动扩展服务。 这时我 阅读全文

摘要： 上一篇我们通过deployment实现了pod的横向扩展，但是仍然不能负载，也不能对外提供服务，现在我们来看看如何通过k8s实现负载与外网访问 Service service为一组pod提供一个统一的入口，实现负载，也可实现外部访问。 原理 在Kubernetes集群的每个Node上都会运行一个ku 阅读全文

摘要： 上篇我们已经安装好k8s1.23集群，现在我们开始使用k8s部署我们的项目 Pod Pod 是一组容器集合，是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。这些容器共享存储、网络。 准备Demo 我们要实现多容器Pod所以准备两个WebAPI项目 新建一个webapi，命名为 阅读全文

摘要： 官方文档：安装 kubeadm 安装条件 多台Linux机器 CentOS7 2G以上RAM，2个以上CPU 集群网络互通，可访问外网 关闭防火墙，关闭swap分区 准备安装环境 node IP k8s-master 192.168.43.111 k8s-node1 192.168.43.112 k 阅读全文