摘要：
参考文献：1、《深入理解Kafka-核心设计与实践原理(201901)》（第5章 日志存储） 1、文件目录布局 不考虑多副本的情况，一个分区对应一个日志(Log)。 日志分段(LogSegment)是为了防止Log过大，将Log切分为多个LogSegment，相当于一个巨型文件被平均分配为多个相对较 阅读全文
摘要：
主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为Kafka提供了可伸缩性、水平扩展的功能，还通过多副本机制来为Kafka提供数据冗余以提高数据可靠性。 从Kafka的底层实现来说，主题和分区都是逻辑上的概念： 分区可以有一至多个副本。 每个副本对应一个 阅读全文
摘要：
1、python中KafkaConsumer类 1、KafkaConsume类 class kafka.KafkaConsumer(*topics, **configs) 使用Kafka集群的记录。 消费者将透明地处理Kafka集群中服务器的故障，并在topic分区创建或在broker之间迁移时进行 阅读全文
摘要：
参考文档：https://kafka-python.readthedocs.io/en/master/index.html 1、python中KafkaProducer类 1、KafkaProducer类 class kafka.KafkaProducer(**configs) 将记录发布到Kafk 阅读全文
摘要：
1、安装kafka（单机模式） 1、部署环境 软件版本 JDK：jdk-8u291-linux-x64.tar.gz ZooKeeper：apache-zookeeper-3.5.9-bin.tar.gz kafka：kafka_2.13-2.8.0.tgz 系统环境 10.1.1.11：CentO 阅读全文
摘要：
1、kafka简介 Kafka起初是由Linkedin公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache基金会。 目前Kafka是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 越来越 阅读全文
摘要：
测试数据 create database hh; use hh; create table tb1( id int primary key auto_increment, name char(15), sex enum('男','女') ); create table add2( id int pr 阅读全文
摘要：
测试数据 create database hh; use hh; create table tb1( id int primary key auto_increment, name char(15), sex enum('男','女') ); create table tb2( id int pri 阅读全文
摘要：
1、存储过程和函数 存储过程就是一条或者多条SQL语句的集合, 存储程序可以分为存储过程和函数。 创建存储过程：CREATE PROCEDURE 创建存储函数：CREATE FUNCTION 使用CALL语句来调用存储过程，只能用输出变量返回值。存储过程也可以调用其他存储过程。 函数可以从语句外调用 阅读全文
摘要：
官方文档：https://docs.docker.com/engine/reference/builder/ 1、容器化 Docker的核心思想就是如何将应用整合到容器中，并且能在容器中实际运行。 将应用整合到容器中并且运行起来的这个过程,称为“容器化"(Containerizing)，有时也叫作" 阅读全文
摘要：
1、docker网络架构 Docker网络架构源自一种叫作容器网络模型(CNM)的方案，该方案是开源的并且支持插接式连接。 Libnetwork是Docker对CNM的一种实现，提供了Docker核心网络架构的全部功能。 不同的驱动可以通过插拔的方式接入Libnetwork来提供定制化的网络拓扑。 阅读全文
摘要：
1、持久化和非持久化 docker数据主要分为两类：持久化的与非持久化的。 1、容器非持久化存储 每个Docker容器都有非持久化存储。 非持久化存储是创建容器时自动创建的，因此从属于容器，生命周期与容器相同，即删除容器也会删除全部非持久化数据。 默认情况下，非持久化存储是容器全部文件和文件系统保存 阅读全文
摘要：
1、docker容器 1、docker容器简介 容器是镜像的运行时实例。 可以从单个镜像,上启动一个或多个容器。容器会共享其所在主机的操作系统内核。 容器随着其中运行应用的退出而终止。 Linux中大部分的容器都只运行一个进程。 使用单个 Docker 镜像启动多个容器 2、docker镜像启动为容 阅读全文
摘要：
1、docker镜像的构成 镜像内部是一个精简的操作系统(OS)，同时还包含应用运行所必须的文件和依赖包。 容器的目的就是运行应用或者服务，这意味着容器的镜像中必须包含应用/服务运行所必需的操作系统和应用文件。但是，容器又追求快速和小巧，这意味着构建镜像的时候通常需要裁剪掉不必要的部，保持较小的体积 阅读全文
摘要：
1、docker引擎简介 Docker引擎是用来运行和管理容器的核心软件。 Docker引擎主要的组构成：Docker户端(Docker Client)、Docker守护进程(Docker daemon)、containerd以及runc。它们共同负责容器的创建和运行。 2、早期的docker引擎 阅读全文
摘要：
1、linux安装docker--二进制安装 1、docker依赖的环境 1、依赖环境 64 bits CPU Linux Kernel 3.10+ #不要使用centos6安装docker，因为内核版本较低，会出现各种不确定的问题 Linux Kernel cgroups and namespac 阅读全文
摘要：
1、docker简介 提到"Docker"时，可能是指如下3种概念之一。 Docker公司。 Docker的容器运行时和编排引擎。 Docker是一种运行于Linux和Windows上的软件，用于创建、管理和编排容器。 Docker开源项目(Moby) 。 Docker是在GitHub上开发的Mob 阅读全文
摘要：
1、为什么使用容器 1、底层操作系统 Windows和Linux操作系统都没有相应的技术手段来保证在一台服务器上稳定而安全地同时运行多个应用。 每个服务器只能运行单一应用，这种做法导致了大部分服务器长期运行在他们额定负载5%~10%的水平区间之内。这对公司资产和资源是一种极大的浪费! 2、虚拟机 虚 阅读全文
摘要：
1、Samba简介 1、samba是什么 Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成。 通过设置“NetBIOS over TCP/IP”使得Samba不但能与局域网络主机分享资源，还能与全世界的电脑分享资源。 SMB（Server Message 阅读全文
摘要：
1、NFS简介 网络文件系统(NFS，Network File System)，是由SUN公司研制的UNIX表示层协议(presentation layer protocol)，用户和程序可以像访问本地文件一样访问远端系统上的文件，使得每个计算机的节点能够像使用本地资源一样方便地使用网上资源。 NF 阅读全文