摘要:
什么是 Apache Flink? Apache Flink是一个框架和分布式处理引擎,用于对无界数据和有界数据流进行状态计算。Flink被设计为在所有常见的集群环境中运行,以内存中的速度和任何规模执行计算。 处理无界和有界数据 任何类型的数据都是作为事件流产生的。信用卡交易、传感器测量、机器日志或 阅读全文
摘要:
Hadoop 集群部署 基础系统环境准备 在VMware中创建3台centos7.6主机,空间50G: 配置/etc/hostname 修改/etc/sysconfig/network-scripts/ifcfg-ens33静态ip、网关(192.168.208.1)、DNS(8.8.8.8) 配置 阅读全文
摘要:
Hadoop Hadoop是用java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部分是HDFS、MapReduce与Yarn HDFS是分布式文件系统,引入存放文件元数据的服务器NameNode和实际存放数据的服务器DataNode,对数据进行分布式存储和读取 阅读全文
摘要:
Hadoop Hadoop是用java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部分是HDFS、MapReduce与Yarn HDFS是分布式文件系统,引入存放文件元数据的服务器NameNode和实际存放数据的服务器DataNode,对数据进行分布式存储和读取 阅读全文
摘要:
主要思路: 1.创建channel,通过定时器定时往channel中写入令牌,返回令牌桶本身(channel); 2.判断请求是否可以拿到令牌; package main import ( "context" "fmt" "time" ) func getBucket(capacityPs, max 阅读全文
摘要:
参考: https://www.freeaihub.com/post/105431.html http://hustcat.github.io/rate-limit-example-in-go/ 令牌桶模型 官方实现:golang.org/x/time/rate 主要方法为: type Limite 阅读全文
摘要:
主从模式原理 1.1 概念:MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表。 阅读全文
摘要:
golang中,通过关键字go可以创建goroutine,一个函数可以被创建多个goroutine,一个goroutine必定对应一个函数 go创建goroutine与channel返回数据 为一个普通函数创建goroutine的写法: go 函数名(参数列表) 使用go函数是,被调用函数的返回值会 阅读全文
摘要:
在golang中,channel是一个比较核心的功能,作为goroutine之间通信的一种方式,channel和linux系统中管道/消息队列比较类似。但不同之处在于,channel在golang中,提倡基于通信实现内存共享(linux是基于内存实现通信),重点是如何利用channel节省内存,共享 阅读全文
摘要:
查看网络模式 docker network ls NETWORK ID NAME DRIVER SCOPE 6856e3d6a118 bridge bridge local 74519c816cff host host local 9187a93406a2 none null local ecb19 阅读全文