11 2021 档案
摘要：什么是 ZooKeeper 官网地址：https://zookeeper.apache.org/ ZooKeeper is a centralized service for maintaining configuration information, naming, providing distr
阅读全文
摘要：副本机制的利弊 HDFS是一个高吞吐、高容错的分布式文件系统，但是 HDFS 在保证高容错的同时也带来了高昂的存储成本，比如有 5T的数据存储在 HDFS 上，按照 HDFS 的默认 3 副本机制，将会占用 15T 的存储空间。 那么有没有一种能达到和副本机制相同的容错能力，但是能大幅度降低存储成本
阅读全文
摘要：HDFS HA 的不足 虽然 HDFS HA 解决了“ NameNode 单点故障 ”问题，但是在系统扩展性、整体性能和隔离性方面仍然存在问题。 系统扩展性方面 元数据存储在 NameNode 内存中，受内存上限的制约 整体性能方面 吞吐量受单个 NameNode 的影响 隔离性方面 一个程序可能会
阅读全文
摘要：由 node-01、node-02 和 node-03 三个节点组成 ZooKeeper 集群环境，搭建步骤如下： 步骤一：上传 zookeeper-3.4.6.tar.gz 安装包到 node-01 并解压 [root@node-01 ~]# ll 总用量 17288 drwxr-xr-x. 6
阅读全文
摘要：机架感知(RackAwareness) 通常，大型 Hadoop 集群会分布在很多机架上，在这种情况下， 希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，名称节点会尽可能把数据块的副本放到多个机架上。 综合考虑这两点的基础上 Hadoop 设计了机架感知功能 外
阅读全文
摘要：HDFS 高可用（HA）故障转移工作机制 自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper（ZK） 和 **ZKFailoverController（ZKFC）**进程 ZooKeeper（ZK）进程 ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障
阅读全文
摘要：HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode) NameNode 负责管理整个文件系统的元数据 DataNode 负责管理用户的文件块（Block） 文件会按照固定的大小（默认 128 M）切成若干文件块（Block）后分布式存储在若干台 Da
阅读全文
摘要：HDFS Shell 命令行格式 格式一：hadoop fs –命令名 参数 格式二：hdfs dfs –命令名 参数 HDFS 常用命令及参数 ls：查看 hdfs 中的目录信息 [root@node-01 ~]# hadoop fs -ls / put或copyFromLocal：将本地文件上传
阅读全文
摘要：集群与分布式 集群 集群是由多个完成相同功能的服务器节点组成的集合 集群中每个服务器节点处理相同的任务或存储相同的数据 集群的关键特性是可扩展性和高可用性（支持负载均衡、错误恢复） 分布式 分布式是将一个系统拆分为多个不同的子系统，每个子系统运行在一个服务器节点上，最终共同完成系统的功能 分布式中每
阅读全文
摘要：Sharding （分片模式） 副本集可以解决主节点发生故障导致数据丢失或不可用的问题，但遇到需要存储海量数据的情况时，副本集机制就束手无策了。副本集中的一台机器可能不足以存储数据，或者说集群不足以提供可接受的读写吞吐量。这就需要用到 MongoDB 的分片（Sharding）技术，这也是 Mong
阅读全文
摘要：Hadoop 是什么 Hadoop 是一个提供分布式存储和计算的开源软件框架，它具有无共享、高可用（HA）、弹性可扩展的特点，非常适合处理海量数量。 Hadoop 是一个开源软件框架 Hadoop 适合处理大规模数据 Hadoop 被部署在一个可扩展的集群服务器上 Hadoop 三大核心组件 HDF
阅读全文
摘要：HDFS 集群由一个主/从架构组成，单个运行 NameNode 进程的服务器为主节点服务器，多个运行 DataNode 进程的服务器为从节点服务器 安装准备 主机名IP地址服务器 node-01 192.168.229.21 NameNode服务器、DataNode服务器 node-02 192.1
阅读全文
摘要：节点规划 主机名IP地址端口角色 node-01 192.168.229.21 27017 主节点（PRIMARY） node-02 192.168.229.22 27017 从节点1（SECONDARY） node-03 192.168.229.23 27017 从节点2（SECONDARY） n
阅读全文
摘要：分片集群部署 主机名IP地址规划端口分配 node-01 192.168.229.21 副本集名称：shard1（1主2从1仲裁） 主：27017 从：27018：从：27019 仲：28017 node-02 192.168.229.22 副本集名称：shard2（1主2从1仲裁） 主：27017
阅读全文
摘要：副本集(Replica Set) 副本集概念 此集群拥有一个主节点（Master）和多个从节点（Slave），与主从复制模式类似，但是副本集与主从复制的区别在于：当集群中主节点发生故障时，副本集可以自动投票，选举出新的主节点，并引导其余的从节点连接新的主节点。 **MongoDB 的副本集是自带故障
阅读全文
摘要：MongoDB 权限管理 MongoDB 提供了各种特性，比如身份验证、访问控制、加密，以确保 MongoDB 的部署安全。 只要涉及安全一般考虑如下两个方面： 权限管理 = 认证（ Authentication ） + 授权（ Authorization ） 认证：就是身份验证，验证输入的账号和密
阅读全文
摘要：环境 Linux ：centos 7 redis：redis-5.0.9 集群环境 集群节点（node）描述 node-01 1主2从 node-02 1主2从 node-03 1主2从 步骤一：在 node-01 中开启集群配置 复制代码 [root@node-01 redis-5.0.9]# v
阅读全文
摘要：MapReduce 简介 MongoDB 中的 MapReduce 可以用来实现更复杂的聚合命令，使用 MapReduce 主要实现两个函数：map 函数和reduce函数 map 函数（分组）：用来生成键值对序列，map 函数的结果作为 reduce 函数的参数 reduce 函数（聚合）：将 m
阅读全文
摘要：为什么需要聚合 一般查询可以通过 find() 方法，但如果是比较复杂的查询或者数据统计的话，find() 方法可能就无能为力，这时需要聚合（aggregate）。 聚合操作处理数据文档并返回计算结果。聚合操作将来自多个文档的值分组在一起，可以对分组的数据执行各种操作以返回单个结果。 MongoDB
阅读全文
摘要：MongoDB 更新文档 updateOne 函数 基于过滤器更新集合中的单个文档 db.collection.updateOne( <filter>, <update>, { upsert: <boolean>, arrayFilters: [ <filterdocument1>,...] } )
阅读全文
摘要：上传安装包并解压 复制代码 # 安装包解压 [root@node-01 ~]# tar -xzvf mongodb-linux-x86_64-rhel70-4.2.7.tgz -C apps/ # 删除安装包 [root@node-01 ~]# rm -rf mongodb-linux-x86_64
阅读全文
摘要：MongoDB 查询文档 find 函数：查询集合文档 db.collection.find(query, projection) collection：替换成需要查询的集合名称 query：查询条件（可选）使用查询操作符指定查询筛选器。若要返回集合中的所有文档，请省略此参数或传递一个空文档({})
阅读全文
摘要：MongoDB 数据类型 数据类型中文名称Number英文名称备注 Double 双精度浮点数 1 “double” String 字符串 2 “string” Object 对象 3 “object” Array 数组 4 “array” Binary data 二进制数据 5 “binData”
阅读全文
摘要：MongoDB shell 基本操作 MongoDB bin目录结构 mongo：MongoDB 客户端程序 mongod：MongoDB 服务器程序 MongoDB Shell 客户端 [root@node-01 mongodb-4.2.7]# bin/mongo --host node-01 -
阅读全文
摘要：MongoDB 数据模型 在 MongoDB 中，多个文档（document）组成集合（collection），多个集合可以组成数据库（database）。 文档（document） 文档是 MongoDB 中数据的基本单元（类似关系型数据库 MySQL 中的行），由字段（field）和值（valu
阅读全文
摘要：MongoDB 简介 关系数据库的不足 最近几年在开发互联网 Web 应用中，越来越多的企业在生产环境中从关系数据库（如 MySQL）迁移到非关系数据库（如 MongoDB）。 那么，企业这样做的动机是什么？为何开发互联网 Web 应用的企业要抛弃 MySQL，而青睐 MongoDB 呢？ 互联网有
阅读全文
摘要：什么是 Redis 集群 Redis 集群是 Redis 处理大数据而提供的分布式数据库方案，集群通过分片（sharding）的方式来保存数据库中的键值对。 Redis 集群中的节点分为主节点（Master）和从节点（Slave），其中主节点用于处理槽，而从节点则用于复制主节点，并在主节点故障宕机下
阅读全文
摘要：为什么要有哨兵（sentinel）机制 在 Redis 主从架构中，当主服务器宕机，需要手动将从服务器切换为主服务器，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。 哨兵机制就是为了解决主从复制的缺点，以实现自动故障转移 什么是哨兵机制 Redis 的哨兵（Sentinel）系统（由
阅读全文
摘要：主从复制的概念 就是将一台 redis 服务器的数据，复制到其他的 redis 服务器，前者为主节点（master/leader），后者称为从节点（slave/follower），数据的复制是单向的，只能从主节点到从节点，一般 master 以写为主，slave 以读为主。 Redis 全量同步和增
阅读全文
摘要：Redis 内存回收策略 Reids 所有的数据都是存储在内存中的，在某些情况下需要对占用的内存空间进行回收，内存回收主要分为两类： key 过期删除策略 内存淘汰回收策略 Key 过期删除策略 定时过期（主动淘汰） 每个设置过期时间的 key 都需要创建一个定时器，到过期时间就会立即清除。该策略可
阅读全文
摘要：AOF 持久化简介 除了 RDB 持久化之外，Redis 还提供了 AOF（Append Only File，即只允许追加不允许改写的文件）持久化。 与 RDB 持久化通过保存数据库中的键值对来记录数据库状态不同，AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态 开启 AO
阅读全文
摘要：RDB 持久化简介 RBD 持久化数据库 RDB 持久化是将 Redis 在内存中的数据库状态保存到磁盘中，以避免数据意外丢失，是一种快照式的持久化方法。 RDB 还原数据库 RDB 持久化将生成一个 RDB 文件（经过压缩的二进制文件），通过该文件可以还原生成 RDB 文件时的数据库状态。 因为
阅读全文
摘要：什么是 Redis 持久化 Redis 持久化就是将 Redis 内存数据存储到磁盘中 Redis 提供了两种持久化的方式 RDB（Redis DataBase） RDB，简而言之，就是在不同的时间点，将 Redis 内存数据生成快照并存储到磁盘文件中 AOF（Append Only File） A
阅读全文
摘要：缓存穿透问题 什么是缓存穿透 缓存穿透就是指当用户在 Redis 缓存系统查询一条数据时，而 MySQL 数据库和 Redis 缓存里却没有关于这条数据的任何记录。这条数据在 Redis 缓存中查询不到自然会向 MySQL 数据库请求获取数据，MySQL 数据库也获取不到数据，导致 Redis 缓存
阅读全文
摘要：Redis 事务处理 Redis 事务处理概念 众所周知，事务是指 “一个完整的动作，要么全部执行，要么什么也没有做”。 在聊 redis 事务处理之前，要先和大家介绍四个redis指令，即MULTI、EXEC、DISCARD、WATCH。这四个指令构成了redis事务处理的基础。 MULTI：用来
阅读全文
摘要：Redis 数据结构 Redis 多数据库 Redis 服务器拥有16 个数据库（0~15），默认使用 0 号数据库，可以使用 select 命令来切换数据库 注：16 个数据库之间是完成独立的，可以保存相同的键值对 清空当前数据库的数据，可以使用 flushdb 命令 清空 Redis 所有数据库
阅读全文
摘要：什么是集群 集群是一组通过网络互联的计算机，集群里的每一台计算机称作一个节点。 搭建集群环境规划 集群主机节点数：4 台安装 CentOS7 的虚拟机 主机名(Hostname)IP 地址 node-01 192.168.229.21 node-02 192.168.229.22 node-03 1
阅读全文
摘要：Redis 单线程架构 单线程模型 Redis 客户端对服务端的每次调用都经历了发送命令、执行命令和返回结果三个过程。其中执行命令阶段，由于 Redis 是单线程来处理命令的，到达 Redis 服务端的每一条命令都不会立刻执行，所有的命令都会进入一个队列中，然后逐个执行。并且多个 Redis 客户端
阅读全文
摘要：Redis 是什么 Redis是一种基于键值对（key-value）的 NoSQL 数据库。 Redis 的特点 速度极快 Redis 的所有数据都是存放在内存中，这是 Redis 速度快的最主要原因 Redis 是用 C 语言实现的，一般来说 C 语言实现的程序“距离”操作系统更近，执行速度相对会
阅读全文
摘要：Redis 安装 安装准备： redis 压缩包 官网下载地址：https://redis.io/download 安装步骤： 第一步：安装 gcc 编译器 官网发布的 Redis 压缩包是 C 语言源码文件，要安装 Redis 需要 gcc 编译器来编译源码 输入安装 gcc 命令，如下： 复制代
阅读全文
摘要：什么是 NoSQL 数据库 NoSQL(Not Only SQL，不仅仅是SQL)泛指非关系型的数据库。它是为了解决大规模数据集合以及多种数据类型带来的问题，尤其是大数据应用难题。NoSQL 数据库并没有一个统一的架构，各有所长。 关系型数据库 VS NoSQL 数据库 NoSQL 数据库是一类数据
阅读全文
摘要：变量赋值模式匹配 模式匹配在 Shell 脚本中的运用很广泛 举例 [root@node-01 ~]# vim mod.sh #!/bin/bash x=${1:-"no parameter"} echo $x 在上述例子中，x=${1:-"no parameter"} 中的 1:- 可以理解为三元
阅读全文
摘要：同传统的编程语言一样，shell 提供了很多特性，这些特性可以使你的 shell 脚本编程更为有用。 创建 Shell 脚本 一个 shell 脚本通常包含如下部分：首行+注释+内容 首行 第一行内容在脚本的首行左侧，表示脚本将要调用的shell解释器，内容如下： #!/bin/bash #！符号能
阅读全文
摘要：Shell 基础知识 什么是 Shell Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给
阅读全文
摘要：grep、sed 和 awk 简介 awk、grep、sed 是 Linux 操作文本的三大利器，合称文本三剑客，也是必须掌握的 Linux 命令之一。三者的功能都是处理文本，但侧重点各不相同，其中属 awk 功能最强大，但也最复杂。 grep 更适合单纯的查找或匹配文本 sed 更适合编辑匹配到的
阅读全文
摘要：scp （集群之间传输文件） 集群模式下，使用 scp 命令各节点之间拷贝文件 命令格式： # scp file 远程用户名@远程服务器IP（或主机名）:~/ 冒号和目录之间不能有空格 拷贝目录，需要加 -r 选项 使用 root 用户 # scp /etc/profile root@node-01
阅读全文
摘要：计划任务类型 计划任务包括两种类型： 周期性计划任务（crontab 命令） ：每到指定时间点就执行指定的任务，周期性重复执行 一次性计划任务 （at 命令）：未来某个时间执行一次指定任务 crontab 定时器 定时器 crontab 命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个
阅读全文
摘要：RPM 简介 RPM 软件包也称为二进制软件包（相当于windows的exe安装文件） RPM 是 RedHat Package Manager（RedHat软件包管理工具）的缩写，这一文件格式名称虽然打上了 RedHat 的标志，但是其原始设计理念是开放式的，现在包括 RedHat、CentOS、
阅读全文
摘要：三种基本权限 r 读权限（read）** w 写权限（write）** x 执行权限 （execute）** 权限说明 所有者 所属组 其他人 第1位：文件类型（d 目录，- 普通文件，l 链接文件，f二进制文件） 第2-4位：所属用户(所有者)权限，用u（user）表示 第5-7位：所属组权限，用
阅读全文
摘要：nohup 命令 nohup 命令用于不挂断地运行命令 ，一般和 & 一起使用 命令格式：nohup command & 文件描述符 Linux 系统预留三个文件描述符：0、1 和 2，如下所示： 0——标准输入（stdin） 1——标准输出（stdout） 2——标准错误（stderr） Linu
阅读全文
摘要：Linux 常用管理命令 磁盘空间命令 df 命令 作用：用于查看Linux文件系统的状态信息,显示各个分区的容量、已使用量、未使用量及挂载点等信息。看剩余空间 语法：df [-hkam] [挂载点] -h（human-readable）根据磁盘空间和使用情况 以易读的方式显示 KB,MB,GB等
阅读全文
摘要：网络配置 编辑网络配置文件 [root@CentOS7 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static # IP地址获取类型 static：静态IP地址 dhcp：动态IP地址 ONBOOT=yes # 是否开机自
阅读全文
摘要：Linux 学习技巧 善于查看 man help 等帮助文档 利用好 Tab 键 自动补全 掌握好一些快捷键 ctrl + c（停止当前进程） ctrl + z 挂起当前进程，放后台 ctrl + shift + c （复制） ctrl + shift + v（粘贴） ctrl + r（查看命令历史
阅读全文
摘要：引言 netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。 语法选项 netstat [选项] -a或--all：显示所有连线中的Socket； -A<网络类型>或--<网络类型>：列出该网络类型连线中的相关地址； -c或-
阅读全文
摘要：引言 CentOS 7.0 中一个最主要的改变，就是切换到了systemd。它用于替代红帽企业版Linux前任版本中的SysV和Upstart，对系统和服务进行管理。systemd兼容SysV和Linux标准组的启动脚本。 Systemd是一个Linux操作系统下的系统和服务管理器。它被设计成向后兼
阅读全文
摘要：引言 fg、bg、jobs、&、ctrl + z 都是跟系统任务有关的，虽然现在基本上不怎么需要用到这些命令，但学会了也是很实用的 & 命令 & 用在一个命令的最后，可以把这个命令放到后台执行 [root@hdp-01 bin]# ls & [2] 7492 ctrl + z 快捷键 将一个正在前台
阅读全文
摘要：引言 Linux 自带的 vi/vim 编辑器好比 Windows 的文本编辑器，但其功能可比 windows 的文本编辑器强大得多。但 vi/vim 入门难度不小，一是使用方式和普通文本编辑器不同，习惯了 windows 操作的童靴一开始会觉得很别扭，二是 vi/vim 的命令非常多，用法也很灵活
阅读全文
摘要：VIM 文本编辑器 VIM 介绍 #安装 VIM [root@node-01 ~]# yum install -y vim-enhanced vim/vi 是 Unix / Linux 上最常用的文本编辑器而且功能非常强大。 特点：只有命令，没有菜单 《大碗》编辑器版 周围的同事不是用VI就是Ema
阅读全文
