摘要:
```bash echo "设置阿里云镜像仓库" mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/ .repo /etc/yum.repos.d/bak curl o /etc/yum.repos.d/CentOS Base.repo http:/ 阅读全文
摘要:
1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
摘要:
ip:192.168.0.145 环境设置 防火墙,selinux等,可以使用本章开头的那个shell脚本 其他主机的hosts文件也都添加上 ip hub.aaa.com windows系统的hosts也修改 安装docker,启动,开机启动 其他主机也都加上这个 添加后重启docker 下载配置 阅读全文
摘要:
CSF是国外一家小公司开发的linux系统免费防火墙,它基于iptables工作,能有效缓解服务器压力,具有自动屏蔽暴力破解密码IP、管理开放端口、免疫轻量DDos和CC等等功能,同时,安装和使用也极为简便,在我们常用的DA和CP面板还有图形化操作界面,也支持个人普通用户安装于LNMP环境下使用。 阅读全文
摘要:
在web浏览器中查看服务器并使用鼠标执行系统任务,很容易管理存储、配置网络和检查日志等操作。 打开浏览器,输入 https://ip地址:9090 使用系统用户登录即可 登陆后右上角可以设置语言 其他功能有待慢慢发掘 阅读全文
摘要:
在RHEL8中把软件源分成了两部分一个是BaseOS,一个是AppStream. 在Red Hat Enterprise Linux 8.0中,统一的ISO自动加载BaseOS和AppStream安装源存储库。 已经存在于光盘中,只不过要分别去配置.repo文件 BaseOS存储库旨在提供一套核心的 阅读全文
摘要:
注意事项:默认Kafka传递给elastci的数据是在'data'字段,且不包含其他数据,所以需要使用额外的操作进行处理 logstash配置文件操作 阅读全文
摘要:
1. filebeat.yml 2. logstash.conf 阅读全文
摘要:
```bash # Docker默认的镜像和容器存储位置在/var/lib/docker中 # 修改docker.service文件 vim /lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd --graph=/data/docker --storage-driver=overlay --registry-mirror=htt 阅读全文
摘要:
Elasticsearch 的官方查询语言是 Query DSL,存在毕竟有存在的道理,存在即合理。SQL 作为一个数据库查询语言,它语法简洁,书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说,就算他已经是一位编程界的老江湖,但是如果他不熟悉 ES ,那么他如果要 阅读全文
摘要:
kazoo 介绍 zookeeper的开发接口以前主要以java和c为主,随着python项目越来越多的使用zookeeper作为分布式集群实现,python的zookeeper接口也出现了很多,现在主流的纯python的zookeeper接口是kazoo。因此如何使用kazoo开发基于python 阅读全文
摘要:
使用python操作kafka目前比较常用的库是kafka python库 安装kafka python 生产者 producer_test.py 执行此程序,它没有输出!这个是正常的 消费者 执行此程序,此时会hold住,因为它在等待生产者发送消息! 再次执行生产者,此时会输出: 阅读全文
摘要:
文章链接:https://www.cnblogs.com/xiao987334176/p/11405416.html 阅读全文
摘要:
文章链接:https://www.cnblogs.com/xiao987334176/p/11405971.html 阅读全文
摘要:
引用文章链接:https://www.cnblogs.com/xiao987334176/p/10049844.html 六、操作总结 1. 修改不同主机上docker默认的网络参数 2. 每个主机添加路由规则 永久生效的话需要添加到文件中 3. 每个主机上添加路由规则 永久生效的话需要添加到文件中 阅读全文
摘要:
刚Yum装完发现是没有网上所说的/etc/default/docker文件的,自己vim后其实也是不生效的。 因为Docker的systemd启动脚本(/usr/lib/systemd/system/docker.service),默认是没有加载到环境变量中的。 添加的2行说明: 自定义的docke 阅读全文
摘要:
因为Docker从1.3.X之后,与docker registry交互默认使用的是https,然而此处搭建的私有仓库只提供http服务,所以当与私有仓库交互时就会报上面的错误。 解决办法: "registry mirrors":表示的是使用的阿里云镜像 "insecure registries":解 阅读全文
摘要:
```bash # 监控kafka集群,开启监控趋势图使用 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种:在启动脚本start.sh中添加指定端口 # 第三种:多复制几个kafka 阅读全文
摘要:
```bash
# kafka集群,伪集群
cd /usr/local/src
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
tar -zxv -f kafka_2.12-2.3.0.tgz -C /usr/local/
cd /usr/local/kafka_2.12-2.3.0/... 阅读全文
摘要:
之前的流程是:filebeat,redis,logstash,elasticsearch 现在的流程是:filebeat,Kafka(zookeeper),logstash,elasticsearch zookeeper集群,使用ZK UI提供的web界面 kafka集群,使用的是kafka eag 阅读全文
摘要:
1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
摘要:
本例搭建的是伪集群模式,即一台机器上启动三个zookeeper实例组成集群,真正的集群模式无非就是实例IP地址不同,搭建方法没有区别 配置JAVA环境,检验环境: `echo ${JAVA_HOME}` 阅读全文
摘要:
```
# 监控kafka集群
# 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法
# 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件
# 第二种:在启动脚本start.sh中添加指定端口
# 第三种:多复制几个kafka-server-start.... 阅读全文
摘要:
jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka server start.sh中找到堆设置 或者在启动脚本中添加如下: 阅读全文
摘要:
在使用四字命令或者zk ui界面查看zookeeper集群时,出现如下提示: 解决办法 阅读全文
摘要:
kazoo的官方文档地址:https://kazoo.readthedocs.io/en/latest/index.html 阅读全文
摘要:
1. 全局配置 添加阿里云的镜像到maven的setting.xml配置中,这样就不需要每次在pom中,添加镜像仓库的配置,在mirrors节点下面添加子节点: 注:可以设置为哪个中央仓库做镜像,为名为“central”的中央仓库做镜像,写作central;为所有中央仓库做镜像,写作 。Maven默 阅读全文
摘要:
安装maven 查找maven安装路径 配置文件路径 阅读全文
摘要:
```bash # 使用WEB UI查看监控集群-zk ui安装 cd /usr/local git clone https://github.com/DeemOpen/zkui.git yum install -y maven # 更换使用阿里云maven源 vim /etc/maven/settings.xml nexus-aliyun ... 阅读全文
摘要:
从官网下载zookeeper的地址中有俩文件 一个是apache zookeeper 3.5.5.tar.gz ,另一个是apache zookeeper 3.5.5 bin.tar.gz 若是使用前者,运行的话会报错:Error: Could not find or load main class 阅读全文
摘要:
1. J2EE应用 该应用根目录下有好多文件夹和以jsp结尾的文件 部署时,需要在tomcat的conf目录下的server.xml文件中添加上``,用来确当具体的代码路径 通常来说,Springboot 部署会采用两种方式:全部打包成一个jar,或者打包成一个war。 2. maven项目 war 阅读全文
摘要:
出于安全方面的考虑,使用sudo执行命令将在一个最小化的环境中执行,环境变量都重置成默认状态。所以PATH这个变量不包括用户自定义设置的内容 在sudo用户的主目录里的.bashrc中添加如下内容即可解决 有这样一个shell脚本,其内容如下,没有给其x权限 参考连接:https://blog.cs 阅读全文
摘要:
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 """ 4 __ ~~~~~~~~~~~ ___ 5 . . ~~// ...... __--~ ~~ 6 -. \_|// |||\\ ~~~~~~::::... /~ 7 ___ _ _-~o~ \/ ||| \\ _/~~- 8 __ ~~~.==~||\=_ -_--~/_-~|- |\ 阅读全文
摘要:
filebeat启动自带模块后,日志先输出到Redis中 比如开启了system模块日志和redis模块日志 在Redis中查看收集过来的日志时,可以看到如下的这些信息 system日志信息 redis日志信息 根据下图所示,有两处地方可以用来判断来源 可以根据这俩的不同在logstash中判断来源 阅读全文
摘要:
系统:centos 7.4 x64 主机ip:192.168.0.160 软件包:elasticsearch 7.3.0 linux x86_64.tar.gz 配置步骤 若报错说找不到主节点,可以先启动主节点,等主节点集群建立后,再启动从节点,观察从节点日志输出,确保从节点加入集群。 分别启动的话 阅读全文
摘要:
5.7 集群搭建 5.7.1 准备工作 redis5.0版本之后可以直接使用 命令创建集群,不使用 命令了。 5.7.2 集群规划 (1)Redis集群最少需要6个节点,3主3从,可以分布在一台或者多台主机上。 真集群:6台主机,每台主机的redis服务使用的IP不同,端口号随意,一样不一样都可以 阅读全文
摘要:
1 介绍 ELK日志管理属于基础设施平台,接入多个应用系统是正常现象,如果接入多个系统的索引文件没有进行权限划分,那么很大程度会出现索引文件误处理现象,为了避免这种情况发生,多用户及权限设置必不可少。 通过Filebeat采集应用日志,发送到redis(或者kafka),通过在filebeat.ym 阅读全文
摘要:
1、介绍 官方宣布从6.8和7.1开始,免费提供多项安全功能。其中包括tls加密通信,基于角色访问控制等功能。 可以使用企业CA证书来完成这一步骤,但是一般情况下,我们可以通过elasticsearch自带的elasticsearch certutil的命令生成证书。然后各节点通过该证书可以进行安全 阅读全文
摘要:
前提:已配置好Redis集群,并设置的有统一的访问密码 架构是filebeat redis集群 logstash elasticsearch,需要修改filebeat的输出和logstash的输入值 filebeat地址:192.168.80.108 redis集群地址:192.168.80.107 阅读全文