随笔分类 - 分布式
摘要：现在由于eureka服务越来越多，发现服务提供者在停掉很久之后，服务调用者很长时间并没有感知到变化，依旧还在持续调用下线的服务，导致长时间后才能返回错误，因此需要调整eureka服务和客户端的配置，以便实现服务下线后快速感知。 需要调整服务注册中心、服务提供者和服务消费者三个配置。 服务注册中心Eu
阅读全文
摘要：随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂的分布式网络，那现在的问题是一个请求经过了这些服务后其中出现了一个调用失败的问题，只知道有异常，但具体的异常在哪个服务引起的就需
阅读全文
摘要：当虚拟机服务器运行Docker久了后，发现Docker的文件越来越大，某天发现此台机上的数据库访问不了了，再重启数据库等日志，提示空间不足，查看磁盘空间： root分区满载啊，前段时间还有不少空间的，查下什么大文件内容占了空间。 find / -xdev -size +100M -exec ls -
阅读全文
摘要：当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。 FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此gr
阅读全文
摘要：在前篇 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 中已介绍搭建高可用的分布式文件系统架构。 那怎么在程序中调用，其实网上有很多栗子，这里在他们的基础上作个简单的介绍。 下载源码并加入本地仓库 官网Java客户端源代码：https:/
阅读全文
摘要：在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。 高可用是实现了，但由于我们只设置了一个group，如果现在有5台服务器那将会出现5台只有一个group，每台服务器内的文件内容都相同（互备份）如下图，会造成资
阅读全文
摘要：FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、
阅读全文
摘要：zabbix并没有给我们提供这么一个模板来完成在Linux中磁盘IO的监控，所以我们需要自己来创建一个，在此还是在Linux OS中添加。 由于一台服务器中磁盘众多，如果只一两台可以手动添加，但服务集群达到几十那就非常麻烦，因此需要利用 自动发现 这个功能，自动发现后自动添加对服务器磁盘的监控，而且
阅读全文
摘要：在前篇分布式监控系统Zabbix3.2监控数据库的连接数 中已经对数据库的端口3306进行了监控，可以看到数据库的连接数历史变化有高有低，那如果达到了数据库连接数的阀值是不是主动通知给运维人员去检查问题呢，总不能实时盯着看吧，下面就怎么配置预警作简单介绍。 在这里我们是针对模板级别来进行配置，而有些
阅读全文
摘要：在 分布式监控系统Zabbix3.2跳坑指南 和 分布式监控系统Zabbix3.2给异常添加邮件报警 已经介绍了如何安装以及报警。此篇通过介绍监控数据库的3306端口连接数来了解如何监控其它端口和配置自定义监控项的过程。 添加监控脚本 在要监控的客户端上新建脚本： /usr/local/zabbix
阅读全文
摘要：在前一篇 分布式监控系统Zabbix3.2跳坑指南 中已安装好服务端和客户端，此处客户端是被监控的服务器，可能有上百台服务器。监控的目的一个是可以查看历史状态，可以对比零晨和工作区间数据的对比，以便后期进行优化指导。还有一个是报警，总不能等到服务器出现异常了才去从头查是什么问题吧。所以这篇主要介绍报
阅读全文
摘要：大部分人都说是在页里或web.config里加EnableEventValidation="false" EnableViewStateMac="false" ViewStateEncryptionMode="Never" 这些属性的设置。但是这并不从根本上解决问题，相反这样做了反而更加不安全。 为
阅读全文
摘要：概要 为什么要做监控 线上发布了服务，怎么知道它一切正常，比如发布5台服务器，如何直观了解是否有请求进来，访问一切正常。当年有一次将线上的库配置到了Beta，这么低级的错误，排错花了一个通宵，十几个人。某个核心服务挂了，导致大量报错，如何确定到底是哪里出了问题。SOA带来的问题，调用XX服务出问题，
阅读全文
摘要：一般在KafKa消费程序中消费可以设置多个主题，那在同一程序中需要向KafKa发送不同主题的消息，如异常需要发到异常主题，正常的发送到正常的主题，这时候就需要实例化多个主题，然后逐个发送。 在NET中用RdKafka组件来做消息处理，在Nuget中引用。 在程序中初始化Producer，并创建多个T
阅读全文
摘要：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库
阅读全文
摘要：这里主要介绍几种常见的日志的source来源，包括监控文件型，监控文件内容增量，TCP和HTTP。 Spool类型 用于监控指定目录内数据变更，若有新文件，则将新文件内数据读取上传 在教你一步搭建Flume分布式日志系统最后有介绍此案例 Exec EXEC执行一个给定的命令获得输出的源,如果要使用t
阅读全文
摘要：在前篇几十条业务线日志系统如何收集处理？中已经介绍了Flume的众多应用场景，那此篇中先介绍如何搭建单机版日志系统。 环境 CentOS7.0 Java1.8 下载 官网下载 http://flume.apache.org/download.html 当前最新版 apache-flume-1.7.0
阅读全文
摘要：在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息，甚至包括点击的位置，我们也经常发现自己刚搜完一个东西，再打开网页时每个小广告都会出现与之相关联的商品或信息，在感叹智能的同时不惊想 什么时候泄露的行踪。 许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据，供离线和在线的分
阅读全文
摘要：Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Ha
阅读全文
摘要：经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本
阅读全文
