随笔分类 -  负载均衡

摘要:问题描述 无法通过SSH连接Linux实例,访问该实例上的HTTP服务也出现异常。使用telent命令进行网络测试,发现请求连接被重置。 问题原因 本地网络通过NAT共享的方式上网,并且Linux系统相关内核参数配置异常。 解决方案 修改系统的内核参数以解决该问题。 依次执行如下命令,查看当前内核配 阅读全文
posted @ 2021-10-15 09:27 欢醉 阅读(337) 评论(0) 推荐(0) 编辑
摘要:当虚拟机服务器运行Docker久了后,发现Docker的文件越来越大,某天发现此台机上的数据库访问不了了,再重启数据库等日志,提示空间不足,查看磁盘空间: root分区满载啊,前段时间还有不少空间的,查下什么大文件内容占了空间。 find / -xdev -size +100M -exec ls - 阅读全文
posted @ 2018-01-30 09:32 欢醉 阅读(820) 评论(0) 推荐(0) 编辑
摘要:当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了。 FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此gr 阅读全文
posted @ 2018-01-26 08:40 欢醉 阅读(7924) 评论(0) 推荐(0) 编辑
摘要:在前篇 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 中已介绍搭建高可用的分布式文件系统架构。 那怎么在程序中调用,其实网上有很多栗子,这里在他们的基础上作个简单的介绍。 下载源码并加入本地仓库 官网Java客户端源代码:https:/ 阅读全文
posted @ 2018-01-23 09:15 欢醉 阅读(3852) 评论(2) 推荐(0) 编辑
摘要:在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。 高可用是实现了,但由于我们只设置了一个group,如果现在有5台服务器那将会出现5台只有一个group,每台服务器内的文件内容都相同(互备份)如下图,会造成资 阅读全文
posted @ 2018-01-18 08:38 欢醉 阅读(6260) 评论(2) 推荐(1) 编辑
摘要:FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、 阅读全文
posted @ 2018-01-15 08:38 欢醉 阅读(10612) 评论(0) 推荐(1) 编辑
摘要:大部分人都说是在页里或web.config里加EnableEventValidation="false" EnableViewStateMac="false" ViewStateEncryptionMode="Never" 这些属性的设置。但是这并不从根本上解决问题,相反这样做了反而更加不安全。 为 阅读全文
posted @ 2017-11-21 13:24 欢醉 阅读(7677) 评论(0) 推荐(0) 编辑
摘要:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库 阅读全文
posted @ 2017-06-23 09:00 欢醉 阅读(5916) 评论(3) 推荐(2) 编辑
摘要:在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息,甚至包括点击的位置,我们也经常发现自己刚搜完一个东西,再打开网页时每个小广告都会出现与之相关联的商品或信息,在感叹智能的同时不惊想 什么时候泄露的行踪。 许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分 阅读全文
posted @ 2017-05-26 08:53 欢醉 阅读(8563) 评论(6) 推荐(7) 编辑
摘要:Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA)。网上也有很多开发的文章,在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理。但是编写、调试Ha 阅读全文
posted @ 2017-05-17 08:43 欢醉 阅读(3104) 评论(0) 推荐(2) 编辑
摘要:经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本 阅读全文
posted @ 2017-05-10 08:56 欢醉 阅读(1466) 评论(0) 推荐(2) 编辑
摘要:由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。 VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要 阅读全文
posted @ 2017-05-08 08:42 欢醉 阅读(830) 评论(0) 推荐(2) 编辑
摘要:在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数据分析,学习,如双十一淘宝的交易量的实时展示。 大数据什么叫大?4个特征: 体量化 Volume,就是量大。 多样化 Variety,可能是结构 阅读全文
posted @ 2017-05-03 08:54 欢醉 阅读(6776) 评论(3) 推荐(2) 编辑
摘要:我们知道如果要向远程服务器传输数据和操作必须输入用户名和密码远程登录服务器 ,或用FTP等协议,都需要权限控制。 然而如果是两台服务器间的软件需要通讯和数据传输,如hadoop集群中机器互访,是不是每次也要输入用户名和密码?那是不是很麻烦?下面介绍SSH来解决这个问题(不是JAVA中的SSH概念) 阅读全文
posted @ 2017-04-18 08:46 欢醉 阅读(4302) 评论(2) 推荐(1) 编辑
摘要:说到分布式开发Zookeeper是必须了解和掌握的,分布式消息服务kafka 、hbase 到hadoop等分布式大数据处理都会用到Zookeeper,所以在此将Zookeeper作为基础来讲解。 Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命 阅读全文
posted @ 2017-03-20 08:41 欢醉 阅读(9838) 评论(0) 推荐(2) 编辑
摘要:在 入坑系列之HAProxy负载均衡 中已经详细讲过了怎么将高并发的请求按均衡算法分发到几台服务器上做均衡防止单机崩溃。 但这样的话有没有发现所有请求都经过了HAproxy代理,自然当并发量越来越高时HAproxy就成了瓶颈,突发时HAproxy就会挂掉,或HAproxy服务器出现故障,这时外部唯一 阅读全文
posted @ 2017-03-15 08:51 欢醉 阅读(1498) 评论(3) 推荐(3) 编辑
摘要:在大型系统设计中用代理在负载均衡是最常见的一种方式,而相对靠谱的解决方案中Nginx、HAProxy、LVS、F5在各大场中用得比较普遍,各有各的优势和使用场景,由于本次要使用到TCP,因此Nginx只能在HTTP层负载,因此用HAProxy来负载,为什么不用LVS?因为配置太麻烦。 HAProxy 阅读全文
posted @ 2017-03-13 08:41 欢醉 阅读(19208) 评论(1) 推荐(5) 编辑
摘要:之前在 一步一步在Windows中使用MyCat负载均衡 上篇 中已经讲了如何配置出MyCat。下面讲其相关的使用。 五、配置MyCat-eye 对于MyCat监控官网还提供一个MyCat-eye web系统来展示它的运行情况。 MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后 阅读全文
posted @ 2017-02-22 08:48 欢醉 阅读(3916) 评论(6) 推荐(6) 编辑
摘要:传统关系型数据库的分布式开发通常需要自己做,不仅耗时耗力而且效果不是很理想,当想快速搭建时,最初想到的是看有没有第三方,网上牛人还是很多的,做得比较好的其中之一Mycat,它是开源的分布式数据库系统,解决数据库的负载均衡,主备复制,读写分离,简单来说就是你只管直接与mycat通讯,至于分离什么的交给 阅读全文
posted @ 2017-02-21 08:58 欢醉 阅读(5486) 评论(8) 推荐(8) 编辑

点击右上角即可分享
微信分享提示