摘要: Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大数 阅读全文
posted @ 2019-11-28 18:50 FFLYY 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 作者:PHP进阶架构师链接:https://zhuanlan.zhihu.com/p/90865738来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 一、linux的目录结构 / 下级目录结构 bin (binaries)存放二进制可执行文件 sbin (super 阅读全文
posted @ 2019-11-28 17:39 FFLYY 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 1.数组(Array)数组可以说是最基本的数据结构。它是将相同类型的一些数据有序的集合在一起。一个数组可以包含多个同类型的数据元素。可以按照数据类型分为整型数组、字符型数组、浮点型数组、对象数组等。可以按照维度分为一维数组、二维数组、多维数组等。 2.队列(Queue)队列也是一种特殊的线性表。只允 阅读全文
posted @ 2019-11-28 17:17 FFLYY 阅读(483) 评论(0) 推荐(0) 编辑
摘要: 一、什么是celery Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 二、Celery架构 Celery的架构由三部分组成,消息中间件(message broker)、任务执行单元(worker)和 任务执行结果存储(task re 阅读全文
posted @ 2019-11-28 16:54 FFLYY 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 最近研究了下异步任务神器-Celery,发现非常好用,可以说是高可用,假如你发出一个任务执行命令给 Celery,只要 Celery 的执行单元 (worker) 在运行,那么它一定会执行;如果执行单元 (worker) 出现故障,如断电,断网情况下,只要执行单元 (worker) 恢复运行,那么它 阅读全文
posted @ 2019-11-28 16:47 FFLYY 阅读(340) 评论(0) 推荐(0) 编辑
摘要: Celery: Celery是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 1、 celery工作流程: 消息中间件(message broker):Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括,Rabbi 阅读全文
posted @ 2019-11-28 16:44 FFLYY 阅读(1521) 评论(1) 推荐(1) 编辑
摘要: 使用MQ 以常见的订单系统为例,用户点击【下单】按钮之后的业务逻辑可能包括:扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑可能放在一起同步执行,随着业务的发展订单量增长,需要提升系统服务的性能,这时可以将一些不需要立即生效的操作拆分出来异步执行,比如发放红包、发短信通知等。这种场 阅读全文
posted @ 2019-11-28 16:37 FFLYY 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 什么是RPC 提到RPC(Remote Procedure Call),就躲不开提到分布式,这个促使RPC诞生的领域。 假设你有一个Calculator,以及它的实现类CalculatorImpl,那么单体应用时,要调用Calculator的add方法来执行一个加运算,你可以方法中直接使用,因为在同 阅读全文
posted @ 2019-11-28 16:30 FFLYY 阅读(258) 评论(0) 推荐(0) 编辑
摘要: 消息队列可以实现流量削峰、降低系统耦合度、提高系统性能等。 RabbitMQ是一个实现了AMQP协议(Advanced Message Queue Protocol)的消息队列。 AMQP简介 Amqp是一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件 阅读全文
posted @ 2019-11-28 16:27 FFLYY 阅读(259) 评论(0) 推荐(0) 编辑
摘要: rabbitmq 的使用场景有哪些? ①. 跨系统的异步通信,所有需要异步交互的地方都可以使用消息队列。就像我们除了打电话(同步)以外,还需要发短信,发电子邮件(异步)的通讯方式。 ②. 多个应用之间的耦合,由于消息是平台无关和语言无关的,而且语义上也不再是函数调用,因此更适合作为多个应用之间的松耦 阅读全文
posted @ 2019-11-28 15:29 FFLYY 阅读(207) 评论(0) 推荐(0) 编辑