邱明成

2016年3月3日

摘要： Client：客户端进程，负责提交作业到Master。 Application：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码； Cluste 阅读全文

posted @ 2016-03-03 20:49 邱明成阅读(402) 评论(0) 推荐(0) 编辑

MySQL半同步Semi-sync原理介绍【图说】

摘要：上图先。如果还不了解Semi-sync可以阅读（Manual | 概述） 1. 优点当事务返回客户端成功后，则日志一定在至少两台主机上存在。 MySQL在加载并开启Semi-sync插件后，每一个事务需等待备库接收日志后才返回给客户端。如果做的是小事务，两台主机的延迟又较小，则Semi-sync 阅读全文

posted @ 2016-03-03 14:47 邱明成阅读(2268) 评论(1) 推荐(0) 编辑

J_D 仓储所用mysql版本

摘要： 5.5.14 阅读全文

posted @ 2016-03-03 11:25 邱明成阅读(227) 评论(0) 推荐(0) 编辑

mysql数据库的物理文件结构

摘要： mysql两种常用存储引擎myisam和innodb myisam不支持事务；innodb支持事务，当前作为插件来安装 myisam的数据库的物理文件结构为： .frm文件：与表相关的元数据信息都存放在frm文件，包括表结构的定义信息等。各种存储引擎都需要frm文件，并且存放于数据库名目录下。 .m 阅读全文

posted @ 2016-03-03 11:04 邱明成阅读(5689) 评论(0) 推荐(1) 编辑

2016年3月2日

Open Replicator

摘要： Open Replicator ( http://code.google.com/p/open-replicator/ ) 开源了。Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL（就像一个普通的MySQL S 阅读全文

posted @ 2016-03-02 20:19 邱明成阅读(1016) 评论(0) 推荐(0) 编辑

Kafka的可靠性问题

摘要： a. Producer到broker 把request.required.acks设为1，丢会重发，丢的概率很小 b. Broker b.1 对于broker，落盘的数据，除非磁盘坏了，不会丢的 b.2 对于内存中没有flush的数据，broker重启会丢可以通过log.flush.interva 阅读全文

posted @ 2016-03-02 20:02 邱明成阅读(458) 评论(0) 推荐(0) 编辑

数据从文件传到套接字的路径

摘要：一般的将数据从文件传到套接字的路径：操作系统将数据从磁盘读到内核空间的页缓存中；应用将数据从内核空间读到用户空间的缓存中；应用将数据写回内存空间的套接字缓存中操作系统将数据从套接字缓存写到网卡缓存中，以便将数据经网络发出；这样做明显是低效的，这里有四次拷贝，两次系统调用。如果使用sendfile(J 阅读全文

posted @ 2016-03-02 19:48 邱明成阅读(538) 评论(0) 推荐(0) 编辑

内核空间与用户空间

摘要：首先，这个概念的由来，我认为跟CPU的发展有很大关系，在目前CPU的保护模式下，系统需要对其赖以运行的资料进行保护，为了保证操作系统内核资料，我们把内存空间进行划分，一部分为操作系统内核运行的空间，另一部分是应用程序运行的空间，所谓空间就是内存的地址。因此内核空间和用户空间的概念就出现了。在386以阅读全文

posted @ 2016-03-02 19:46 邱明成阅读(416) 评论(0) 推荐(1) 编辑

Mysql Binlog Dump原理

摘要： Register 首先，我们需要伪造一个slave，向master注册，这样master才会发送binlog event。注册很简单，就是向master发送COM_REGISTER_SLAVE命令，带上slave相关信息。这里需要注意，因为在MySQL的replication topology中，都阅读全文

posted @ 2016-03-02 16:40 邱明成阅读(6670) 评论(0) 推荐(0) 编辑

2016年2月28日

redis与memcached对比

摘要： 1 Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 2 Redis支持数据的备份，即master-slave模式的数据备份。 3 Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。在Redis中，并不是所阅读全文

posted @ 2016-02-28 06:32 邱明成阅读(189) 评论(0) 推荐(0) 编辑

公告