摘要: 功能:使用于相同的表从一个数据库转存到另一数据库; 方式:直连fdb并加载django,引用django的model完成; 原因:1、select * from *** 返回的数有很多None,直接inset into *** values ()会报错; 2、设计字段包含关键字,select和ins 阅读全文
posted @ 2018-08-06 15:33 Small_office 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 1、吞吐量 kafka吞吐量更高: 1)Zero Copy机制,内核copy数据直接copy到网络设备,不必经过内核到用户再到内核的copy,减小了copy次数和上下文切换次数,大大提高了效率。 2)磁盘顺序读写,减少了寻道等等的时间。 3)批量处理机制,服务端批量存储,客户端主动批量pull数据, 阅读全文
posted @ 2018-08-06 14:11 Small_office 阅读(9221) 评论(0) 推荐(4) 编辑
摘要: 1、普通生产消费: 执行consumer: 消费完成,获取到消息,并未回,队列消息已不存在: 需要回消息的情况,需要改造消费者: 取消注释,在消费时候回消息,队列消息被删除: 2、持久化 前面的队列和消息都是没有持久化的,当rabbitmq-server重启,队列就会丢失,所以下面讨论持久化: 可以 阅读全文
posted @ 2018-08-04 16:04 Small_office 阅读(991) 评论(0) 推荐(0) 编辑
摘要: 一、窗口移动1、在建立TCP连接时,接收端会告诉发送端自己的接收窗口。2、发送端在发送数据时,会先为数据分包,编号,然后先发送窗口大小的数据(数据大于窗口大小),小于则全部发送了,窗口后的不允许发送。3、发送的数据被放在缓存区,并为已发送数据启动定时器,确认超时则重发。4、然后发送端等待接收端的确认 阅读全文
posted @ 2018-08-03 16:42 Small_office 阅读(425) 评论(1) 推荐(0) 编辑
摘要: 3、kafka提供了偏移量的概念,允许消费者根据偏移量消费之前遗漏的内容,这基于kafka名义上的全量存储,可以保留大量的历史数据,历史保存时间是可配置的,一般是7天,如果偏移量定位到了已删除的位置那也会有问题,但是这种情况可能很小;每个保存的数据文件都是以偏移量命名的,当前要查的偏移量减去文件名就 阅读全文
posted @ 2018-08-01 10:41 Small_office 阅读(85144) 评论(3) 推荐(8) 编辑
摘要: import sys import etcd client = etcd.Client( host='127.0.0.1', port=2379, allow_reconnect=True) client.delete('/nodes/', recursive=True, dir=True) client.write('/nodes/n1', 1) print 'nod... 阅读全文
posted @ 2018-07-31 11:11 Small_office 阅读(2111) 评论(2) 推荐(0) 编辑
摘要: def quick_sort(array, left, right): if left < right: base_index = division(array, left, right) quick_sort(array, left, base_index - 1) # 对小于基准值的再次进行分割 quick_sort(array, b... 阅读全文
posted @ 2018-07-30 19:46 Small_office 阅读(136) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- import heapq import copy import datetime import random def get_max_heap(heap, size, root): # 在堆中做结构调整使得父节点的值大于子节点 left = 2 * root + 1 right =... 阅读全文
posted @ 2018-07-28 16:10 Small_office 阅读(1421) 评论(0) 推荐(0) 编辑
摘要: 可变类型有dict,list,不可变类型有int,float,string,tuple。 不可变:1、int int是不可变类型,在数值比较小的时候[-5, 256],被定义在了这个对象池里,引用时会自动引用整数对象池里的对象,内存位置不变 数值比较大时,情况就不同了,会为int对象分配新的内存地址 阅读全文
posted @ 2018-07-27 10:55 Small_office 阅读(256) 评论(1) 推荐(0) 编辑
摘要: 1、CPU虚拟化 KVM的虚拟化需要CPU硬件支持,当前,CPU厂商Intel和AMD都支持虚拟化了,执行命令egrep -o '(vmx|svm)' /proc/cpuinfo,如果有vmx或者svm的返回,则证明CPU支持虚拟化。 虚拟机CPU,内存以及一系列虚拟硬件由Hypervisor提供, 阅读全文
posted @ 2018-07-19 20:16 Small_office 阅读(391) 评论(1) 推荐(0) 编辑