摘要: 查询的基本操作 1.选择操作 对应的是限制条件,操作对象是二维表的行。 优化方式:选择操作下推 目的:尽量减少连接操作前的元租数,使得中间临时关系尽量少(元祖数少,连接得到的元组数就少) 好处:这样可能减少IO和CPU的消耗、节约内存空间 2.投影操作 对用的SELECT查询的目的列对象 优化方式: 阅读全文
posted @ 2017-09-08 23:17 一寂知千秋 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 五大优化技术 1.查询重用 查询重用是指尽可能利用先前的执行结果,以达到节约查询计算全过程的时间并减少资源消耗的目的。 目前查询重用技术主要集中在两个方面: 1)查询结果重用 在缓存区中分配一块缓冲区,存放该SQL语句文本和最后的结果集,当同样的SQl输入时,立即把结果返回。 2)查询计划的重用 缓 阅读全文
posted @ 2017-09-08 23:16 一寂知千秋 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 1.怎样才算是数据库? ACID,是指在数据库管理系统中事务所具有的四个特性 1)原子性 2)一致性 3)隔离性 4)持久性 关系数据库,基于关系代数,数据库形式是表格,数据能以不同方式被存取或重新召集。 2.关系代数(简单的来讲就是一种抽象的查询语句) 从数学层面上来讲,关系代数是支持叫做逆反的对 阅读全文
posted @ 2017-09-08 23:15 一寂知千秋 阅读(833) 评论(0) 推荐(0) 编辑
摘要: GC简介 Java堆内存 在运行时,java的实例被存放在堆内存区域。当一个对象不在被引用,满足条件就会从堆内存移除并且内存空间被回收。堆内存由三个主要区域 1.新生代 Eden空间(任何实例都通过Eden空间进入运行时内存区域) S0 Survivor(存在时间久的实例将会从Eden空间移动到S0 阅读全文
posted @ 2017-09-06 16:54 一寂知千秋 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 1.启动流程 2.JVM基本结构 PC寄存器 》每个线程拥有一个PC寄存器 》在线程创建时创建 》指向下一条指令的地址 》执行本地方法时,PC的值为undefined 方法区 保存装载的类的源信息 》类型的常量池 》字段、方法信息 》方法字节码 通常和永久区(Perm)关联在一起 Java堆 》和程 阅读全文
posted @ 2017-09-05 22:56 一寂知千秋 阅读(322) 评论(0) 推荐(0) 编辑
摘要: Kafka高性能之道 高效使用磁盘 零拷贝 批处理和压缩 Partition ISR 高效使用磁盘 》顺序写cipan 》Append Only(数据不更新,无记录级的数据删除,只会整个segment删除) 》充分利用Page Cache 》支持多Directory(可使用多Drive) 零拷贝 》 阅读全文
posted @ 2017-08-30 17:00 一寂知千秋 阅读(240) 评论(0) 推荐(0) 编辑
摘要: Overview Concepts Topology Time States Window Hopping time windows Tumbling time windows Sliding windows Join API Low-Level Processor API High-Level D 阅读全文
posted @ 2017-08-29 16:30 一寂知千秋 阅读(493) 评论(0) 推荐(0) 编辑
摘要: New API Producer 》增加发送回调 》重构Partition 统一High Level API与Low Level API 》从kafka.consumer和kafka.javaapi到kafka.clients.consumer(Kafka将所有的相关类都放在这个包中) 》subsc 阅读全文
posted @ 2017-08-29 16:29 一寂知千秋 阅读(321) 评论(0) 推荐(0) 编辑
摘要: Zookeeepr实现分布式集群监控 Zookeeper中节点有两种:临时节点和永久节点 从类型上看节点又可以分为四种节点类型:PERSIST,PERSIST_SEQUENTIAL,EPHEMERAL,EPHEMERAL_SEQUENTIAL 临时节点有一个特点:当创建临时节点的程序停掉之后,这个临 阅读全文
posted @ 2017-08-26 17:02 一寂知千秋 阅读(4258) 评论(0) 推荐(0) 编辑
摘要: Consumer High Level Consumer 简要:很多应用场景下,客户程序知识希望从Kafka顺序读取并处理数据,并不太关心具体的offset。 同时也希望提供一些语义,例如同一条消息只被一个Consumer消费(单播)或被所有Consumer消费(广播)。 Kafka High Le 阅读全文
posted @ 2017-08-25 16:41 一寂知千秋 阅读(546) 评论(0) 推荐(0) 编辑