随笔分类 - 数据库
各种类型数据库实现，与经验谈
摘要：我们在使用数据库进行查询时，很多时候会用到分页展示功能，因此除了像mybatis这样的完善的orm框架之外，还有pagehelper这样的插件帮助减轻我们的工作。 pagehelper的实现方式是，不需要我们去编写分页代码，只需要调用一个分页方法，出来的结果就是经过分页处理的。一来，我们的xml中的
阅读全文
摘要：数据库的重要性和通用性都不用说了，什么sql的通用性，sql优化之类的也不必说了，咱们今天来聊聊另一个有意思的话题：如何取一个筛选的反面案例。 1. 举几个正反案例的例子 为了让大家理解我们的假设场景，什么叫做正反案例？比如： 0. 正向案例为：取出年龄为空的用户，那么反面案例为：取出年龄不为空的用
阅读全文
摘要：上一篇文章中，我们看了get在es的实现过程，虽只是一个简单的单条查询，但看起来实现却非常之复杂。纠其原因，是我们围绕了太多外围的东西讲了，而其核心则无外乎三点：1. 定义id对应的机器节点； 2. 查找真正的docId； 3. 查找docId对应的field信息； 本篇，我们再看另一个es的重要功
阅读全文
摘要：前面讲的都是些比较大的东西，即框架层面的东西。今天咱们来个轻松点的，只讲一个点：如题，get单条记录的es查询实现。 1. get语义说明 es中要实现get的查询，直接就是一个url请求即可： curl http://localhost:9200/test/job/1 get是用于搜索单条es的数
阅读全文
摘要：消息中间件，说是一个通信组件也没有错，因为它的本职工作是做消息的传递。然而要做到高效的消息传递，很重要的一点是数据结构，数据结构设计的好坏，一定程度上决定了该消息组件的性能以及能力上限。 1. 消息中间件的实现方式概述 消息中间件实现起来自然是很难的，但我们可以从某些角度，简单了说说实现思路。 它的
阅读全文
摘要：在rocketmq中，nameserver充当了一个配置管理者的角色，看起来好似不太重要。然而它是一个不或缺的角色，没有了它的存在，各个broker就是一盘散沙，各自为战。 所以，实际上，在rocketmq中，nameserver也是一个领导者的角色。它可以决定哪个消息存储到哪里，哪个broker干
阅读全文
摘要：实际工作中使用ES有一段时间了，比起一直在理论上接触ES还是要好上一些的。今天就来总结一些实际工作中用到的一些ES功能吧。本文编排顺序，按使用的先后可能性排序编排。ES的功能很强大，但我们能用到的，也许并不会太多，所以本文可作为一个简单速查手册使用哟。 1. 查看集群状态 # 健康检查 GET _c
阅读全文
摘要：用hive来做数仓类操作，或者大数据的运算，是没有疑问的，至少在你没有更多选择之前。 当我们要hive来做类似于大批量数据的select时，也许问题就会发生了变化。 1. 通用解决方案:分页拉取 首先，我们要基于一个事实，就是没有哪个数据库可以无限制的提供我们select任意数据量的数据。比如常用的
阅读全文
摘要：之前一直使用mysql作为存储数据库，虽然中间偶尔使用sqlite作为本地数据库存储，hive作为简单查询工具，maxcompute作为大数据查询服务等等，但没有感觉多少差别。事实上，我们往往听说SQL-92标准之类的云云！ 后来遇上了oracle，且以其作为主要存储，这下就不得不好好了解其东西了。
阅读全文
