随笔分类 - SQL
摘要：假设我有一个看起来像这样的蜂巢表： ID event order_num A red 2 A blue 1 A yellow 3 B yellow 2 B green 1 ... 我正在尝试使用 collect_list 为每个 ID 生成事件列表。所以类似于以下内容： SELECT ID, col
阅读全文
摘要：背景 最近很多时候需要将hivesql转化为prestosql ,这里面有很多不能直接复用需要调整func甚至改用其他逻辑。 为了后续方便查询，后面将总结以下经常用到的sql记录下来方便后续使用。 爆炸函数实现 hive：SELECT student,score FROM tests LATERAL
阅读全文
摘要：目录 1、在 shell 脚本中定义变量，在 hive -e 中使用 2、通过 --hiveconf 定义变量 3、通过 --hivevar 定义变量 4、通过 -define 定义变量 操作的表： hive> select * from hbase_table_1; OK 1 zhangsan 2
阅读全文
摘要：很多研发人员程序连接SQL Server直接用的就是SA帐号。如果对数据库管理稍微严格一点的话，就不应该给应用程序这种权限，通常应用程序只需要进行增删改查，而很少有DDL操作，因此配置帐号时应该遵循“最小权限分配”的原则仅仅赋予所需的权限。 对于应用程序来说，最小的权限通常就是就是给予读权限，写权限
阅读全文
摘要：考勤统计中，一般都需要考虑到节假日信息和调休的日期，每年12月份国家会颁布新一年的节假日信息，我们可根据节假日信息，维护成相关的日期表，用于日期维护。本文介绍下相关实现方式。 日期表的创建如下： CREATE TABLE [dbo].[HR_WorkDayList]( [WorkDate] [var
阅读全文
摘要：背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。第二篇，我选择了触发器的主题，因为它是一个能提供很好例子的数据库对象，并且在这个对象中能够提出问题和解决问题。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很
阅读全文
摘要：简介 在数据库中，我们除了存储数据外，还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据，如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言，元数据是非常有价值的。下面我会介绍一下简单的原理，然后
阅读全文
摘要：转载：https://www.csdn.net/article/2015-01-13/2823530 一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为
阅读全文
摘要：背景 假如我们有关键数据存储在一个表里面，比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息，但是不能访问其他部门。一般我们都是在程序端实现这个功能，而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题，每一代的MS数据库都有关
阅读全文
摘要：问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗？ 当然，作为非DBA在测试甚至开发环境也会遇到这种问题，要求授予所有服务器数据库的某个权限给一
阅读全文
摘要：最近使用窗口函数的频率越来越高，这里打算简单介绍一下几个排序的函数，做一个引子希望以后这方面的问题能够更深入的理解，这里先简单介绍一下几个简单的排序函数及其相关子句，这里先从什么是排序开始吧。 排序函数是做什么的？ 排序函数的作用是基于一个结果集返回一个排序值。排序值就是一个数字，这个数字是典型的以
阅读全文
摘要：简介 Over子句在SQLServer 2005中回归，并且在2012中得到了扩展。这个功能主要结合窗口函数来使用；也可以在序列函数“NEXT VALUE FOR”使用。OVER子句确定哪些来自查询的列被应用到函数中，在函数中这些列被如何排序，并且何时重启函数计算。由于篇幅限制，本篇仅仅就OVER子
阅读全文
摘要：简介 对于数据库运维人员来说创建session或者查询时产生问题是常规情况，下面介绍一种很有效且不借助第三方工具的方式来解决类似问题。 最近开始接触运维工作，所以自己总结一些方案便于不懂数据库的同事解决一些不太紧要的数据库问题。类似方法很多理论也很多，我就不做深究，就是简单写一个方案，便于菜鸟使用的
阅读全文
摘要：SQLserver中用convert函数转换日期格式2008-01-15 15:51SQLserver中用convert函数转换日期格式 SQL Server中文版的默认的日期字段datetime格式是yyyy-mm-dd Thh:mm:ss.mmm 例如: select getdate() 200
阅读全文
摘要：背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了，在这个趋势下，如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函
阅读全文
摘要：1. 临时表适用数据量较大的情况，因为临时表可以建立索引 2. 表变量适用于数据较小的情况，表变量只能在定义时创建约束(PRIMARY KEY/UNIQUE)从而间接建立索引 3. 临时表是事务性的，数据会随着事务回滚而回滚，表变量是非事务性的 4. 临时表和表变量都存放在内存中，当内存存在压力时才
阅读全文
摘要：项目中使用BIGINT来存放时间，以下代码用来转换时间类型和BIGINT类型
阅读全文
摘要：简介 很多时候，当我执行查询调优的时候，引发查询性能糟糕的问题一般都是与参数化相关的。一方面，参数化是查询处理器核心的基本主题。它能显著影响查询性能。另一方面，大家很少对这一主题进行详尽的了解。 因此我准备写一个系列的随笔来介绍关于参数化的问题。第一篇我将介绍关于计划缓存的内容。为了理解参数化，有必
阅读全文
摘要：今天我将介绍在SQLServer 中的三种连接操作符类型，分别是：循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ，下面是下载地址：http://msftdbprodsamples.codeplex.com/re
阅读全文
摘要：先说下安装吧！感觉这东西跟mongodb差不多，安装和布置挺简单， 下载地址：https://github.com/dmajkic/redis/downloads 下载下来的包里有两个， 一个是32位的，一个是64位的。根据自己的实情情况选择，我的是32bit， 把这个文件夹复制到其它地方，比如D：
阅读全文
