摘要:
整理SQL Server中经常出现的等待类型。 一,CXCONSUMER CXCONSUMER: Occurs with parallel query plans when a consumer thread waits for a producer thread to send rows. Thi 阅读全文
摘要:
在SQL Server的内部存储中,日期和时间不是以字符串的形式存储的,而是使用整数来存储的。使用特定的格式来区分日期部分和时间部分的偏移量,并通过基准日期和基准时间来还原真实的数据。 一,DateTime的内部存储 SQL Server存储引擎把DateTime类型存储为2个int32类型,共8个 阅读全文
摘要:
数据存储的基本单元是Page,每个Page是8KB,数据文件(mdf和ndf)占用的硬盘空间,逻辑上按照PageNumber进行划分,也就是说,可以把数据文件看作是PageNumber 从0到n的连续Page。硬盘IO的基本单元是Page,这意味着,SQL Server对整个Page执行读写操作。一 阅读全文
摘要:
一个表或Index使用的数据页空间是由IAM Page Chain来管理的。SQL Server 使用一个IAM(Index Allocation Map)Page来管理数据库文件中最多4GB的空间,一个IAM Page映射文件中4GB大小中的区(Extent),区由8个物理地址连续的Page构成, 阅读全文
摘要:
Query Store是SQL Server 2016中引入的、语句级别的性能监控和调优工具,它不仅自动捕获查询(Query)、执行计划(Plan)、运行时统计信息(Runtime)和等待(Wait)统计的信息,而且还可以识别出由于执行计划更改而导致的性能差异,简化了性能故障排除的流程,降低了性能优 阅读全文
摘要:
正则表达式在文本查询方面,不管是速度还是功能,都十分强大。虽然SQL Server数据库可以执行模糊查询(像like子句)和全文查询(Fulltext search),但是这两个子句只能查询简单的模式,无法应对复杂的查询需求。这是因为SQL Server没有执行正则表达式的内置函数,无法直接执行正则 阅读全文
摘要:
本文整理C#正则表达式的元字符,正则表达式是由字符构成的表达式,每个字符代表一个规则,表达式中的字符分为两种类型:普通字符和元字符。普通字符是指字面含义不变的字符,按照完全匹配的方式匹配文本,而元字符具有特殊的含义,代表一类字符。 把文本看作是字符流,每个字符放在一个位置上,例如,正则表达式 “Ro 阅读全文
摘要:
动态数据掩码(Dynamic Data Masking,简称为DDM)能够防止把敏感数据暴露给未经授权的用户。DDM作用于数据表的字段上,在查询结果中隐藏敏感数据。启用DDM不会修改表中的数据,只是把查询结果对未经授权的用户屏蔽,使未授权用户看到的查询结果是被掩码的,例如,第二列是号码列,前7个数字 阅读全文
摘要:
PowerBI Service 有时也称作PowerBI Online,是PowerBI的Saas(Software as a service)部分。在典型的PowerBI开发的工作流程中,用户使用PowerBI Desktop创建Report,然后把该Report发布到PowerBI Servic 阅读全文
摘要:
Power BI支持行级安全(Row-Level Security,RLS)的权限控制,用于限制用户对Dashboard、报表和DataSet的访问。用户浏览的报表是相同的,但是看到的数据却是不同的。 RLS内部通过DAX函数 username() 和 userprincipalname()来实现, 阅读全文
摘要:
SQL Server的安全主体主要分为Login、User和Role,不仅有ID属性,还有Name属性和SID属性,SID是指Security ID。 一,查看数据库用户 数据库主体,可以从sys.database_principals中查看,不仅包含User,还包括数据库角色(DATABASE_R 阅读全文
摘要:
连接远程桌面(Remote Desktop Connection)出现以下异常, 出现该Issue的原因,我推测是由于winlogon.exe进程没有关闭。 解决方法是使用其他账号登录到远程主机中,把与账号相关的winlogon.exe进程结束。 1,查询会话 使用其他用户的账号登录到远程主机,以管 阅读全文
摘要:
数组索引是指使用中括号 [] 来定位数据元素,不仅可以定位到单个元素,也可以定位到多个元素。索引基于0,并接受从数组末尾开始索引的负索引。 举个例子,正向索引从0开始,从数组开始向末尾依次加1递增;负向索引从-1开始,逐个元素 -1 ,不管使用正向索引还是负向索引,最右侧的元素的索引值是最大的,最左 阅读全文
摘要:
数据框是用于存储数据的二维结构,分为行和列,一行和一列的交叉位置是一个cell,该cell的位置是由行索引和列索引共同确定的。可以通过at/iat,或loc/iloc属性来访问数据框的元素,该属性后跟一个中括号:[row,col],中括号内 row表示行索引或行标签,col表示列索引或列标签。如果省 阅读全文
摘要:
在日常的数据处理中,经常会对一个DataFrame进行逐行、逐列和逐元素的操作,对应这些操作,Pandas中的map、apply和applymap可以解决绝大部分这样的数据处理需求。 一,apply apply是指沿着DataFrame的轴(axis)调用一个函数: DataFrame.apply( 阅读全文
摘要:
测试的版本:SQL Server 2017 内存优化表上可以创建哈希索引(Hash Index)和内存优化非聚集(NONCLUSTERED)索引,这两种类型的索引也是内存优化的,称作内存优化索引,和基于硬盘的传统索引有很大的区别: 索引结构存储在内存中,没有索引碎片和填充因子 对索引所作的更新不会写 阅读全文
摘要:
在实际的数据处理中,通常需要按照特定的需求对数据的格式进行处理,透视操作和逆透视操作有时是不可逆的。 一,透视和逆透视操作示例 数据透视的过程如下图所示,以Year为索引,按照Course列来透视Earning,把数据从长格式转换为宽格式: 数据逆透视的过程如下图所示,把数据从宽格式转换为长格式: 阅读全文
摘要:
Index对象负责管理轴标签、轴名称等元数据,是一个不可修改的、有序的、可以索引的ndarry对象。在构建Sereis或DataFrame时,所用到的任何数据或者array-like的标签,都会转换为一个Index对象。Index对象是一个从索引到数据值的映射,在pandas中,axis=0 表示行 阅读全文
摘要:
在数组中,用axis(轴)表示维度,对于三维数组,axis参数的取值通常有: 当axis=None时,表示把数组展开为一维数组; 当axis=0时,表示按照行(第一维)进行计算; 当axis=1时,表示按照列(第二维)进行计算; 当axis=2时,表示按照深度(第三维度)进行计算。 对NumPy的数 阅读全文
摘要:
序列内置一些函数,用于循环对序列的元素执行操作。 一,应用和转换函数 应用apply 对序列的各个元素应用函数: Series.apply(self, func, convert_dtype=True, args=(), **kwds) 参数注释: func:应用的函数,可以是自定义的函数,或Num 阅读全文