摘要： 1、limit限制调整 一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。 有一个配置属性可以开启，避免这种情况 对数据源进行抽样 hive.limit.optimize.enable=true 开启对数据源进行采样的功能 hive.limit.row.max.size 设置最 阅读全文

摘要： hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。 用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。 hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等 阅读全文

摘要： 打开powerdesigner，shift + ctrl + X 打开脚本窗口 输入执行的脚本，点 run 即可。 简单的导入Excel脚本 '开始 Option Explicit Dim mdl ' the current model Set mdl = ActiveModel MsgBox "当 阅读全文

摘要： 1、Hive的parse_url函数 parse_url(url, partToExtract[, key]) - extracts a part from a URL 解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUT 阅读全文

摘要： 如何针对当前需求，选择合适的应用架构，如何面向未来，保证架构平滑过渡，这个是软件开发者，特别是架构师，都需要深入思考的问题。 本文首发于InfoQ垂直号「聊聊架构」，ID：archtime 本文首发于InfoQ垂直号「聊聊架构」，ID：archtime 无架构，不系统，架构是大型系统的关键。从形上看 阅读全文

摘要： 0x00 前言 本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。 全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份 阅读全文

摘要： 开卷有益，工程师进阶推荐的十本书 之前看过一个段子，程序员的读书历程就是 x 语言入门 —> x 语言应用实践 —> x 语言高阶编程 —> x 语言的科学与艺术 —> 编程之美 —> 编程之道 —> 编程之禅—> 颈椎病康复指南 最开始听完的时候，我的内心是这样的， 然后是这样的， 讲完段子，我们 阅读全文

摘要： 以下是一位在数据分析领域打滚了N年后，写下的一些体会，一定能给新人一些借鉴的地方。（总结的不错，大家可以借鉴学习哦） 一、数据分析师有哪些要求？ 1、理论要求及对数字的敏感性，包括统计知识、市场研究、模型原理等。 2、工具使用，包括挖掘工具、数据库、常用办公软件（excel、PPT、word、脑图） 阅读全文

摘要： 数据管理器 在这一步，查询管理器执行了查询，需要从表和索引获取数据，于是向数据管理器提出请求。但是有 2 个问题： 关系型数据库使用事务模型，所以，当其他人在同一时刻使用或修改数据时，你无法得到这部分数据。 数据提取是数据库中速度最慢的操作，所以数据管理器需要足够聪明地获得数据并保存在内存缓冲区内。 阅读全文

摘要： Greenplum 数据库是最先进的分布式开源数据库技术，主要用来处理大规模的数据分析任务，包括数据仓库、商务智能（OLAP）和数据挖掘等。自2015年10月正式开源以来，受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。 一. Greenplum数据库简介 大 阅读全文