摘要：
1、sqlserver2017安装PolyBase需要安装jdk7 ，注意必须是7 jdk10是不行的。 下载地址：http://dl-t1.wmzhe.com/30/30117/jdk_7u_1.7.0.0_64.exe 2、sqlserver安装完成之后是没有SSMS客户端管理环境的，这个是单独 阅读全文
摘要：
从数据仓库到大数据，数据平台这25年是怎样进化的？ 大数据平台 lxw1234@qq.com 2年前 (2016-03-23) 5778℃ 2评论 从「数据仓库」一词到现在的「大数据」，中间经历了太多的知识、架构模式的演进与变革。数据平台这25年究竟是怎样进化的？让InfoQ特约老司机为你讲解。 我 阅读全文
摘要：
上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文，已是一年前的事了，经过一年的沉淀与公司业务的发展，大数据平台的架构也有所演进，本文简单介绍了架构更新的部分。 整体架构 数据采集 对于关系型数据库以及部分NOSQL（Redis、MongoDB）中的数据，仍然使用DataHub按天 阅读全文
摘要：
本文作者：李栋，来自Kyligence公司，也是Apache Kylin Committer & PMC member，在加入Kyligence之前曾就职于eBay、微软。 1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（ 阅读全文
摘要：
早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动，在活动现场第一次了解到了民生银行的阿拉丁项目。由于时间关系，嘉宾现场分享的内容非常有限。凭着多年对行业研究和对解决方案的嗅觉与敏感性，意识到这个阿拉丁项目的完整性和独特性超出了以往我所接触过的所有 BI 领域的项目案例， 阅读全文
摘要：
关系数据库管理系统（RDBMS） 框架 分布式编程 分布式文件系统 文件数据模型 Key -Map 数据模型 键-值数据模型 图形数据模型 NewSQL数据库 列式数据库 时间序列数据库 类SQL处理 数据摄取 服务编程 调度 机器学习 基准测试 安全性 系统部署 应用程序 搜索引擎与框架 MySQ 阅读全文
摘要：
SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences），但是随着SPSS产品服务领 阅读全文
摘要：
本文转载自公众号 DBAplus社群 ， 作者：谢麟炯 谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。 海量数据实时OLAP场景的困境 阅读全文
摘要：
skynet任务监控与调度系统用户手册 https://wenku.baidu.com/view/18b636c6a5e9856a5712606f.html http://lxw1234.com/archives/2015/04/109.htm 浅谈分布式计算的开发与实现(一) 浅谈分布式计算的开发 阅读全文
摘要：
· Metadata：kylin中有大量的元数据信息，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。 https://www.cn 阅读全文
摘要：
至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。 第九章：我的数据要对外 通常对外（业务）提供数据访问，大体上包含以下方面： 离线数据的提供可以采用Sqoop、DataX等离线数据 阅读全文
摘要：
导读： 整体架构 数据采集 数据存储与分析 数据共享 数据应用 实时计算 任务调度与监控 元数据管理 总结 一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。 先大概列一下互联网行业数据仓库、数据平台的用途： 上面列出的内容看上去和传统行业数据仓库用途 阅读全文
摘要：
关键字：大数据平台、机器学习 贝贝网的主要产品是垂直的母婴类，母婴相对一般的电子商务网站有一些特点：第一个特点是商品周期短，在母婴网站上的商品，在线的时间不会超过5-7天，第二个是用户需求的变化快，在母婴行业，可能是用户的需求变化最快的领域，比如是用户处在怀孕当中，关心的是孕妈的一些问题，几个月以后 阅读全文
摘要：
Kylin 麒麟官网：http://kylin.apache.org/cn/download/ 关键字：olap、Kylin Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay 开发并贡献至开源社区。它 阅读全文
摘要：
本文转自Apache Kylin公众号apachekylin. Superset 是一个数据探索和可视化平台，设计用来提供直观的，可视化的，交互式的分析体验。 Superset 提供了两种分析数据源的方式： 1. 用户可以以单表形式直接查询多种数据源，包括 Presto、Hive、Impala、Sp 阅读全文
摘要：
关于数据仓库的概念，这里不再累赘。先看下面的图（数据仓库建设的7个主要环节）： 本文，主要针对第三块数据仓库模型设计来讨论交流，尤其是互联网行业。 一、关于数据仓库数据模型 1. 数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名；是业务人员和开发人员之间沟通的 阅读全文
摘要：
目前最新版RedisStorage 是基于 redis 2.6.2基础上,加上 leveldb存储引擎。 这个项目是源于 公司项目的passport 用户认证改造。公司一个项目运行了N年。积累了几千万用户,并且每天不断的高速增长中。原有的mysql分表模式已经不适合。所以寻找nosql的解决方案。经 阅读全文
摘要：
这篇文章主要介绍了超强、超详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下 【本教程目录】 1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 阅读全文