摘要：
转者注: 下文中提到两者间一个底层的显著区别是S3支持不同的存储层(冷 热 存档),不同存储层有不同的收费, 而Blob只有一个存储层 目前BLOB 也跟进了这个feature, 此外,提供一下Azure Blob的三种冗余备份模式说明: Locally Redundant Storage (LRS 阅读全文
摘要：
在传统的关系型数据库中通过预计算预缓存来实现OLAP分析查询并不新鲜, 微软的SSAS就是典型的代表. 不过由于SSAS在国外兴起的时候, 国内的大公司还没有意识到SSAS对于企业管理和业务支持的作用, 加上SSAS的正版售价问题. 这项技术在中国国内并不是很流行. 现在大数据炙手可热, 通过预计算 阅读全文
摘要：
参考: https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-service-to-service-authenticate-using-active-directory 注意点主要在于配置connection: 阅读全文
摘要：
hortonworks hadoop conf path: /etc/hadoop/conf/ hortonworks 没有$HADOOP_HOME这个环境变量, 但有$SPARK_HOME(/usr/hdp/current/spark2-client), /usr/hdp/current/spar 阅读全文
摘要：
Spark的scala也好, 还是pyspark也好, 它们的编程思想都是函数式编程, 关于函数式编程的解析可以看这篇文章: http://www.ruanyifeng.com/blog/2012/04/functional_programming.html 函数式编程只是返回新的值, 不修改原有的 阅读全文
摘要：
USE SomeDb --modify SET NOCOUNT ON GO DECLARE updatestats CURSOR FOR SELECT table_schema, table_name FROM information_schema.tables where TABLE_TYPE = 阅读全文
摘要：
http://www.aboutyun.com/thread-21615-1-1.html 好文章 Hive从0.13开始加入了事务支持，在行级别提供完整的ACID特性，Hive在0.14时加入了对INSERT...VALUES,UPDATE,and DELETE的支持。对于在Hive中使用ACID 阅读全文
摘要：
首先最好的文档在微软的网站: https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/always-encrypted-database-engine?view=sql-server-2017 alw 阅读全文
摘要：
MapReduce中有三个步骤用于划分大数据集, 给mapper和reducer提供数据 InputSplit 第一个是InputSplit, 它把数据划分成若干块提供给mapper 默认情况下是根据数据文件的block, 来划分, 一个block对应一个mapper, 优先在block所在的机器上 阅读全文
摘要：
HDFS HDFS的权限系统和普通linux的权限系统一样 , 每个文件或者文件夹都有三种权限: 拥有者, 相关组和其他人. 同时HDFS也支持ACL的权限机制, ACL是基础的权限机制的扩充版, 它丰富了基础的权限机制里"其他人"的权限. 可以为"其他人"指定 fine-grained的权限. h 阅读全文