07 2018 档案

Hortonworks Yarn Logs

摘要：hortonworks hadoop conf path: /etc/hadoop/conf/ hortonworks 没有$HADOOP_HOME这个环境变量, 但有$SPARK_HOME(/usr/hdp/current/spark2-client), /usr/hdp/current/spar 阅读全文

posted @ 2018-07-25 22:44 爱知菜阅读(64) 评论(0) 推荐(0) 编辑

pyspark 浅析

摘要：Spark的scala也好, 还是pyspark也好, 它们的编程思想都是函数式编程, 关于函数式编程的解析可以看这篇文章: http://www.ruanyifeng.com/blog/2012/04/functional_programming.html 函数式编程只是返回新的值, 不修改原有的阅读全文

posted @ 2018-07-16 15:54 爱知菜阅读(21) 评论(0) 推荐(0) 编辑

遍历所有表自动更新索引信息

摘要：USE SomeDb --modify SET NOCOUNT ON GO DECLARE updatestats CURSOR FOR SELECT table_schema, table_name FROM information_schema.tables where TABLE_TYPE = 阅读全文

posted @ 2018-07-16 12:28 爱知菜阅读(16) 评论(0) 推荐(0) 编辑

Hive Transaction

摘要：http://www.aboutyun.com/thread-21615-1-1.html 好文章 Hive从0.13开始加入了事务支持，在行级别提供完整的ACID特性，Hive在0.14时加入了对INSERT...VALUES,UPDATE,and DELETE的支持。对于在Hive中使用ACID 阅读全文

posted @ 2018-07-11 21:56 爱知菜阅读(36) 评论(0) 推荐(0) 编辑

SQL Server 2016 Always Encrypted 解析

摘要：首先最好的文档在微软的网站: https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/always-encrypted-database-engine?view=sql-server-2017 alw 阅读全文

posted @ 2018-07-11 12:57 爱知菜阅读(74) 评论(0) 推荐(0) 编辑

MapReduce 中用于划分数据的那些函数以及它们在streaming中的实现

摘要：MapReduce中有三个步骤用于划分大数据集, 给mapper和reducer提供数据 InputSplit 第一个是InputSplit, 它把数据划分成若干块提供给mapper 默认情况下是根据数据文件的block, 来划分, 一个block对应一个mapper, 优先在block所在的机器上阅读全文

posted @ 2018-07-10 17:25 爱知菜阅读(54) 评论(0) 推荐(0) 编辑

HDFS Yarn Oozie Hive 权限管理

摘要：HDFS HDFS的权限系统和普通linux的权限系统一样 , 每个文件或者文件夹都有三种权限: 拥有者, 相关组和其他人. 同时HDFS也支持ACL的权限机制, ACL是基础的权限机制的扩充版, 它丰富了基础的权限机制里"其他人"的权限. 可以为"其他人"指定 fine-grained的权限. h 阅读全文

posted @ 2018-07-10 15:45 爱知菜阅读(40) 评论(0) 推荐(0) 编辑