2020年11月19日
Hadoop优化
该文被密码保护。 阅读全文
posted @ 2020-11-19 18:56 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
2020年10月28日
Hive分析窗口函数
该文被密码保护。 阅读全文
posted @ 2020-10-28 15:36 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
Hive常用函数整理
该文被密码保护。 阅读全文
posted @ 2020-10-28 15:34 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
sqoop面试题
该文被密码保护。 阅读全文
posted @ 2020-10-28 14:39 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
2020年8月20日
shuffle调优
摘要： shuffle调优 调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发 阅读全文
posted @ 2020-08-20 19:00 Queenie攀 阅读(148) 评论(0) 推荐(0) 编辑
2020年8月13日
Scala
该文被密码保护。 阅读全文
posted @ 2020-08-13 10:12 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
2020年7月28日
大数据第二阶段面试题
该文被密码保护。 阅读全文
posted @ 2020-07-28 10:56 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
2020年1月4日
错题
该文被密码保护。 阅读全文
posted @ 2020-01-04 15:16 Queenie攀 阅读(0) 评论(0) 推荐(0) 编辑
集群启动知识点
摘要： 集群启动/停止Hadoop集群：start-all.sh stop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DF 阅读全文
posted @ 2020-01-04 14:46 Queenie攀 阅读(233) 评论(0) 推荐(0) 编辑
2020年1月2日
Zookeeper
摘要： zookeeper（相关问题）1. zookeeper是什么（概括）？Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题，ZooKeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的 阅读全文
posted @ 2020-01-02 19:39 Queenie攀 阅读(163) 评论(0) 推荐(0) 编辑