随笔分类 - 面试
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/81747361 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们开始spark+kafka: 转自:https://blog.csdn.net/qq_26803795/articl
阅读全文
摘要:转自: https://blog.csdn.net/qq_26803795/article/details/79543926 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们开始zookeeper: 1)zookeeper的本质是什么?它解决了哪些问题? ZooKeeper 本质上是一个
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79474604 本篇博客列举几个笔试或面试常见的小案例,其实它们的解决方案很多都是类似的,主要考察的也是大数据技术处理数据的思想,下面让我们一起分析总结: 1)海量日志数据,提取出某日访问百度
阅读全文
摘要:转自: https://blog.csdn.net/qq_26803795/article/details/79466592 本篇博客继续HIVE,将所有HIVE优化相关的内容深入清楚: hive 优化: 1)Map的优化 • 增加map的个数: set mapred.map.tasks=10; •
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79162203 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续HIVE: 1)hive 支持 not in 吗? 2)Hive 有哪些方式保存元数据,各有哪些优缺点? 3)h
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79161599 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续Hbase的尾巴,并开始HIVE: 1)怎样将mysql的数据导入到hbase中? 2)hbase的快速查找建立
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79152808 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续Hbase: 1)hive 跟 hbase 的区别是? 2)HBase 接收数据,如果短时间导入数量过多的话就会
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79142512 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,下面我们开始Hbase: 1)介绍一下 hbase 过滤器。 HBase为筛选数据提供了一组过滤器,通过这个过滤器可以在
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79131678 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们继续HDFS: 1)hdfs原理,以及各个模块的职责 Client:切分文件;访问或通过命令行管理HDFS;与Nam
阅读全文
摘要:转自:https://blog.csdn.net/qq_26803795/article/details/79109240 为了保证效率和质量,每篇文章发布6个知识点,由简单及难,我们从HDFS开始: 1)如何杀死一个job hadoop job –list ./hadoop job -kill j
阅读全文