11 2019 档案
摘要：hive知识点总结 1.什么是HIVE? 1.hive是hadoop生态圈的一个工具，提供一种结构化查询语言，可以查询HDFS或者其他文件系统上的文件。 2.hive操作： 1.hive一次使用命令：hive -S -e "select * from mytable limit 3"; //临时应急
阅读全文
摘要：zookeeper总结 1.功能总结： 1.可以为客户端管理少量数据kv，比如 ：/aa "hello" /aa/bb "tom" 2.可以为客户端监听数据节点的状态，并在数据节点发生变化时通知客户端 2.zk引用举例： 1.服务器上下线的动态感知：/servers/server0001 "ip,p
阅读全文
摘要：大数据面试题整理 关于Java的面试题：关于虚拟机的面试题： 1.hashmap底层? 2.Java进程中断怎么处理? 3.介绍下面向对象? 4.介绍下多态? 5.方法重载和重写? 6.这俩哪个属于多态? 7.说下多线程? 8.实现方式有哪些，区别? 9.同步锁 互斥，为什么常量不能做锁? 10.说
阅读全文
摘要：HDFS 1.hdfs整体工作机制： 1>hdfs:分布式文件系统。 hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 2>有目录结构，顶层目录是： / 3>系统中存放的就是文件 4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别： 1>单
阅读全文
摘要：spark项目技术点整理 1.性能调优： 1>分配更多的资源：性能调优的王道就是分配和增加更多的资源。写完一个spark作业后第一个要是调节最优的资源配置，能够分配的资源达到你的能力范围的顶端后，才是考虑以后的性能调优。 2>分配那些资源：executor,cpu per executor,memo
阅读全文
