摘要：
1.选举机制 1 所谓zookeeper选举机制是指在zookeeper集群中, 2 有leader角色,有fellower角色,是如何进行角色分配的; 3 zookeeper默认的算法是FastLeaderElection 采用投票数大于半数则胜出 2.概念 2.1.服务器id 1 1.比如有三台 阅读全文
摘要：
1.创建虚拟机 自定义一个 2.新建虚拟机向导 3.创建虚拟机空白光盘 4.创建centOS对应版本 5.虚拟机命名和定位磁盘位置 6.处理器配置 7.设置内存2G 8.网络类型选择 9.选择IO控制器类型 推荐就可以 10.选择磁盘类型 推荐就可以 11.创建新的虚拟机 12.设置磁盘容量 13. 阅读全文
摘要：
1.导入文件全部错误 2.在本地建一个与数据库同名的数据库 3.在菜单栏选择工具-->数据传输 4.选择文件 导入自己的sql文件 5.我的是27个表 6.导入成功 阅读全文
摘要：
(1):先启动hadoop,zookeeper(本地模式)随便选择一台虚拟机(node7-4)(2):将hive的包传到虚拟机上;# 当前目录:/data/hive# 解压压缩包tar -xzvf apache-hive-3.1.2-bin.tar.gz# 修改名字,把版本号去掉mv apache- 阅读全文
摘要：
src版本包含源码，主要给高级开发人员准备，可以去修改其中的源码改变或扩展功能。 bin版本主要是一般开发人员或使用者准备，只需要使用其固化功能即可。 阅读全文
摘要：
1.点击“开始”运行cmd(window+R) 2.进入到下面界面： 3.进入到我们要进入的目录：cd 4.输入mysql -u root -p ，这里root是用户名 如果报错：ERROR 2003 (HY000): Can't connect to MySQL server on 'localh 阅读全文
摘要：
1.synchronized的实现原理以及锁优化? 答:synchronized作用于方法或者代码块.保证被修饰的代码在同一时间只能别一个线程访问, Synchronized修饰代码块时,JVM采用 montorenter、montiorexit两个指令来实现同步 Synchronized修饰同步方 阅读全文
摘要：
内部表和外部表的区别? 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默 阅读全文
摘要：
1. 画图详解Spark工作流程，以及在集群上和各个角色的对应的关系 当 jar 在客户端进行spark-submit的时候spark流程就开始了,先概括的介绍一下流程, 在讲述一下流程中的重要组件 1.application启动之后, 会在本地启动一个Driver进程 用于控制整个流程,(假设我们 阅读全文
摘要：
小文件处理专题 Hadoop 小文件优化方法 2.3.1 Hadoop小文件弊端 HDFS上每个文件都要在NameNode中都有对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，一方面会大量占用NameNode的内存空间，另一方面就是元数据过多的情况查找速度变慢。 小文件过 阅读全文