摘要：
注解 代码特殊标记，格式：@注解名称（属性名称=属性值，） 注解作用在类、方法、属性上 目的：配置简洁 Spring针对Bean管理中创建对象提供注解 @Component @Service @Controller @Repository 基于注解方式实现对象创建 引入依赖 开启组件扫描 创建类，加 阅读全文
摘要：
MapReduce 分布式运算程序的编程框架 自己处理业务相关代码+自身的默认代码 优点： 易于编程，只需关心业务逻辑 良好扩展性：可动态增加服务器 高容错性：可以把没完成的任务转移到其他节点 适合海量数据计算（TB/PB) 缺点： 不擅长实时计算 mysql 不擅长流式计算 sparkstream 阅读全文
摘要：
Bean管理概念 Spring创建对象 Spring注入属性 Bean管理操作的两种方式 基于xml配置文件方式实现 创建对象：在Spring配置文件中，使用bean标签 在bean标签中添加对应属性：id:唯一标识，class:类全路径（包类属性） 默认执行无参数构造方法 注入属性 DI：依赖注入 阅读全文
摘要：
IOC 控制反转，把对象创建和对象之间的调用过程，交给Spring进行管理 使用IOC目的：为了耦合度降低 IOC底层原理 xml解析、工厂模式、反射 IOC过程 xml配置文件：配置创建的对象 有service类和dao类：创建工厂类（降低耦合度） xml解析 通过反射创建对象 IOC接口 IOC 阅读全文
摘要：
阅读全文
摘要：
阅读全文
摘要：
NN /usr/local/hadoop/tmp/dfs/name/current 2NN /usr/local/hadoop/tmp/dfs/namesecondary/current Fsimage：HDFS文件系统元数据的一个永久的检查点，其中包含HDFS文件系统的所有目录和文件inode的序 阅读全文
摘要：
HDFS写数据流程 在HDPS写数据过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。节点距离：两个节点到达最近的共同祖先的距离总和。 副本节点选择-机架感知 HDFS读数据流程 考虑最近原则以及负载均衡 阅读全文
摘要：
hadoop fd 具体命令/hdfs dfs 具体命令 启动Hadoop集群 sbin/start-dfs.sh 输出命令参数 hadoop fs -help rm 上传 -moveFromLocal：从本地剪切粘贴到HDFS -copyFromLocal：从本地复制到HDFS -put：等同于c 阅读全文
摘要：
HDFS中的文件中在物理上分块存储（df.blocksize) 默认大小2.x/3.x 128M，1.x 64M 寻址时间（找到目标block）为传输时间的1%时，为最佳状态 机械硬盘传输速率100M/s左右，固态硬盘200-300M/s（大厂256M） Q：为什么块的大小不能设置太小，也不能设置太 阅读全文