摘要:
注解 代码特殊标记,格式:@注解名称(属性名称=属性值,) 注解作用在类、方法、属性上 目的:配置简洁 Spring针对Bean管理中创建对象提供注解 @Component @Service @Controller @Repository 基于注解方式实现对象创建 引入依赖 开启组件扫描 创建类,加 阅读全文
摘要:
MapReduce 分布式运算程序的编程框架 自己处理业务相关代码+自身的默认代码 优点: 易于编程,只需关心业务逻辑 良好扩展性:可动态增加服务器 高容错性:可以把没完成的任务转移到其他节点 适合海量数据计算(TB/PB) 缺点: 不擅长实时计算 mysql 不擅长流式计算 sparkstream 阅读全文
摘要:
Bean管理概念 Spring创建对象 Spring注入属性 Bean管理操作的两种方式 基于xml配置文件方式实现 创建对象:在Spring配置文件中,使用bean标签 在bean标签中添加对应属性:id:唯一标识,class:类全路径(包类属性) 默认执行无参数构造方法 注入属性 DI:依赖注入 阅读全文
摘要:
IOC 控制反转,把对象创建和对象之间的调用过程,交给Spring进行管理 使用IOC目的:为了耦合度降低 IOC底层原理 xml解析、工厂模式、反射 IOC过程 xml配置文件:配置创建的对象 有service类和dao类:创建工厂类(降低耦合度) xml解析 通过反射创建对象 IOC接口 IOC 阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
NN /usr/local/hadoop/tmp/dfs/name/current 2NN /usr/local/hadoop/tmp/dfs/namesecondary/current Fsimage:HDFS文件系统元数据的一个永久的检查点,其中包含HDFS文件系统的所有目录和文件inode的序 阅读全文
摘要:
HDFS写数据流程 在HDPS写数据过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。节点距离:两个节点到达最近的共同祖先的距离总和。 副本节点选择-机架感知 HDFS读数据流程 考虑最近原则以及负载均衡 阅读全文
摘要:
hadoop fd 具体命令/hdfs dfs 具体命令 启动Hadoop集群 sbin/start-dfs.sh 输出命令参数 hadoop fs -help rm 上传 -moveFromLocal:从本地剪切粘贴到HDFS -copyFromLocal:从本地复制到HDFS -put:等同于c 阅读全文
摘要:
HDFS中的文件中在物理上分块存储(df.blocksize) 默认大小2.x/3.x 128M,1.x 64M 寻址时间(找到目标block)为传输时间的1%时,为最佳状态 机械硬盘传输速率100M/s左右,固态硬盘200-300M/s(大厂256M) Q:为什么块的大小不能设置太小,也不能设置太 阅读全文