摘要:
MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决 海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现map() 和reduce()两个函数,即可实现分布式计算。这两个函数的形参是key、value对,表 示函数的输入 阅读全文
摘要:
一、HDFS中的block、packet、chunk 1.Block 在将文件上传到hdfs之间需要分块,这个块就是block,默认为128MB(hadoop2.X),当然可以更改。通过修改core-default.xml文件修改这个值,它是最大的一个单位。 2.Packet Packet是第二大的 阅读全文
摘要:
一.环境支持 操作系统: CentOS7 64 JDK环境: JDK 8 Hadoop环境: hadoop-2.8.0 虚拟机名称: master(主)+slave1(从1)+slave2(从2) CentOS7 64位百度网盘下载地址: 链接:https://pan.baidu.com/s/1dc 阅读全文
摘要:
什么叫做动态代理:就是不用我们手动去编写代理类了,系统会自动帮你生成,生成的类是在内存里,不占用硬盘空间,也不会像静态代理一样添加一个方法就需要改一遍代理类。动态代理就是一劳永逸。 废话不多说直接看代码 首先需要准备一个.properties配置文件 如图所示的文件: 接下来就开始编写我们的接口类了 阅读全文
摘要:
一、在IDEA中操作Git 1、file-setting-plugins 2、重启idea配置码云 3、配置Git 4、将项目代码托管到码云 右键项目,git >commit directory 提交新增代码 如果想要推送到码云上,需要点击Commit and push。 5、Idea从远程仓库上克 阅读全文
摘要:
一、Git简介 什么是Git? Git是世界上最先进的分布式版本控制系统。 二、集中式(SVN)VS分布式(GIT) 集中式版本控制系统:版本库是集中存放在中央服务器的,而干活的时候,用的都是自己的电脑,所以要先从中央服务器取得最新的版本,然后开始干活,干完活了,再把自己的活推送给中央服务器。中央服 阅读全文
摘要:
首先先介绍一下方法 Document:代表文档对象Element:节点对象Attribute:属性Text:文本SAXReader:读取器getRootElement():通过document对象获取该文档的根节点Element addElement("名称"):添加特定节点 返回值是要被添加的节点 阅读全文
摘要:
反射的定义 反射是指在程序运行期间,能够观察和修改类或者类的对象的属性和行为的特性 反射机制可以获取的功能 在运行时获取类的修饰符,包名,类名,实现的接口,继承的父类 在运行时获取类的所有属性名,修饰符,属性类型 在运行时获取所有方法,方法的返回值类型,方法名,方法参数数量,方法参数类型 在运行时调 阅读全文
摘要:
IP地址 什么是IP地址:唯一标识网络上的每一台计算机 IP地址组成:32位,由4个8位二进制数组成。如(127.0.0.1) 网络地址:标识计算机或网络设备所在的网段 主机地址:标识特定主机或者网络设备 (127.0.0.1)红色为网络地址,蓝色为主机地址(0~255) 查看本机IP地址:cmd 阅读全文