2019年8月29日
摘要: MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决 海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现map() 和reduce()两个函数,即可实现分布式计算。这两个函数的形参是key、value对,表 示函数的输入 阅读全文
posted @ 2019-08-29 09:24 灰色...天空 阅读(195) 评论(0) 推荐(1) 编辑
  2019年8月23日
摘要: 一、HDFS中的block、packet、chunk 1.Block 在将文件上传到hdfs之间需要分块,这个块就是block,默认为128MB(hadoop2.X),当然可以更改。通过修改core-default.xml文件修改这个值,它是最大的一个单位。 2.Packet Packet是第二大的 阅读全文
posted @ 2019-08-23 16:07 灰色...天空 阅读(200) 评论(0) 推荐(0) 编辑
  2019年8月22日
摘要: 一.环境支持 操作系统: CentOS7 64 JDK环境: JDK 8 Hadoop环境: hadoop-2.8.0 虚拟机名称: master(主)+slave1(从1)+slave2(从2) CentOS7 64位百度网盘下载地址: 链接:https://pan.baidu.com/s/1dc 阅读全文
posted @ 2019-08-22 17:46 灰色...天空 阅读(229) 评论(0) 推荐(0) 编辑
  2019年7月12日
摘要: 什么叫做动态代理:就是不用我们手动去编写代理类了,系统会自动帮你生成,生成的类是在内存里,不占用硬盘空间,也不会像静态代理一样添加一个方法就需要改一遍代理类。动态代理就是一劳永逸。 废话不多说直接看代码 首先需要准备一个.properties配置文件 如图所示的文件: 接下来就开始编写我们的接口类了 阅读全文
posted @ 2019-07-12 17:22 灰色...天空 阅读(1092) 评论(0) 推荐(0) 编辑
  2019年7月7日
摘要: 一、在IDEA中操作Git 1、file-setting-plugins 2、重启idea配置码云 3、配置Git 4、将项目代码托管到码云 右键项目,git >commit directory 提交新增代码 如果想要推送到码云上,需要点击Commit and push。 5、Idea从远程仓库上克 阅读全文
posted @ 2019-07-07 10:27 灰色...天空 阅读(3858) 评论(0) 推荐(0) 编辑
摘要: 一、Git简介 什么是Git? Git是世界上最先进的分布式版本控制系统。 二、集中式(SVN)VS分布式(GIT) 集中式版本控制系统:版本库是集中存放在中央服务器的,而干活的时候,用的都是自己的电脑,所以要先从中央服务器取得最新的版本,然后开始干活,干完活了,再把自己的活推送给中央服务器。中央服 阅读全文
posted @ 2019-07-07 10:20 灰色...天空 阅读(177) 评论(0) 推荐(0) 编辑
  2019年6月21日
摘要: 首先先介绍一下方法 Document:代表文档对象Element:节点对象Attribute:属性Text:文本SAXReader:读取器getRootElement():通过document对象获取该文档的根节点Element addElement("名称"):添加特定节点 返回值是要被添加的节点 阅读全文
posted @ 2019-06-21 14:21 灰色...天空 阅读(115) 评论(0) 推荐(0) 编辑
  2019年6月19日
摘要: 反射的定义 反射是指在程序运行期间,能够观察和修改类或者类的对象的属性和行为的特性 反射机制可以获取的功能 在运行时获取类的修饰符,包名,类名,实现的接口,继承的父类 在运行时获取类的所有属性名,修饰符,属性类型 在运行时获取所有方法,方法的返回值类型,方法名,方法参数数量,方法参数类型 在运行时调 阅读全文
posted @ 2019-06-19 16:47 灰色...天空 阅读(136) 评论(0) 推荐(0) 编辑
  2019年6月18日
摘要: IP地址 什么是IP地址:唯一标识网络上的每一台计算机 IP地址组成:32位,由4个8位二进制数组成。如(127.0.0.1) 网络地址:标识计算机或网络设备所在的网段 主机地址:标识特定主机或者网络设备 (127.0.0.1)红色为网络地址,蓝色为主机地址(0~255) 查看本机IP地址:cmd 阅读全文
posted @ 2019-06-18 16:21 灰色...天空 阅读(156) 评论(0) 推荐(0) 编辑
  2019年6月14日
摘要: 线程与进程的区别 线程:简单点来说就是线程是cpu调度的最小单位 进程:是cpu资源分配的最小单位 多线程 如果在一个进程中同时运行了多个线程,用来完成不同的工作,则称之为“多线程”多个线程交替占用CPU资源,而非真正的并行执行 多线程的好处 充分利用CPU的资源 简化编程模型 带来良好的用户体验 阅读全文
posted @ 2019-06-14 19:32 灰色...天空 阅读(163) 评论(0) 推荐(0) 编辑