摘要：
第1章 Hadoop数据压缩 1.1 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数，压缩提高了网络带宽和磁盘空间效率。在运行MR程序时，I/O操作、网络传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。 鉴于磁盘 阅读全文
2021年4月21日 #
2021年4月20日 #
摘要：
第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。 2）集群中只要有半数以上节点存活，Zookeeper集群就 阅读全文
2021年4月15日 #
摘要：
第1章 MapReduce概述 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群 阅读全文
2021年4月14日 #
摘要：
话不多说，直接开干！！！ Block comment：块注释 /* */ Text：文档注释 /** */ Line comment：行注释 // 阅读全文
2021年4月12日 #
摘要：
第1章 HDFS概述 1.1 HDFS产出背景及定义 （1）产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 （2）定 阅读全文
2021年4月9日 #
摘要：
第1章 大数据概论 1.1 大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决海量数据的存储和海量数据的分析问题。 1.2 大数据特点 阅读全文
2021年4月6日 #
摘要：
第一章 Linux安装配置 1.1 vim/vi #安装 yum -y install vim* 常用命令 功能命令 复制当前行 yy 粘贴 p 撤销 u 删除当前行 dd 删除多行 d + n + d 移动到行头 ^ 移动到行尾 $ 移动到页头 gg 移动到页尾 G 移动到目标行 n + G 当前 阅读全文
摘要：
一、-bash：vim：未找到命令 可能还没安装，所以先检查是否安装，通过命令：rpm -qa | grep vim 若没有出现所需的安装包，则直接使用命令一起全部安装：yum -y install vim* 二、-bash: ifconfig: 未找到命令 第一步输入命令：yum search i 阅读全文
2021年4月1日 #
摘要：
一、每次在Linux控制终端输入某个数或者操作不正确时，windows系统就会发出它自带的声音提示，本人感觉这个声音很烦人，所以我们要关闭它 打开电脑的控制面板 点击"硬件和声音",然后选择更改系统声音 在声音方案中选择无声，点击确定即可完成修改 二、CentOS 7 网络配置 第一步： 1.打开V 阅读全文
2021年3月31日 #
摘要：
一、Spring Boot 入门 1、Spring Boot 简介 简化Spring应用开发的一个框架；整个Spring技术栈的一个大整合；J2EE开发的一站式解决方案； 2、微服务 2014，martin fowler 微服务：架构风格（服务微化） 一个应用应该是一组小型服务；可以通过HTTP的方 阅读全文