摘要:
Hadoop版本 1、Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题? 2、HDFS存在的问题 NameNode单点故障,难于应用于在线场景 HA 【high availability 高可用】 NameNode压力过大,且内存受限,影响扩展性 F【Federatio 阅读全文
摘要:
全分布式集群搭建 1、系统配置 1.1、时间 1.2、JDK 1.3、免秘钥登录 【我做的是节点之间免密登录,可以给主节点做单向的免秘钥登录】 【服务器时间必须统一】 【关闭防火墙,关闭安全机制】 这里我就不做过多的笔记,后面还有很多的配置等着,10几分钟左右的事情。 2、修改配置文件: 这是基于伪 阅读全文
摘要:
伪分布式集群搭建 1、伪分布式搭建 1.1、先配置JDK环境 上传后解压JDK到/usr/java/ export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=/usr/java/jdk1.8.0_221/jre export CLASSPATH 阅读全文
摘要:
HDFS入门 简介: 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统(NFS)虽然也称为分布 阅读全文
摘要:
Hadoop-HDFS 1、介绍 HDFS是Hadoop应用程序使用的主要分布式存储。HDFS群集主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成。《 HDFS体系结构指南》详细介绍了HDFS。本用户指南主要处理用户和管理员与HDFS群集的交互。HDFS体系结构图描述了 阅读全文
摘要:
Hadoop介绍 什么是Apache Hadoop? Apache™Hadoop®项目开发了用于可靠,可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架,该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地 阅读全文
摘要:
Nginx入门 简介: Nginx做为一个强大的Web服务器软件,具有高性能、高并发性和低内存占用的特点。此外,其也能够提供强大的反向代理功能。俄罗斯大约有超过20%的虚拟主机采用Nginx作为反向代理服务器,在国内也有腾讯、新浪、网易等多家网站在使用Nginx作为反向代理服务器。据Netcraft 阅读全文
摘要:
Keepalived 简介 Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自 阅读全文