12 2017 档案
摘要：参考 http://hbase.apache.org/book.html#_architecture Architecture 65. Overview 65.1. NoSQL? HBase是一种"NoSQL"数据库。“NoSQL”一般指的是非关系型数据库，我们知道，关系型数据库支持SQL，也就是说
阅读全文
摘要：http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括：资源管理和任务调度及监控，它们各自都是独立的守护进程。要实现这个目标，必须有一个全局
阅读全文
摘要：https://dev.mysql.com/doc/refman/5.7/en/data-type-overview.html
阅读全文
摘要：配置管理概述 Hive从<install-dir>/conf/hive-default.xml中读取它的默认配置 Hive配置目录的位置可以通过设置HIVE_CONF_DIR环境变量的值来改变 配置变量可以被改变，通过<install-dir>/conf/hive-site.xml中重新定义（PS：
阅读全文
摘要：https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压，并配置环境变量 在conf目录下新建一个hive-site.xml文件，配置如下 将mysq
阅读全文
摘要：http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前，在一个HDFS集群中NameNode存在单点故障。每个集群
阅读全文
摘要：http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层： Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作，比如，
阅读全文
摘要：Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对，框架会将中间结果按照key进行分组，然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被
阅读全文
摘要：http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块
阅读全文
摘要：http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction Hadoop分布式文件系统被设计运行在普通的硬件上。它和目前已经存在的分布式文件系统有很多相似的地方。然
阅读全文
摘要：参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-site.xml 5、修
阅读全文
摘要：What Is Apache Hadoop? Hadoop是一个可靠的、可扩展的、分布式计算的开源软件。 Hadoop是一个分布式处理大数据的框架。它被设计成从一台到上千台不等的服务器，每个服务器都提供本地计算和存储的能力。它并非依赖于硬件来提供高可用服务。 Hadoop这个工程包含如下模块： Ha
阅读全文
摘要：Part VII. Spring Cloud Sleuth 46. Introduction Spring Cloud Sleuth为Spring Cloud实现了分布式的跟踪解决方案 46.1 Terminology Spring Cloud Sleuth借用了Dapper的术语 Span: 基本
阅读全文
摘要：参考Spring Cloud官方文档第12章12.3、12.5、12.6小节 12.3 High Availability, Zones and Regions 默认情况下，每一个Eureka服务器同时也是一个Eureka客户端，并且至少需要一个和它对等的服务URL。如果你没有提供这样的对等的服务，
阅读全文
摘要：问题描述 在VMware Workstation中新建了一个虚拟机CentOS7，网络适配器选择的是“仅主机模式”，结果，物理机ping不通虚拟机，虚拟机也ping不通物理机。 原因分析 物理机ping不通虚拟机 （1）虚拟机防火墙的原因，关闭防火墙即可 虚拟机ping不通物理机 （1）ping的地
阅读全文
摘要：参考Spring Cloud官方文档第4~10章 官网文档中所有示例中的配置都在git上 https://github.com/spring-cloud-samples/config-repo Part II. Spring Cloud Config 4. Quick Start 查找属性资源的位置
阅读全文
摘要：参考Spring Cloud官方文档第19章 19. Router and Filter: Zuul 路由是微服务架构的一部分。例如，"/"可能映射到你的web应用，"/api/users"可能映射到你的user服务，"/api/shop"可能映射到你的shop服务。Zuul是一个基于JVM的路由器
阅读全文
摘要：参考Spring Cloud官方文档第13、14、15章 13. Circuit Breaker: Hystrix Clients Netflix提供了一个叫Hystrix的类库，它实现了断路器模式。在微服务架构中，通常一个微服务会调用多个其他的微服务。一个相对低层级的服务失败可能造成上层应用的级联
阅读全文
摘要：参考SpringCloud官网第16、17章 16. Client Side Load Balancer: Ribbon Ribbon是一个客户端的负载均衡器，它提供对大量的HTTP和TCP客户端的访问控制。Feign也是用的Ribbon，所以在这一章你也可以用@FeignClient Ribbon
阅读全文
摘要：Spring Cloud Spring Cloud为开发者快速构建通用的分布式系统（例如：配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性的Token、全局锁、领导者选举、分布式会话、集群状态）提供工具。 这里用的是最新版本Edgware 操作步骤 1、新建一个工程作为Eureka S
阅读全文
