海东青Lo

摘要： 1、linux环境变量（source /etc/profile 立即生效） /etc/profile 此文件为系统的每个用户设置环境变量，当用户第一次登录时，该文件被执行，并从/etc/profile.d目录的配置文件中搜集shell设置。 /etc/environment 设置整个系统的环境，而/ 阅读全文

摘要： 1、环境变量 /etc/profile ——java_home \ hadoop_home 主机IP绑定 /etc/hosts 2、配置SSH无密码访问 进Master主机，创建ssh-key 执行：ssh-keygen -t rsa 此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_ 阅读全文

摘要： Kafka 架构简介 Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点： ·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供稳定的性能。 阅读全文

摘要： 1、一旦消费者的数量超过分区的数量，新消费者将不会接收任何进一步的消息，直到现有消费者取消订阅任何一个消费者。 出现这种情况是因为Kafka中的每个消费者将被分配至少一个分区，并且一旦所有分区被分配给现有消费者，新消费者将必须等待。一个consumer可以消费多个partitions的消息。 2、  阅读全文

摘要： 、MapReduce计算模型 我们知道MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。 Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处 阅读全文

摘要： 1、文件必须以 #!/bin/sh 开头 符号#!用来告诉系统后面是执行文件的程序。 2、注释：以#开头 3、变量：所有变量都是字符串，不需要申明变量的类型 eg:a="hello world!" 引用变量两种：$a 、${a} 4、环境变量：export 5、常用unix命令 echo "hell 阅读全文

摘要： 一、GC 1、GC主要管理内存的方法区和堆 2、判定对象是否存活算法 引用计数法 给对象添加一个引用计数器count，有一个地方引用它时count+1，引用失效时count-1，当count=0时引用失效，此时回收。 无法解决对象间相互循环引用的问题。 可达性分析 通过一系列 "GC Root" 的 阅读全文

摘要： 参考：https://www.cnblogs.com/wuxl360/p/5817471.html 1、基本概念 zookeeper:分布式应用程序协调服务 解决分布式环境中多个进程的同步控制。让他们有序的去访问某种临界资源，防止造成脏数据。 2、基本服务：分布式锁服务 其他：配置维护、组服务、分布 阅读全文

摘要： 现在通过一则故事来学习paxos的算法的流程(2阶段提交)，有2个Client(老板，老板之间是竞争关系)和3个Acceptor(政府官员)： 这个过程保证了在某一时刻，某一个proposer的议题会形成一个多数派进行初步支持； 华丽的分割线，第一阶段结束 5.　现在进入第二阶段提交，现在propo 阅读全文

摘要： 1、概念 broker:分布式中的每台服务器即broker。 topic:每个消息类别放在一个topic。 partition:每个topic包含一个或多个partition。 producer:生产者 consumer:消费者 consumer group 2、存储格式 每个topic逻辑上就是一 阅读全文