2020年12月29日
kafka API
摘要： Producer API: 消息发送流程: Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程， 以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，S 阅读全文
posted @ 2020-12-29 10:32 芒果不氓 阅读(93) 评论(0) 推荐(0) 编辑
kafka
摘要： Kafka概述 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 传统消息队列的应用场景 使用消息队列的好处 1:解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2:可恢复性 系统的一部分组件失效时 阅读全文
posted @ 2020-12-29 10:19 芒果不氓 阅读(146) 评论(0) 推荐(0) 编辑
多线程
摘要： 1.什么进程? * 值得就是正在运行的程序,是系统进行资源分配和调用的独立单位 * 每一个进程都有它自己的内存空间和系统资源2.什么线程? * 是进程中的每个顺序控制流,是一条执行路径 * 一个进行如果只有一条执行流程,则为单线程 * 一个进程有多条执行路径,则为多线程3.什么是并行?什么是并发?  阅读全文
posted @ 2020-12-29 10:01 芒果不氓 阅读(99) 评论(0) 推荐(0) 编辑
2020年7月26日
Hadoop资源调度器
摘要： Hadoop调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler 具体设置详见：yarn-default.xml文件 <property> <description>The cla 阅读全文
posted @ 2020-07-26 18:56 芒果不氓 阅读(154) 评论(0) 推荐(0) 编辑
整合Hadoop(包括:hdfs,mapreduce,yarn)
摘要： Hdfs: 一、HDFS运行机制 概述：用户的文件会被切块后存储在多台datanode节点中，并且每个文件在整个集群中存放多个副本，副本的数量可以通过修改配置自己设定。 HDFS：Hadoop Distributed file system，分布式文件系统。 HDFS的机制： HDFS集群中，有两种 阅读全文
posted @ 2020-07-26 18:41 芒果不氓 阅读(395) 评论(0) 推荐(0) 编辑
Hadoop序列化概述
摘要： 序列化概述: 阅读全文
posted @ 2020-07-26 18:10 芒果不氓 阅读(139) 评论(0) 推荐(0) 编辑
2020年7月4日
POSIX介绍
摘要： POSIX介绍：POSIX表示可移植操作系统接口（Portable Operating System Interface ，缩写为 POSIX ），POSIX标准定义了操作系统应该为应用程序提供的接口标准，是IEEE为要在各种UNIX操作系统上运行的软件而定义的一系列API标准的总称，其正式称呼为I 阅读全文
posted @ 2020-07-04 15:28 芒果不氓 阅读(337) 评论(0) 推荐(0) 编辑
shell中sh和bash的区别
摘要： 在shell脚本的开头往往有一句话来定义使用哪种sh解释器来解释脚本。目前研发送测的shell脚本中主要有以下两种方式：(1) #!/bin/sh(2) #!/bin/bash脚本test.sh内容：#!/bin/shsource pcy.sh #pcy.sh并不存在echo hello执行./te 阅读全文
posted @ 2020-07-04 15:26 芒果不氓 阅读(2449) 评论(0) 推荐(1) 编辑
2020年6月1日
HDFS四大核心
摘要： 心跳机制 安全模式 机架策略 负载均衡 阅读全文
posted @ 2020-06-01 14:48 芒果不氓 阅读(154) 评论(0) 推荐(0) 编辑
2020年2月16日
Shell脚本心得.介绍和总结
摘要： shell的历史 shell概况 人想要和操作系统进行交互，传送指令给操作系统，就需要使用到shell。宏义的shell是人与机器交互的页面，它分为两种，一种是有界面的，比如GUI，另外一种是没有界面的，完全是指令操作的(CLI)。我们一般说的shell指的就是命令行界面。 Bourne shell 阅读全文
posted @ 2020-02-16 13:56 芒果不氓 阅读(551) 评论(0) 推荐(0) 编辑