我可不是为了被全人类喜欢才活着的,只要对于某一个人来|

王陸

园龄:6年11个月粉丝:2049关注:178

11 2021 档案

Flume 进阶
摘要:第一章 Flume 事务 Source向Channel推,Sink从Channel拉。 第二章 Flume Agent 内部原理 重要组件: ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型,分别是 **Rep
110
0
0
Kafka-外部系统集成
摘要:第一章 集成 Flume Flume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者,也可以用于Flume 的消费者。 1.1 Flume 生产者 (1)启动 kafka 集群 [atguigu@hadoop102 ~]$ zk.sh start [atguigu@hadoop1
737
0
0
Flume日志采集框架基础
摘要:第一章 Flume 概述 日志收集面临的问题: 数据源种类繁多 数据源是物理分布的 流式,不间断产生 对可靠性有一定要求 1.1 Flume定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume基于流式架构,灵活简单。 Flume 采用了
667
0
0
《网络协议从入门到底层原理》笔记(五)网络层、网络层首部
摘要:第一章 网络层概述 网络层向上只提供简单灵活的、无连接的、尽最大努力交付的数据报服务。网络在发送分组时不需要先建立连接。每一个分组(即 IP 数据报)独立发送,与其前后的分组无关(不进行编号)。网络层不提供服务质量的承诺。即所传送的分组可能出错、丢失、重复和失序(不按序到达终点),当然也不保证分组传
371
0
0
Kafka框架基础
摘要:第一章 Kafka 概述 1.1 定义 为了降低数据生产者和消费者之间的耦合性、平衡两者处理能力的不对等,消息队列出现了。 消息队列是位于生产者和消费者之间的“中间件”,它解除了生产者和消费者的直接依赖关系,使得软件架构更容易扩展和伸缩;它能够缓冲生产者产生的数据,防止消费者无法及时处理生产者产生的
735
1
1
Java并发编程——共享模型之内存( JMM、-原子性、可见性、有序性、volatile原理)
摘要:之前讲的synchronized底层Monitor主要关注的是访问共享变量时,保证临界区代码的原子性 。 Java并发编程——共享模型的线程安全问题 Java并发编程——共享模型之管程 下面进一步深入学习共享变量在多线程间的【可见性】问题与多条指令执行时的【有序性】问题。 一、 Java 内存模型
250
0
0
Hadoop——Yarn
摘要:第一章 Yarn资源调度器 思考: 1)如何管理集群资源? 2)如何给任务合理分配资源? Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.1 Yarn基础架构 YARN主要由Res
447
0
0
线性回归(最小二乘法和梯度下降)
摘要:一、定义与公式 线性回归(Linear regression)是一种线性模型,利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 具体来说,利用线性回归模型,可以从一组输入变量x的线性组合中,计算输出变量y。 只有一个自变量的情况称为单变量回归,大于一
981
0
0
考研英语复试问题
摘要:一、自由问答 1、没听清或没听懂老师的问题 I'm sorry, I didn't understand/get/catch the question, could you repeat it in another way?(麻烦老师解释问题) Sorry, I didn't really unde
3316
0
19
Hive常用函数大全
摘要:第一章 算数运算 1.1 加法: + 语法:A + B ​ 操作类型:所有数值类型 ​ 说明: 返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。比如,int + int 一般结果为int类型,而 int + double 一般结果为double类型
518
0
0
MySQL高级—— 优化SQL步骤、索引使用
摘要:第一章 优化SQL步骤 在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多 SQL 语句开始逐渐显露出性能问题,对生产的影响也越来越大,此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈,因此我们必须要对
124
0
0
Zookeeper框架基础
摘要:第一章 Zookeeper 入门 1.1 概述 在分布式系统中,服务(或组件)之间的协调是非常重要的,它构成了分布式系统的基础。 Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管
305
0
0
Hadoop——数据压缩
摘要:一、概述 数据压缩能够通过一定的编码技术减少数据存储空间,是一种用CPU资源换取IO资源的优化技术。 1)压缩的好处和坏处 压缩的优点:以减少磁盘IO、减少磁盘存储空间。 压缩的缺点:增加CPU开销。 2)压缩原则 运算密集型的Job,少用压缩 IO密集型的Job,多用压缩 二、MR支持的压缩编码
198
0
0
MySQL高级——体系结构、存储引擎
摘要:一、MySQL的体系结构 整个MySQL Server由以下组成 Connection Pool : 连接池组件 Management Services & Utilities : 管理服务和工具组件 SQL Interface : SQL接口组件 Parser : 查询分析器组件 Optimize
104
0
0
MySQL高级——索引、视图、存储过程和函数、触发器
摘要:零、前导知识 0.1 SQL语言的分类 摘自:https://www.cnblogs.com/fan-yuan/p/7879353.html SQL语言共分为四大类:数据查询语言DQL,数据操纵语言DML,数据定义语言DDL,数据控制语言DCL。 1. 数据查询语言DQL数据查询语言DQL基本结构是
276
0
0
《网络协议从入门到底层原理》笔记(四)网络互联模型、物理层、数据链路层
摘要:第一章 网络互联模型 为了更好地促进互联网络的研究和发展,国际标准化组织 ISO 在 1985 年制定了网络互连模型 OSI 参考模型(Open System Interconnect Reference Model),具有 7 层结构 TCP/IP是一个四层的体系结构,从实质上讲,只有上边三层,网
415
0
1
大数据经典论文——Paxos 《Paxos Made Simple》
摘要:https://lamport.azurewebsites.net/pubs/paxos-simple.pdf 第一章 Paxos算法背景 Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法,使其获得2013年图灵奖。 Paxos由Lamport于1998年在《The Par
1909
2
0
Java——HashMap集合详解
摘要:一、HashMap集合简介 1.1 介绍 HashMap基于哈希表的Map接口实现,是以key-value存储形式存在,即主要用来存放键值对。HashMap 的实现不是同步的,这意味着它不是线程安全的。它的key、value都可以为null。此外,HashMap中的映射不是有序的。 JDK1.8 之
835
0
0
点击右上角即可分享
微信分享提示
深色
回顶
收起