摘要：
1、/var/log/boot.log 该文件记录了系统在引导过程中发生的事件，就是Linux系统开机自检过程显示的信息 2、/var/log/syslog 只记录警告信息，常常是系统出问题的信息，所以更应该关注该文件 3、/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系统的启动 阅读全文
摘要：
1、读取参数介绍 属性 默认值 描述 read.split.target-size 134217728 (128 MB) 组合数据输入分割时的目标大小 read.split.metadata-target-size 33554432 (32 MB) 组合元数据输入分割时的目标大小 read.spli 阅读全文
摘要：
一、mysql数据准备 mysql -hip -uroot -p密码 CREATE DATABASE flink; USE flink; CREATE TABLE user ( id INTEGER NOT NULL PRIMARY KEY, name VARCHAR(255) NOT NULL D 阅读全文
摘要：
一、Kerberos简介 Kerberos是一种基于对称密钥的身份认证协议，它作为一个独立的第三方的身份认证服务，可以为其它服务提供身份认证功能，且支持SSO(即客户端身份认证后，可以访问多个服务如HBase/HDFS等)。Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio 阅读全文
摘要：
一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 阅读全文
摘要：
一、简介 相当于在Lambda架构上去掉了批处理层（Batch Layer），只留下单独的流处理层（Speed Layer）。通过消息队列的数据保留功能，来实现上游重放（回溯）能力。 当流任务发生代码变动时，或者需要回溯计算时，原先的Job N保持不动，先新启动一个作业Job N+1，从消息队列中获 阅读全文
摘要：
一、简介 Lambda架构（Lambda Architecture）是由Twitter工程师南森·马茨（Nathan Marz）提出的大数据处理架构。 这一架构的提出基于马茨在BackType和Twitter上的分布式数据处理系统的经验。 Lambda架构使开发人员能够构建大规模分布式数据处理系统。 阅读全文
摘要：
1、Robustandfault-tolerant（容错性和鲁棒性）：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有一些Bug，系统必须对有Bug的程序写入的错误数据有足够的适应能力，所以比 阅读全文
摘要：
一、下载 下载macOS版本：RAR 5.71 for macOS (64 bit) 二、安装 1、双击解压刚才下载的rarosx-5.7.1.tar，使用终端进入刚才解压的文件夹目录下cd /Users/xxxx(你的用户名)/Downloads/rar2、安装rar服务，这里直接将rar服务安装 阅读全文
摘要：
一、定义 1、数据湖定义（Wikipedia）： 数据湖是指使用大型二进制对象或文件这样的自然格式储存数据的系统。它通常把所有的企业数据统一存储，既包括源系统中的原始副本，也包括转换后的数据，比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结 阅读全文