Mars.wang - 博客园

2021年3月29日

摘要：工作之余，我收集了一些网络工程师备考的视频教程，持续更新中。。。非常经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“网络工程师”获取下载链接阅读全文

posted @ 2021-03-29 13:40 Mars.wang 阅读(80) 评论(0) 推荐(0) 编辑

摘要：工作之余，我收集了一些软件设计师备课的视频教程，持续更新中。。。非常经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“软件设计师”获取下载链接阅读全文

posted @ 2021-03-29 13:38 Mars.wang 阅读(163) 评论(0) 推荐(0) 编辑

摘要：分区格式化Linux数据盘此章节以Alibaba Cloud Linux 2.1903 LTS 64位操作系统为例，说明如何在Linux实例上使用Parted工具和e2fsprogs工具分区并格式化一个大容量数据盘。假设需要处理的数据盘是一个新建的3 TiB的空盘，设备名为/dev/vdb。前提阅读全文

posted @ 2021-03-29 13:07 Mars.wang 阅读(178) 评论(0) 推荐(0) 编辑

python操作hdfs

摘要： import contextlib import pyhdfs class HdfsUtil(object): def __init__(self, hosts='namenode1:9870,namenode2:9870', user_name='hdfs'): self.hosts = host 阅读全文

posted @ 2021-03-29 10:06 Mars.wang 阅读(447) 评论(0) 推荐(0) 编辑

2021年3月26日

flink架构

摘要： flink共有四大组件：JobManager，ResourceManager、Dispatcher和TaskManager 1.JobManager JobManager控制单个应用的执行，每个应用都会有一个JobGraph（逻辑DataFlow），一个胖Jar，JobManager把JobGrap 阅读全文

posted @ 2021-03-26 17:31 Mars.wang 阅读(243) 评论(0) 推荐(0) 编辑

flink流式数据常用API

摘要：一、转换操作 1.基本转换 #DataStream转换成DataStreammap()filter()flatMap() 2.键值对转换 #将DataStream转换成KeyedStreamkeyBy()#KeyedStream聚合函数sum()min()max()minBy()maxBy()red 阅读全文

posted @ 2021-03-26 16:58 Mars.wang 阅读(120) 评论(0) 推荐(0) 编辑

flink检查点算法

摘要：检查点是flink处理分布式任务中故障的重要机制，通过周期性保存任务状态，可以实现在个别任务发生故障时恢复程序的功能。 flink检查点算法中用到了一种名为检查点分隔符的特殊标记，和水位线相似，这些检查点分隔符会通过数据源算子注入到数据流中，每个检查点分隔符都会带有一个编号，这样就把一个数据流从逻辑阅读全文

posted @ 2021-03-26 16:54 Mars.wang 阅读(587) 评论(0) 推荐(0) 编辑

2021年3月25日

实时数据采集必备工具debezium

摘要：一、前言随着业务的发展，以往的离线批量计算方式，因为延迟太长已经不能满足需求，随着flink这种实时计算工具的出现，实时采集也成为大数据工作中非常重要的一环。现今企业的数据来源大体分为两种：存储在各种关系数据库中的业务数据、网站或APP产生的用户行为日志数据日志数据通过flume、kafka等阅读全文

posted @ 2021-03-25 17:31 Mars.wang 阅读(3238) 评论(0) 推荐(1) 编辑

2021年3月13日

spark经典PDF电子书

摘要：工作之余，我收集了不少spark方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“spark电子书”获取下载链接《learning spark》《learning sparkstreaming》《Machine L 阅读全文

posted @ 2021-03-13 10:47 Mars.wang 阅读(1746) 评论(0) 推荐(0) 编辑

软件工程、编程语言经典PDF电子书

摘要：工作之余，我收集了不少软件工程和编程语言方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“软件工程编程语言电子书”获取下载链接《需求分析与系统设计》《软件需求》《软件工程-实践者的研究方法》《软件测试》《C++ 阅读全文

posted @ 2021-03-13 10:23 Mars.wang 阅读(513) 评论(0) 推荐(0) 编辑