clouderzheng

2022年6月30日

摘要： neo4j 安装 docker-compose安装，并且跳过认证 version: "3.2" services: neo4j: image: neo4j:4.4 volumes: - ./data:/data ports: - 7474:7474 - 7687:7687 environment: 阅读全文

posted @ 2022-06-30 17:56 clouderzheng 阅读(312) 评论(0) 推荐(0) 编辑

java连接neo4j测试

摘要： java连接neo4j测试添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-neo4j</artifactId> </dependency> 代码 p 阅读全文

posted @ 2022-06-30 17:55 clouderzheng 阅读(493) 评论(0) 推荐(0) 编辑

2022年6月17日

flink 流的合并

摘要： flink 流的合并操作 union union只能合并类型相同的数据，合并的结果仍然是DataStream，结果操作与未合并之前一致。 public static void main(String[] args) throws Exception { //流的合并操作 union 只能合并类型相同阅读全文

posted @ 2022-06-17 20:59 clouderzheng 阅读(845) 评论(0) 推荐(0) 编辑

2022年6月16日

flink窗口分类

摘要：窗口分类按照驱动类型分类窗口本身是截取有界数据的一种方式，所以窗口一个非常重要的信息就是“怎样截取数据”。换句话说，就是以什么标准来开发和结束数据的截取。按照驱动类型分类主要分为两类：时间窗口与计数窗口 1、时间窗口时间窗口以时间点来定义窗口的开始与结束，所以截取出的就是某一段时间的数据，窗阅读全文

posted @ 2022-06-16 17:39 clouderzheng 阅读(1220) 评论(0) 推荐(0) 编辑

flink处理延迟

摘要： flink处理延迟 flink主要是处理实时数据的，在处理实时数据的过程中，难免会遇到乱序的存在。以事件时间举例，先发生的事件后到处理算子。flink针对乱序数据的处理主要有三种方式：拨慢水位线的生成，这种情况会在声明的窗口时间中，类似延迟窗口时间的大小，实际是把水位线的生成减小了1秒，导致窗口延阅读全文

posted @ 2022-06-16 17:00 clouderzheng 阅读(1162) 评论(0) 推荐(0) 编辑

2022年6月9日

flink-执行模式

摘要： flink的执行模式 flink既能处理离线数据，也能处理实时数据，在1.12.0版本以前，批数据返回的数据集合是dataSet，对应一套dataSet的api，从1.12.0版本以后，flink实现了api的流批一体化处理。DataStream新增一个执行模式（execution mode），通过阅读全文

posted @ 2022-06-09 10:14 clouderzheng 阅读(330) 评论(0) 推荐(0) 编辑

2022年4月9日

Semaphore

摘要： Semaphore介绍 Semaphore（信号量）是通过计数器来控制线程数量，如果计数器大于0，则允许访问。如果为0，则拒绝访问。底层还是使用的AbstractQueuedSynchronizer那一套控制。 Semaphore初试定义一个线程数量为8的线程池，使用for循环创建10个任务，阅读全文

posted @ 2022-04-09 00:24 clouderzheng 阅读(87) 评论(0) 推荐(0) 编辑

2022年3月27日

ssh免密登陆

摘要： ssh登陆说明 Linux 一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的 Linux 服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。此时一般通过 ssh 服务实现的远程登录功能，默认 ssh 服务端口号为 22。 ssh免密登陆原理先来看下ssh免密登陆的阅读全文

posted @ 2022-03-27 10:30 clouderzheng 阅读(325) 评论(0) 推荐(0) 编辑

2022年3月26日

yarn

摘要： yarn 任务调度器组成 ResourceManager（RM）：整个集群资源（内存、cpu等）的调度者 1、接收客户端的请求（该请求是运行程序的请求） 2、启动和监控MRAppMaster 3、资源调度，调度整个计算程序的资源，决定任务在哪个节点执行 NodeManager（NM）：负责提供真阅读全文

posted @ 2022-03-26 18:29 clouderzheng 阅读(131) 评论(0) 推荐(0) 编辑

hadoop

摘要： hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hado 阅读全文

posted @ 2022-03-26 16:03 clouderzheng 阅读(59) 评论(0) 推荐(0) 编辑

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜