sunny123456

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  1793 随笔 :: 22 文章 :: 24 评论 :: 225万 阅读
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

03 2024 档案

摘要:Apache Flink 简介 前言 计算引擎 大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算,代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不断更新 阅读全文
posted @ 2024-03-28 12:57 sunny123456 阅读(35) 评论(0) 推荐(0) 编辑

摘要:大数据开发之CDH使用搭建大数据平台 1、CDH介绍 它是Cloudera公司提供的一种大数据平台解决方案。CDH的全称是Cloudera’s Distribution including Apache Hadoop,它是一个开放源代码的大数据平台,基于Apache Hadoop和其他相关的开源技术 阅读全文
posted @ 2024-03-27 19:48 sunny123456 阅读(235) 评论(0) 推荐(0) 编辑

摘要:Flink-运行时架构介绍 文章目录 Flink 运行时架构系统架构整体架构作业管理器(JobManager)任务管理器(TaskManager) 作业提交流程高层级抽象视角独立模式(Standalone)YARN 集群 数据流图(Dataflow Graph)并行度(Parallelism)算子链 阅读全文
posted @ 2024-03-27 19:42 sunny123456 阅读(70) 评论(0) 推荐(0) 编辑

摘要:flink dtach 提交模式 在Flink中,dtach是一个用于启动Flink作业的工具,它允许用户在后台运行Flink作业,并且在用户登出会话后,作业将继续运行。 Flink支持两种提交作业的方式:通过CLI(命令行接口)和通过编程接口。 通过CLI提交作业: 在命令行中,你可以使用flin 阅读全文
posted @ 2024-03-27 19:41 sunny123456 阅读(116) 评论(0) 推荐(0) 编辑

摘要:在Flink 1.11中,assignTimestampsAndWatermarks方法已经被新的方法assignTimestamps和assignWatermarks所替代。这是为了更好地将时间戳和水位线的定义分离开来 以下是使用新API的示例代码: import org.apache.flink 阅读全文
posted @ 2024-03-26 10:54 sunny123456 阅读(176) 评论(0) 推荐(0) 编辑

摘要:Flink: Function And Rich Function , 对比 Function ,Rich functions还提供了这些方法:open、close、getRuntimeContext 和 setRuntimeContext 序言 了解了Flink提供的算子,那我们就可以自定义算子了 阅读全文
posted @ 2024-03-25 19:53 sunny123456 阅读(158) 评论(0) 推荐(0) 编辑

摘要:Flink 流数据处理 基于Flink1.12.0版本 MapFunction 只适用于一对一的转换,而 FlatMapFunction中可以一对多,或者多对一 序言 基于官网教程整理的一个教程。基于Flink1.12.0版本。 目前该版本的Flink支持的source与sink如下所示 参考资料: 阅读全文
posted @ 2024-03-25 19:49 sunny123456 阅读(82) 评论(0) 推荐(0) 编辑

摘要:Flink API的四层抽象级别是什么?能用实际项目案例讲解一下吗? 首先,Flink API的四层抽象级别是指:最底层抽象:ProcessFunction API、核心API:DataStream API、Table API、SQL。这四个抽象级别可以比作烹饪中的不同方式,从简单的速食制作到复杂的 阅读全文
posted @ 2024-03-25 19:32 sunny123456 阅读(58) 评论(0) 推荐(0) 编辑

摘要:6种负载均衡算法 1、轮询法 此算法将请求按顺序轮流的分配到后端服务器,他均衡的对待后台每一台服务器,而不关心服务器实际的连接数和当前的系统负载 public class RoundRobin { private static Map<String,Integer> serverWeightMap= 阅读全文
posted @ 2024-03-25 19:20 sunny123456 阅读(78) 评论(0) 推荐(0) 编辑

摘要:Java实现轮询调度算法(Round Robin) Java实现轮询调度算法(Round Robin) 引言 在计算机科学中,轮询调度算法(Round Robin)是一种常见的任务调度算法。它被广泛应用于操作系统、网络路由器、负载均衡器等领域。本文将介绍轮询调度算法的原理、实现以及在Java中的应用 阅读全文
posted @ 2024-03-25 18:56 sunny123456 阅读(570) 评论(0) 推荐(0) 编辑

摘要:C# list删除报错 在C#中,如果您在遍历List的同时尝试删除元素,可能会遇到错误。因为这会改变List的结构,导致枚举器失效。 解决方法: 使用for循环倒序删除: 点击查看代码 for (int i = list.Count - 1; i >= 0; i--) { if (/* 条件 */ 阅读全文
posted @ 2024-03-24 11:45 sunny123456 阅读(241) 评论(0) 推荐(0) 编辑

摘要:Flink CEP (四)组合模式 文章目录 初始模式(Initial Pattern)近邻条件(Contiguity Conditions)严格近邻(Strict Contiguity)宽松近邻(Relaxed Contiguity)非确定性宽松近邻(Non-Deterministic Relax 阅读全文
posted @ 2024-03-24 11:37 sunny123456 阅读(39) 评论(0) 推荐(0) 编辑

摘要:10个python爬虫入门实例 涉及主要知识点:web是如何交互的requests库的get、post函数的应用response对象的相关函数,属性python文件的打开,保存代码中给出了注释,并且可以直接运行哦如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈p 阅读全文
posted @ 2024-03-24 09:36 sunny123456 阅读(123) 评论(0) 推荐(0) 编辑

摘要:接口自动化项目落地之HTTPBin网站 接口自动化项目落地系列找个开源网站或开源项目,用tep实现整套pytest接口自动化项目落地,归档到电子书,作为tep完整教程的项目篇一部分。自从tep完整教程发布以后,tep被越来越多小伙伴了解。教程只是纯理论,是骡子是马,拉出来遛遛才知道。做接口自动化项目 阅读全文
posted @ 2024-03-24 09:04 sunny123456 阅读(84) 评论(0) 推荐(0) 编辑

摘要:gbase简单实用 gbase 数据库版本号:9.5.3.6 注意: 1.gbase 创建完表之后,无法修改数据字段类型与属性(not null,默认值) 2.gbase sql 不支持注释 -- ,写sql的时候不要添加注释。 3. 即使表中添加了主键,也不会有主键约束(列如 : 主键相同的数据, 阅读全文
posted @ 2024-03-14 16:06 sunny123456 阅读(479) 评论(0) 推荐(0) 编辑

摘要:【Idea】idea启动同一程序不同端口 spring boot 前言 在idea中配置两个不同端口,同时运行两个相同的主程序。 更多端口配置同理 idea版本:2022.2.3 1.在service中复制一个进程,指定不同端口 右键打开点击 copy Configuration 2.点击Modif 阅读全文
posted @ 2024-03-14 12:34 sunny123456 阅读(221) 评论(0) 推荐(0) 编辑

摘要:idea启动springboot时指定端口号 对上级谦恭是本分;对平辈谦逊是和善;对下级谦逊是高贵;对所有的人谦逊是安全——亚里士多德 我们可以在启动项目时在启动参数加上-D去指定配置文件中的内容例如我们使用-Dserver.port=8082去指定我们项目中的端口号如果我们是在idea中启动项目, 阅读全文
posted @ 2024-03-14 12:32 sunny123456 阅读(785) 评论(0) 推荐(0) 编辑

摘要:IDEA配置多端口启动参数配置 Edit Configurations... 1、点击配置入口信息2、选择你要启动的多实例配置信息3、填写配置信息添加你要的参数信息-Dserver.port=9000 然后点击Apply按钮,之后便可以选择对应的Name信息启动就可以了。 原文链接:https:// 阅读全文
posted @ 2024-03-14 12:30 sunny123456 阅读(128) 评论(0) 推荐(0) 编辑

摘要:深入理解 ELK 中 Logstash 的底层原理 + 填坑指南 这是悟空的第149篇原创文章官网:http://www.passjava.cn你好,我是悟空呀,我被憧憬小哥催更了。儿童节、端午节前发一篇,祝大家双节快乐~本文目录如下:前言一、部署架构图二、Logstash 用来做什么?三、Logs 阅读全文
posted @ 2024-03-12 16:51 sunny123456 阅读(8) 评论(0) 推荐(0) 编辑

摘要:ELK日志实时分析平台搭建和使用 ELK日志分析平台是指Elasticsearch、Logstash 和 Kibana 三个项目的集合,后面又增加了Filebeat数据采集器。 概述 ELK日志分析平台是指Elasticsearch、Logstash 和 Kibana 三个项目的集合,后面又增加了F 阅读全文
posted @ 2024-03-12 16:30 sunny123456 阅读(25) 评论(0) 推荐(0) 编辑

摘要:es搜索引擎 python es搜索引擎java使用 什么是Elasticsearch在IT界简称ES,但是搜索时(百度时)建议使用Elasticsearch来获得更有效的资源这个软件不再是SpringCloud提供的,它也不针对微服务环境的项目来开发Elasticsearch和redis\mysq 阅读全文
posted @ 2024-03-12 15:52 sunny123456 阅读(66) 评论(0) 推荐(0) 编辑

摘要:Logstash接收udp/tcp数据 背景:在 Logstash数据源为日志文件操作 基础上进行 一、配置文件 1. D:\usr\local\etc\logstash\pipeline1目录下logstash.conf文件配置 input { stdin { } udp { host => "0 阅读全文
posted @ 2024-03-11 17:22 sunny123456 阅读(279) 评论(0) 推荐(0) 编辑

摘要:kafka是否需要zookeeper的支持 Kafka在某些情况下确实需要Zookeeper。Zookeeper是Kafka的核心组件之一,负责集群元数据的管理和控制器的选举等任务。在Kafka集群中,Zookeeper存储和管理着Kafka的元数据信息和配置信息,包括broker的IP地址、端 阅读全文
posted @ 2024-03-11 17:14 sunny123456 阅读(693) 评论(0) 推荐(0) 编辑

摘要:Java 使用File对象 读取项目的根目录src下文件在Java中,File 对象的路径是相对于你运行Java程序的位置,或者是绝对路径。为了避免读取不到文件异常,你需要确保文件路径是正确的,并且文件确实存在于该路径上。 有几种方法可以将文件放置在Java程序可以访问的位置: 项目根目录:将 lo 阅读全文
posted @ 2024-03-08 11:39 sunny123456 阅读(303) 评论(0) 推荐(0) 编辑

摘要:java项目的根目录是指 Java项目的根目录是指 在进行Java项目开发的过程中,我们经常会听到“项目的根目录”这个词汇。那么,什么是Java项目的根目录呢?Java项目的根目录指的是项目的主目录,也就是项目文件所在的最顶层目录。在这个目录下,通常会包含项目的源代码、配置文件、资源文件等等。正确理 阅读全文
posted @ 2024-03-08 11:36 sunny123456 阅读(473) 评论(0) 推荐(0) 编辑

摘要:Flink之源算子Data Source 源算子Data Source 概述 内置Data Source 基于集合构建 基于文件构建 基于Socket构建 自定义Data Source SourceFunction RichSourceFunction 常见连接器 第三方系统连接器 File Sou 阅读全文
posted @ 2024-03-08 11:32 sunny123456 阅读(50) 评论(0) 推荐(0) 编辑

摘要:function bubbleSort(arr) { var len = arr.length; for (var i = 0; i arr[j + 1]) { // 交换元素 var temp = arr[j]; arr[j] = arr[j + 1]; arr[j + 1] = temp; } 阅读全文
posted @ 2024-03-06 16:47 sunny123456 阅读(10) 评论(0) 推荐(0) 编辑

摘要:Flink AggregatingState 实例 AggregatingState介绍 AggregatingState需要和AggregateFunction配合使用add()方法添加一个元素,触发AggregateFunction计算get()获取State的值 需求:计算每个设备10秒内的平 阅读全文
posted @ 2024-03-06 16:38 sunny123456 阅读(34) 评论(0) 推荐(0) 编辑

摘要:flink 提交yarn 命令 flink run -m yarn-cluster 文章目录Flink集群搭建和使用local 本地测试flink集群搭建1、standallone cluster提交任务 -- 将代码打包2.flink on yarn 只需要部署一个节点flink启动方式1、yar 阅读全文
posted @ 2024-03-06 09:45 sunny123456 阅读(504) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示