摘要:
1. 线程池 为什么要使用线程池? 1)、多线程中, 线程的数量并非越多越好; 不是线程数量越多,程序的执行效率就越快。线程也是一个对象,是需要占用资源的,线程数量过多的话肯定会消耗过多的资源,同时线程间的上下文切换也是一笔不小的开销,所以有时候开辟过多的线程不但不会提高程序的执行效率,反而会适得其 阅读全文
摘要:
1、什么是ZooKeeper? - 期望回答:ZooKeeper是一个分布式协调服务,提供了高度可靠且具有高性能的分布式应用协调服务。 ZooKeeper是一个开源的分布式协调服务,它提供了一个简单而健壮的分布式应用程序协调解决方案。其主要设计目标是通过提供高性能、可靠性、且具备高度可扩展性的服务, 阅读全文
摘要:
背景: 启动Flink的sql-client.sh,创建Kafka的source端表,然后查询Kafka的数据时报错。 报错信息: 2024-06-18 16:10:12 org.apache.flink.util.FlinkException: Global failure triggered b 阅读全文
摘要:
Java代码 import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.VoidFunction; import org.apache.spark.streaming.api.java.JavaInput 阅读全文
摘要:
一、spark直接读取本地文件系统的文件(不推荐)file前缀地址“file:///”,例如:文件绝对路径为/data/20240606,那么文件名应该设置为:file:///data/20240606 说明: (1)本地文件系统地址的前缀是“file:///”后边也必须是全部的绝对路径,不能用相对 阅读全文
摘要:
问题 在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/local/spark/work/目录占用了很大空间,导致根目录/满了。 原因使用spark standalone模式执行任务,没提交一次任务,在每个节点work目录下都会生成一个文件夹,命名规则ap 阅读全文
摘要:
package com.sgcc; import java.io.*; import java.text.DecimalFormat; import java.util.ArrayList; import java.util.List; import java.util.Random; public 阅读全文
摘要:
问题描述: 每次创建一个新的项目Maven都会失效,都要重新配置。 解决方法: 点击File—>New Projects Setup—>Settings for New Projects。 输入mvn,跟前面一样设置Maven home path、User setting file、Local re 阅读全文