05 2024 档案

摘要:问题 在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/local/spark/work/目录占用了很大空间,导致根目录/满了。 原因使用spark standalone模式执行任务,没提交一次任务,在每个节点work目录下都会生成一个文件夹,命名规则ap 阅读全文
posted @ 2024-05-29 14:34 业余砖家 阅读(138) 评论(0) 推荐(0) 编辑
摘要:package com.sgcc; import java.io.*; import java.text.DecimalFormat; import java.util.ArrayList; import java.util.List; import java.util.Random; public 阅读全文
posted @ 2024-05-28 10:42 业余砖家 阅读(877) 评论(0) 推荐(0) 编辑
摘要:问题描述: 每次创建一个新的项目Maven都会失效,都要重新配置。 解决方法: 点击File—>New Projects Setup—>Settings for New Projects。 输入mvn,跟前面一样设置Maven home path、User setting file、Local re 阅读全文
posted @ 2024-05-28 10:01 业余砖家 阅读(796) 评论(0) 推荐(0) 编辑
摘要:在shell脚本中,单引号(')和双引号(")都用于文本引用,但它们之间有一些区别: 双引号 [1] 当要引用一个变量的值时,一般推荐使用双引号。 [2] 使用双引号除了变量名前缀()()(\)使shell[3]仍被当成特殊 阅读全文
posted @ 2024-05-24 16:34 业余砖家 阅读(633) 评论(0) 推荐(0) 编辑
摘要:#!/bin/bash # 假设日期变量为yyyymmdd格式 date="20230101" # 使用date命令增加一天 next_date=(dated"date + 1 day" +%Y%m%d) # 输出结果 echo $next_date 阅读全文
posted @ 2024-05-24 15:58 业余砖家 阅读(167) 评论(0) 推荐(0) 编辑
摘要:访问Web UI页面的前提: 启动Spark安装目录下sbin/start-all.sh 。 jps可以看到Master和Worker。 1、Spark的Master页面 http://master:8080/ 2、Spark的Worker页面 http://master:8081/ 3、Spark 阅读全文
posted @ 2024-05-21 17:27 业余砖家 阅读(1277) 评论(0) 推荐(0) 编辑
摘要:问题描述:通过IDEA的maven打包含Spark的Jar包,上传到Linux服务器上执行时报错: Error: A JNI error has occurred, please check your installation and try againException in thread "ma 阅读全文
posted @ 2024-05-21 17:00 业余砖家 阅读(119) 评论(0) 推荐(0) 编辑
摘要:1、使用SQL*Plus启动 如果你已经配置了服务,可以使用lsnrctl start启动监听器,然后使用sqlplus和startup命令启动实例和数据库:lsnrctl startsqlplus / as sysdbastartup 2、查看用户的表 在Oracle数据库中,可以通过查询数据字典 阅读全文
posted @ 2024-05-17 09:10 业余砖家 阅读(39) 评论(0) 推荐(0) 编辑
摘要:spark-submit 是用于提交Spark应用到集群的命令行工具。它允许用户控制Spark应用的各种参数,比如应用名、集群URL、运行模式、资源分配等。以下是一些常用的 spark-submit 参数: --master MASTER_URL ,其中 MASTER_URL 可选如下: local 阅读全文
posted @ 2024-05-16 16:05 业余砖家 阅读(565) 评论(0) 推荐(0) 编辑
摘要:1. 基本知识 LocalDateTime是Java 8引入的日期和时间API中的一个类,位于java.time包中。 它提供了一种更灵活、更方便的方式来处理日期和时间,相比旧的Date类更为强大且易用。 以下是关于LocalDateTime的详细分析: 概念: LocalDateTime表示不带时 阅读全文
posted @ 2024-05-09 10:54 业余砖家 阅读(6040) 评论(0) 推荐(0) 编辑
摘要:CountDownLatch 简介 CountDownLatch 是 Java 中的一个同步工具类,可以用来确保一组线程等待其他线程完成各自工作后再继续执行。 CountDownLatch 的应用场景 CountDownLatch 可以被广泛应用于各种多线程协作的场景,例如: 主线程等待多个子线程完 阅读全文
posted @ 2024-05-09 10:12 业余砖家 阅读(74) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示