05 2024 档案
摘要:问题 在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/local/spark/work/目录占用了很大空间,导致根目录/满了。 原因使用spark standalone模式执行任务,没提交一次任务,在每个节点work目录下都会生成一个文件夹,命名规则ap
阅读全文
摘要:package com.sgcc; import java.io.*; import java.text.DecimalFormat; import java.util.ArrayList; import java.util.List; import java.util.Random; public
阅读全文
摘要:问题描述: 每次创建一个新的项目Maven都会失效,都要重新配置。 解决方法: 点击File—>New Projects Setup—>Settings for New Projects。 输入mvn,跟前面一样设置Maven home path、User setting file、Local re
阅读全文
摘要:在shell脚本中,单引号(')和双引号(")都用于文本引用,但它们之间有一些区别: 双引号 [1] 当要引用一个变量的值时,一般推荐使用双引号。 [2] 使用双引号除了变量名前缀(仍被当成特殊
阅读全文
摘要:#!/bin/bash # 假设日期变量为yyyymmdd格式 date="20230101" # 使用date命令增加一天 next_date=date + 1 day" +%Y%m%d) # 输出结果 echo $next_date
阅读全文
摘要:访问Web UI页面的前提: 启动Spark安装目录下sbin/start-all.sh 。 jps可以看到Master和Worker。 1、Spark的Master页面 http://master:8080/ 2、Spark的Worker页面 http://master:8081/ 3、Spark
阅读全文
摘要:问题描述:通过IDEA的maven打包含Spark的Jar包,上传到Linux服务器上执行时报错: Error: A JNI error has occurred, please check your installation and try againException in thread "ma
阅读全文
摘要:1、使用SQL*Plus启动 如果你已经配置了服务,可以使用lsnrctl start启动监听器,然后使用sqlplus和startup命令启动实例和数据库:lsnrctl startsqlplus / as sysdbastartup 2、查看用户的表 在Oracle数据库中,可以通过查询数据字典
阅读全文
摘要:spark-submit 是用于提交Spark应用到集群的命令行工具。它允许用户控制Spark应用的各种参数,比如应用名、集群URL、运行模式、资源分配等。以下是一些常用的 spark-submit 参数: --master MASTER_URL ,其中 MASTER_URL 可选如下: local
阅读全文
摘要:1. 基本知识 LocalDateTime是Java 8引入的日期和时间API中的一个类,位于java.time包中。 它提供了一种更灵活、更方便的方式来处理日期和时间,相比旧的Date类更为强大且易用。 以下是关于LocalDateTime的详细分析: 概念: LocalDateTime表示不带时
阅读全文
摘要:CountDownLatch 简介 CountDownLatch 是 Java 中的一个同步工具类,可以用来确保一组线程等待其他线程完成各自工作后再继续执行。 CountDownLatch 的应用场景 CountDownLatch 可以被广泛应用于各种多线程协作的场景,例如: 主线程等待多个子线程完
阅读全文