随笔分类 - 大数据
摘要：打包scala代码为jar包时的不同情况（1.只有一个scala文件； 2.项目结构中有多个scala文件） 例如： （1）如果只有一个scala文件时： ①在build.sbt中指定主类 mainClass in Compile := Some("com.example.MergeFiles")
阅读全文
摘要：进入到spark的sbin目录下输入 ./start-all.sh 进入spark命令行 spark-shell
阅读全文
摘要：Spark的conf目录下没有slaves文件？spark3.5.3解压以后conf目录下没有slaves怎么办？spark找不到slaves怎么办，解决slaves问题大数据的小伙伴晚上，今天在搭建spark集群的时候，发现我的我的spark解压以后/Spark/conf/目录下既然没有slave
阅读全文
摘要：在 vi 编辑器中，保存并退出文件需要按以下步骤操作： 进入命令模式 如果当前在编辑模式，按下 Esc 键切换到命令模式。 输入保存退出命令 输入 :wq （表示写入文件并退出），然后按下回车键。 详细步骤： sudo vi /etc/profile 编辑完成后： 按下 Esc 键。 输入 :wq。
阅读全文
摘要：[root@node1 lsx]# hdfs dfsadmin -safemode get //查看状态[root@node1 lsx]# hdfs dfsadmin -safemode leave //关闭安全模式
阅读全文
摘要：解决HDFS无法启动namenode，报错Premature EOF from inputStream；Failed to load FSImage file, see error(s) above for more info 一.情况描述 启动hadoop后发现无法打开hdfs web界面，500
阅读全文
摘要：hadoop的ResourceManager NullPointerException起不来报空指针 在启动Hadoop集群后，遇到无法打开YARN Web界面的问题，通过`jps`命令发现ResourceManager未启动。日志显示空指针错误。解决方案是删除`/tmp/hadoop-yarn-r
阅读全文
摘要：遇事不决，重启hadoop，再不决，重启电脑
阅读全文
摘要：今天下载软件时需要修改hosts文件，按照百度改了好几次权限都不行，要么就无法保存，要么就以txt文本文档的格式存下来一个新的host.txt文件，和原来的hosts两个一起在源路径下。最后用很简单的两步就解决了。 首先附上hosts文件地址：C:\Windows\System32\drivers\
阅读全文
摘要：在 Linux 中使用 `cd` 命令跳转目录时，是否需要 `/` 取决于路径的类型。以下是规则： 1. **绝对路径：以 `/` 开头** - 如果路径以 `/` 开头，表示从根目录开始的**绝对路径**。 - 使用绝对路径可以精确定位到文件系统中的某个目录，不受当前目录影响。 - 例如： ```
阅读全文
摘要：Hadoop的core-site.xml文件 1 <?xml version="1.0" encoding="UTF-8"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 3 4 5 6 <configuration>
阅读全文
摘要：1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 3
阅读全文
摘要：pom.xml 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst
阅读全文
摘要：更换更高版本的hive和hadoop，然后重新加载pom.xml
阅读全文
摘要：报错详细信息 Failed to execute goal org.apache.maven.plugins:maven-dependency-plugin:3.1.1:tree (default-cli) on project springbootbd-product: Cannot build
阅读全文
摘要：启动metastore ①前台启动 /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore 关闭：ctrl+c ②后台启动 nohup /export/server/apache-hive-3.1.2-bin/bin/hiv
阅读全文
