06 2021 档案
摘要：日志处理配置 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.append
阅读全文
摘要：Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12 1. 创建名为spark-project 的项目 2. 将src 删除，把spark-project 当成一个父项目，并在该项目下创建一个moule ,spark-core (子项目) 2.scala-idea 插件下载安
阅读全文
摘要：linux 环境变量可以在多个文件中配置 说明： linux bash 运行模式分为两种： login shell 和non-login shell, 两种登录模式启动是加载的配置文件不一样。 1. /etc/profile > login shell > 输入用户名和密码登录系统 2. ~/.ba
阅读全文
摘要：1. 查看当前文件夹下文件或文件夹所占磁盘的大小 du -sh *|sort -rh 2. 查找某个进程号，脚本或程序所在目录的方法 ll /proc/进程id 3. awk 的用法 （1）累加： awk '{ sum+=$2} END {print sum}' some_file （2）awk 当
阅读全文
摘要：hadoop.apache.orgspark.apache.orgflink.apache.orghadoop :HDFS/YARN/MAPREDUCE HDFS读写流程 NameNode DataNode SecondaryNameNode 写流程 1. 客户端请求NameNode (几副本，bl
阅读全文
摘要：conda 操作虚拟环境 1. 查看conda 版本 conda -v 2.查看当前环境存在哪些虚拟环境 conda list env 3.创建python 虚拟环境 conda create -n mypython_env python=3.7 4.使用或激活虚拟环境 source activat
阅读全文
