moon__light

摘要： system import os status = os.system("ls -l") os.system 创建子进程在系统上执行命令，只能获取命令的返回状态，命令的输出结果会直接打到 console 上 比如 status = os.system("ls -l") 如果执行成功 status 的 阅读全文

摘要： java 命令加上以下参数 -XX:+TraceClassPaths ## 按顺序输出加载的 Jar 包 -verbose:class ## 按顺序输出加载的 class 和 Jar 阅读全文

摘要： 如果希望非 root 用户可以执行需要 root 权限的命令，可以将命令加入到 /etc/sudoers，然后通过 sudo cmd 执行 sudoers 内容的格式如下 授权用户/组 主机=[(切换到哪些用户或组)] [是否需要输入密码验证] 命令1, [(切换到哪些用户或组)] [是否需要输入密 阅读全文

摘要： Ubuntu 的开机启动项都放在 /etc/init 下的 *.conf 文件 以 /etc/init/nginx.conf 为例子 description "nginx - small, powerful, scalable web/proxy server" start on filesyste 阅读全文

摘要： Dockerfile 中的 CMD 和 ENTRYPOINT 官网的描述 The CMD instruction has three forms: CMD ["executable","param1","param2"] (exec form, this is the preferred form) 阅读全文

摘要： ### Spark on K8S 的几种模式 - Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 - Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资 阅读全文

摘要： ### Spark on K8S 的几种模式 - Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 - Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资 阅读全文

摘要： ###特点  - 分布式并行计算框架 - 强大的状态管理，支持有状态的计算 - 支持流数据处理、和批数据处理，以流数据 阅读全文

摘要： ###官网 https://kubernetes.io/docs/tasks/tools/install-minikube/ https://kubernetes.io/docs/tasks/tools/install-kubectl/ https://kubernetes.io/docs/setu 阅读全文

摘要： ###概述 Structured Streaming 是 Spark 2.0 引入的功能，有以下特点 - 基于 Spark SQL engine - 可以直接使用 DataSet/DataFrame API，就像处理离线的批数据一样 - Spark SQL engine 持续地、增量地处理流数据 - 阅读全文