导航

2020年12月4日

Spark部署模式&端口号&提交作业参数说明

摘要： 部署模式对比 模式 Spark安装机器数 需要启动的进程 所属 应用场景 Local 1 无 Spark 测试 Standalone 3 Master&Worker Spark 单独部署 Yarn 1 Yarn&HDFS Hadoop 混合部署 端口号: - 4040(计算端口) : Spark查看 阅读全文

posted @ 2020-12-04 15:47 乔伊_413 阅读(635) 评论(0) 推荐(0) 编辑

Spark和Hadoop的联系和区别

摘要： 首先我们来看看Hadoop的相关简短回顾： 1. Hadoop是由Java语言编写，在分布式集群上存储海量数据并运行分布式分析应用框架 2. HDFS为其存储数据的分布式文件系统 3. 分布式计算框架为MapReduce 4. HBase一个基于HDFS的分布式非关系型数据库 5. Yarn作为分布 阅读全文

posted @ 2020-12-04 15:14 乔伊_413 阅读(675) 评论(0) 推荐(0) 编辑

Idea中文件大小配置

摘要： 在开发中遇到自己给的一个txt文件大小达到19Mb 提醒：文件大小超过了2.56MB的默认值，有些功能不可靠 The file size(19.47MB ) exceeds configured limit(2.56MB). Code insight features are not acaliab 阅读全文

posted @ 2020-12-04 10:18 乔伊_413 阅读(3213) 评论(0) 推荐(1) 编辑