2018年5月9日

spark笔记

摘要： spark on yarn yarn client :适用于交互和调试 1.Driver在任务提交机器上执行 2.ApplicationMaster只负责向ResourceManager申请executor需要的资源 3.基于yarn时，spark-shell和pyspark必须要使用yarn-cl 阅读全文

posted @ 2018-05-09 18:30 NothingLZ 阅读(107) 评论(0) 推荐(0) 编辑

RPC服务和HTTP服务对比

摘要： 很长时间以来都没有怎么好好搞清楚RPC（即Remote Procedure Call，远程过程调用）和HTTP调用的区别，不都是写一个服务然后在客户端调用么？这里请允许我迷之一笑~Naive！本文简单地介绍一下两种形式的C/S架构，先说一下他们最本质的区别，就是RPC主要是基于TCP/IP协议的，而 阅读全文

posted @ 2018-05-09 14:49 NothingLZ 阅读(134) 评论(0) 推荐(0) 编辑

导航