《架构漫谈》读后感
摘要:《架构漫谈》系列读后感 这几天,读了老师推荐有关架构的一篇系列文章《架构漫谈》,其中通俗易懂的语言,风趣幽默的风格,形象明了的对比形式让我对架构有了更进一步的了解。 何为架构?最早期社会我们一个人就可以完全独立生活完成衣食住行所有事情,随着需求的增加,比如说人类延续,人们开始群居。接下来人们发现各自
阅读全文
2.4学习进度
摘要:1.telnet localhost 44444 2.#前面编辑 conf 文件的端口名 然后我们可以在终端下输入任何字符,第一个终端的日志控制台也会有相应的显示,如 我们输入”hello,world”,得出 第一个终端的日志控制台显示: netcatsource 运行成功! 这里补充一点,flum
阅读全文
2.3学习进度
摘要:常用api用法 agg:groupdata对象的api,作用是在里面可以写多个聚合 alias:column对象的api,可以针对一个列进行改名 withcolumnrenamed:dataframe的api,可以对df中的列进行改名,一次改一个列 ,改多个列,可以链式调用7.sparksql数据清
阅读全文
2.2学习进度
摘要:spark并行度推荐全局并行度;集群中的 并行度设置为cpu总核心的2~10倍;规划并行度,只看集群总cpu核数5.spark的任务调度sparkde任务,由driver进行调度,这个工作包含:逻辑DAG产生、分区DAg产生、task划分、将task分配给executor并监控其工作DAG调度器:讲
阅读全文
2.1学习进度
摘要:有向无环图有向:有方向无环:没有闭环DAG:有方向没有形成闭环的一个执行流程图action:执行链条的开关,返回值不是rdd算子一个action会产生一个job(一个应用程序内的子任务),每个job会产生一个DAG图一个action = 一个DAG = 一个JOB一个application中,每一个
阅读全文
1.31学习进度
摘要:第一章1.sparkshufflemap和reduce在shuffle过程中,提供数据的称之为ma段,几首数据的称之为reduce端在spark的两个阶段中,总是前一个阶段产生一批map提供数据,下一阶段喊声一批reduce接收数据2.spark提供2中shuffle管理器 hashshufflem
阅读全文