02 2024 档案

架构漫谈读后感

摘要：作者以一种通俗易懂的语言，向我们揭示了软件架构的本质与核心价值。它并非仅仅是代码堆砌的艺术，而是对系统逻辑、业务需求、性能考量、可扩展性、可维护性等多方面因素进行综合权衡与设计的过程。作者通过生动具体的案例，阐述了良好的架构设计如何影响并决定着项目的成败，使我对架构设计的重要性有了更为深刻的理解。阅读全文

posted @ 2024-02-28 19:41 傲世小苦瓜阅读(15) 评论(1) 推荐(0) 编辑

寒假生活，

摘要：今天继续完成实验 4.实验报告题目： Spark Streaming 编程初级实践姓名日期2024.1.13 实验环境：操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 实验内容与完成情况： Flum安装（1）解压安装包 tar -zxvf apac 阅读全文

posted @ 2024-02-05 21:19 傲世小苦瓜阅读(7) 评论(0) 推荐(0) 编辑

寒假生活

摘要：今天继续rddd练习： from pyspark import SparkConf,SparkContext #创建sparkconf对象 conf = SparkConf().setMaster("local[*]").setAppName("test_app") #基于sparkconf对象创建阅读全文

posted @ 2024-02-04 21:18 傲世小苦瓜阅读(3) 评论(0) 推荐(0) 编辑

寒假生活

摘要：进行了spark的基础学习。 rdd： map计算 rdd = sc.parallelize([1,2,3,4,5]) def func(date): return date*10 rdds=rdd.map(func) #flatMap解除嵌套 rdd = sc.parallelize(["dwad 阅读全文

posted @ 2024-02-03 21:20 傲世小苦瓜阅读(4) 评论(0) 推荐(0) 编辑

寒假生活（StandAlone HA的原理总结）

摘要：StandAlone HA的原理基于Zookeeper做状态的维护, 开启多个Master进程, 一个作为活跃,其它的作为备份,当活跃进程宕机,备份Master进行接管. 为什么需要Zookeeper? 分布式进程是分布在多个服务器上的, 状态之间的同步需要协调,比如谁是master,谁是wo 阅读全文

posted @ 2024-02-02 21:19 傲世小苦瓜阅读(4) 评论(0) 推荐(0) 编辑

寒假生活

摘要：今天完成了实验spark sql 题目： Spark SQL编程初级实践姓名实验环境：操作系统：Ubuntu18.04（或Ubuntu16.04）； Spark版本：3.2.0； Hadoop版本：3.1.3。 Pycharm Anaconda3 实验内容与完成情况：基本操作代码（注释操作）阅读全文

posted @ 2024-02-01 21:19 傲世小苦瓜阅读(6) 评论(0) 推荐(0) 编辑