02 2024 档案
架构漫谈读后感
摘要:架构漫谈读后感 架构漫谈是由一个架构师王概凯写的一个专题,是以他的实际架构经验为基础,讨论是什么是架构,怎样做好架构,怎么写好程序等一些问题。 共分为九个部分: 1) 什么是架构? 首先把架构的概念讨论明白,然后在对架构进行分析才显得清晰有意义。架构这个词在软件工程很早之前就已经出现了,在人类的早起
spark实验七 SparkMLlib
摘要:1.数据导入 从文件中导入数据,并转化为 DataFrame。 2.进行主成分分析(PCA) 对 6 个连续型的数值型变量进行主成分分析。PCA(主成分分析)是通过正交变换把一 组相关变量的观测值转化成一组线性无关的变量值,即主成分的一种方法。PCA 通过使用 主成分把特征向量投影到低维空间,实现对
spark实验六SparkStreaming
摘要:1.安装 Flume Flume 是 Cloudera 提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量 日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。Flume 的 核心是把数据从数据源收集过来,再送到目的地。请到 Flume 官网下载 Flume1.7.0 安
spark实验五Spark SQL
摘要:1.Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 ,
spark实验四RDD 编程初级实践
摘要:1.spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt,该数据集包含 了某大学计算机系的成绩,数据格式如下所示: Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,
2月18日 spark实验三 hadoop和spark的安装和使用
摘要:1.安装 Hadoop 和 Spark 进入 Linux 系统,参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”,完 成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后,再安装 Spark(Local 模式)。 2.HDFS 常用操作 使用 hadoop 用户名登录进
2月17日spark实验2 Scala 语言基础
摘要:计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q 为止,其中 q 为大于 0 的整数,其值通过键盘输入。 例 如 , 若 q 的 值 为 50.0 , 则 输 出 应 为 : Sn=50.416695 。 请 将 源 文 件 保 存 为 exerc
2月16日总结
摘要:exColor 作为示例,可能过于简单 这里再补充一个 ini 解析的示例 由于实在写不动用其他库解析 ini 了, 春节都要过完了,累了,写不动了, 所以随意找了一份解析ini的库, 仅供参考,对比不准确,毕竟完整库包含了更多功能 先看看结果 BenchmarkDotNet v0.13.12, W
2月15日总结
摘要:问题前,不妨先问大家几个问题:为什么我们需要操作系统?操作系统的出现解决了什么问题?为什么我们的电脑软件需要运行在诸如Win、Linux、MacOS等操作系统之上? 我一直主张在学一门技术之前,最好提前能搞清楚诸如这些what、why、how的东西,这比一味埋头扎进知识库去硬着头皮学某知识点,更重要
2月14日总结
摘要:es_to_long(flag)^p print(f'enc={enc}') print(f'a={a}') print(f'bag={bag}') """ enc=8711141725678534902974785701134493669887937601728446440075668249133
2月13日总结
摘要:四) 大鱼吃小鱼(互吃升级) 鸿蒙开发游戏(五) 大鱼吃小鱼(添加音效) 鸿蒙开发游戏(六) 大鱼吃小鱼(称霸海洋) 前两篇文章我们做了摇杆控制小鱼移动,这篇将会添加一个NPC,让其自动在海洋里游荡,然后玩家控制吃掉它。在这之前我们想思考一些问题, NPC如何生成?NPC有哪些属性?NPC是如何控制
2月12日总结
摘要:文 | James Montemagno 翻译 | 郑子铭 Visual Studio 2022 在 2023 年发布了许多令人难以置信的功能,为 .NET 开发人员提供了大量新工具来提高他们的工作效率。有这么多可供选择,我精心挑选了一个包括编辑器改进、生产力更新和人工智能辅助的选项。让我们来探讨一
2月11日总结
摘要:个提问:你的编程能力从什么时候开始突飞猛进的? ↓↓↓ 今天,我们就这个话题一起来做个讨论。 我的回答 话说这个话题着实有点泛、难以回答,这里简单跟大家分享一下我对于这个问题的一些看法,希望大家喜欢。 我的观点认为,一个程序员但凡编程能力突飞猛进之后,会在如下6个能力方面有所体现: 1、编程语言熟练
2月10日总结
摘要:三章:分层架构 传统的IT团队结构按照技术领域进行组织,例如演示团队、后端开发团队和数据库团队等。由于大多数架构师、设计师和开发人员对这种结构非常熟悉,分层架构成为大多数商业应用程序开发项目的自然选择。然而,就像所有架构风格一样,它具有优点和缺点,并不适用于所有系统。 描述 在分层架构风格中,组件被
2月9日总结
摘要:C# 实现刘谦春晚魔术 internal class Program { static List<string> list=new List<string>() { "A","B","C","D","A","B","C","D" }; static string hiddenEle1 = strin
2月8日总结
摘要:说,每个程序员但凡有过一段时间的编程之旅,多多少少会积累几个适合自己的,能帮助自己提高编程效率的编程习惯。 在这里呢,陶朱公结合自己超10年编程方面积累的经验,深度总结了如下三个是我自己多年一直在用,并且对我帮助巨大的编程习惯,在此忍不住分享给大家,希望对大家有所帮助与启发。 习惯一:工具提效 我在
2月7日总结
摘要:在面试时,经常会被问一个问题:如何防止别人恶意刷接口? 这是一个非常有意思的问题,防范措施挺多的。今天这篇文章专门跟大家一起聊聊,希望对你会有所帮助。 1 防火墙 防火墙是网络安全中最基本的安全设备之一,主要用于防止未经授权的网络访问和攻击。 防火墙可以防止的攻击行为包括: 无效数据包:防火墙可以识
spark实验一
摘要:1.安装 Linux 虚拟机 请登录 Windows 系统,下载 VirtualBox 软件和 Ubuntu16.04 镜像文件。 VirtualBox 软件的下载地址:https://www.virtualbox.org/wiki/Downloads。 Ubuntu16.04 的镜像文件下载地址:
2月4日总结
摘要:本文介绍分布式开源版本控制系统Git的下载、安装,并基于Git实现克隆GitHub中项目代码的方法。 Git是一款开源软件,因此我们直接在Git的官方下载地址下载最新版本的Git即可。其中,在下图所示的位置选择适合我们操作系统的Git版本。 随后,选择下图红色方框内的内容,下载最新版的Git。 下载
2月3日总结
摘要:所谓内存池,顾名思义和线程池的设计原理是一样的,为了减少频繁申请释放内存而带来的资源消耗,减少释放内存后产生的内存碎片。 设计理念 为了方便管理内存池的设计通常是划分出一定数量的内存块,这些内存块的长度是一样的; 用户申请内存块时返回空闲的内存块地址,如果内存块使用完毕就释放该内存块,将该内存块置为
2月2日总结
摘要:1.1 OpenVINO™ C# API 英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程,OpenVIN
2月1日总结
摘要:背景 随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“异军突起”,迎来业界持续不断关注。简单来说,向量检索技术以及向量数据库能为 LLM 提供外置的记忆单元,通过提供与问题及历史答案相关联的内容,协助 LLM 返回更准确的答案。 不仅仅是LLM,向量检索