01 2024 档案
摘要：大数据入门：什么是Spark？为什么要学Spark? Spark有什么特性？ 金牛 游戏建模师 关注 13 人赞同了该文章 Q：什么是Spark？ A：简单理解，Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计
阅读全文
摘要：<properties> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <dependency> <groupId>org.apache.sp
阅读全文
摘要：一、spark入门与安装1、spark概述1）了解Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目
阅读全文
摘要：题 【A02】文心一言插件设计与开发【百度】 发布时间： 2023-12-27 13:54:24 1.命题方向 智能计算 2.题目类别 应用类 3.题目名称 文心大模型插件设计与开发 4.背景说明 【整体背景】 大规模语言模型相继发布，生成式人工智能技术及产品的快速迭代重塑着千行百业，带动了人工智能
阅读全文
摘要：打开“文心一言”应用程序，您会看到一个简洁明了的界面，界面上有“输入文本”和“选择主题”两个选项。 首先，您需要输入要生成的文本内容。 在输入框中输入您要生成的文本内容，然后选择您要生成的语言和文字风格（例如普通文字、新闻报道、小说等）。 接下来，您需要选择生成文本的主题。 在“选择主题”选项中，您
阅读全文
摘要：文心一言的优势： 文心一言是百度开发的国内大型语言模型，相较于ChatGPT，在信息的出境传输方面具有以下优势： 数据隐私：由于文心一言是国内开发的模型，它的运行和数据存储主要在国内，这意味着用户的数据在传输过程中不需要跨境传输，减少了一定的信息流出风险。对于一些对数据隐私保护较为敏感的用户或组织，
阅读全文
摘要：Spark 四大特点 Spark 使用Scala语言进行实现，它是一种面向对、函数式编程语言，能够像操作本地集合一样轻松的操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。 速度快 由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数
阅读全文
摘要：统计一段文本里出现频率最高的前k个词，注意单词不分大小写。 过程分析首先从文件读入数据到RDD，然后使用flatMap算子对每一行的数据按照空格进行分割，并将所有的字母都转为小写，接着使用mapToPair算子对每一个单词添加计数标记1，然后使用reduceByKey算子对单词进行reduce聚合，
阅读全文
摘要：统计男女人数，并分别计算出男性和女性的最高和最低身高，数据格式“序号 M/F 身高” //生成性别身高数据，格式“序号 性别（M/F） 身高” private static void makeHeightData() throws IOException { File newFile = new F
阅读全文
摘要：ava实现spark统计100万人口的平均年龄以及每个年龄的出现次数，数据格式为“序号 年龄” //生成年龄数据，格式“序号 年龄” private static void makeAgeData() throws IOException { File newFile = new File("src
阅读全文
摘要：词频数统计 问题描述 统计一个文本文件中的每个单词的出现次数，数据格式： 首先通过textFile()函数将文件读入JavaRDD，然后通过flatMap算子将每一行的数据进行分割，得到多个String，一行数据分割得到的多个String以Iterator的迭代器格式返回，返回之后的Iterator
阅读全文
摘要：点击【左上角】的【File】，选择【Settings...】 选择【Plugins】在输入框中输入【Scala】等待几秒后，看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。 步骤二、maven引包打开【pom.xml】 初始状态： 输入以下编码内容： <!-
阅读全文
摘要：要实现这一目标，必须将rdd转换为一对rdd，以使其只包含键值对/元组。 category_price_rdd = rdd.map(lambda x: (x[1],x[2])) category_price_rdd.collect() [(‘Fruit’, 200), (‘Fruit’, 24),
阅读全文
摘要：文心大模型：API调用资格与接入指南 前往百度开放平台官网（ https://open.baidu.com/），注册并登录账号。 在控制台中选择“应用管理”，然后选择“创建应用”。 填写应用名称和描述，并选择使用“文心一言&文心千帆大模型API”，然后提交申请。 等待审核，审核通过后即可获得调用资格
阅读全文
摘要：其他信息->【智子纪元-AIGC】技术交流群 目前百度的文心一言，可以算是国内做的比较好的中文大模型产品，博主现在也已经拿到了文心一言的API，写一个API的申请和使用教程，供大家参考。 未申请到API的同学，前往官网申请，或添加小助手寻求帮助。 文心一言的优势： 文心一言是百度开发的国内大型语言模
阅读全文
摘要：一、比赛介绍 中国大学生服务外包创新创业大赛是中国高等教育学会全国普通高校学科竞赛排行榜竞赛之一，分为区域赛和全国决赛两个阶段。中国大学生服务外包创新创业大赛（以下简称“服创大赛”或“大赛”）是服务外包领域唯一的创新、创业国家级赛事。 服创大赛紧贴现代服务经济和创新、创业、创富主题，强调应用导向和产
阅读全文
摘要：百度文心一言API使用指南 作者：十万个为什么2023.09.06 17:06浏览量：112 简介：百度文心一言怎么接入 即刻调用文心一言能力 开通百度智能云千帆大模型平台服务自动获取1000000+免费tokens 立即体验 百度文心一言怎么接入随着人工智能技术的不断发展，自然语言处理领域也得到了
阅读全文
摘要：为了Linux系统初学者的学习，以及不必要再花费成本与时间去安装Linux系统，使用VMware下配置Linux虚拟机进行学习也是个不错的选择。次文详解了VMware16软件的安装步骤，以及Linux虚拟机的CentOS 7简易安装的步骤，操作简单，完全足够Linux系统初学者的学习。 VMware
阅读全文
摘要：今天学习了spark使用 大数据技术原理与应用_厦门大学_中国大学MOOC(慕课) (icourse163.org)
阅读全文
摘要：直接在网页版使用 1 使用方式 直接访问网址 https://yiyan.baidu.com/就可以使用网页版 界面还是经典的 chat 界面，用户与AI进行对话。 2 插件 百度搜索：默认加载，可以生成更实时的信息，不能关闭。 阅卷文档：原chatFile,上传文档后，可提问，创作 E言意图：基于
阅读全文
摘要：《软件工程—实践者的研究方法》这本书内容丰富，从软件工程的定义、软件过程、建模、质量管理到管理软件项目和软件工程发展趋势的探讨，作者逐个展开并做了大量的讲解。内容丰富，当然书也是非常厚。借到这本书之后，一开始没看，一再推迟，大概十一月末才鼓起勇气开始翻阅这本厚厚的书。 这本书不像之前翻阅的软件工程书
阅读全文
摘要：Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统
阅读全文
摘要：1.什么是Map/Reduce，看下面的各种解释： (1)MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编
阅读全文
摘要：一： nosql与mysql的区别是： 1、MySQL是一个基于表格设计的关系数据库，而NoSQL本质上是非关系型的基于文档的设计； 2、MySQL的严格模式限制并不容易扩展，而NoSQL可以通过动态模式特性轻松扩展等等。 3、MySQL中使用的标准语言是SQL；而NoSQL中缺乏标准的查询语言。
阅读全文
摘要：1、什么是NoSQL NoSQL(Not only SQL)是对不同于传统的关系数据库的数据库管理系统的统称，即广义地来说可以把所有不是关系型数据库的数据库统称为NoSQL。 NoSQL 数据库专门构建用于特定的数据模型，并且具有灵活的架构来构建现代应用程序。NoSQL 数据库使用各种数据模型来访问
阅读全文
摘要：通过一周时间对"构建之法-现代软件工程"快速阅读，我对软件工程这个专业有了一种更深刻的认识.软件工程，顾名思义，就是把系统的、有序的、可量化的方法应用到软件的开发、运营和维护上的过程。 一个人的成功不是天生的，而是慢慢积累的。当然，一个优秀的程序员也是慢慢学成的；正所谓：千里之行始于足下，我们必须从
阅读全文
摘要：今天学习了vue的具体 Vue-ls 的详解官方网址 作用 Vue-ls 是 Vue 的一个插件，用于操作 Local Storage(本地存储)、Session Storage(会话存储)、Memory(内存存储)。 安装CDN https://unpkg.com/vue-ls NPM npm i
阅读全文
摘要：当我们向tomcat服务器发起请求时，出现如下的错误状态提示–404.这个问题在开发过程中可能会经常遇到，所以做一个归纳总结： 以下的内容适用于IDEA，使用其他编辑器的小伙伴们需要注意区别。 情景①–> 访问的资源并不存在，仔细检查文件名与路径中的文件名是否一致，比如：hello.jsp写成了ha
阅读全文
摘要：开始使用 Vue 上一页(en-US) Overview: Client-side JavaScript frameworks 下一页 现在让我们介绍 Vue，我们的第三个框架。在本文中，我们将了解一点 Vue 的背景知识，了解如何安装它并创建一个新项目，研究整个项目和单个组件的高级结构，了解如何在
阅读全文
摘要：github上拉取项目 使用yarn安装项目所需要的依赖 学会查看pckage.json文件判断该项目通过什么依赖进行运行 区块链项目两大测试框架梳理 truffle hardhat truffle 什么是truffle truffle是针对基于以太坊的solidity语言的一套开发框架,本身给予j
阅读全文
摘要：VMware workstation虚拟机的磁盘文件： .vmdk盘符：调用硬盘存储空间的接口常用的操作系统：windows Linux unix 系统镜像文件下载:https://msdnitellyou.cnLinux服务器版本RedHat/Centos /fedora/... Linux个人版
阅读全文
