AI
刷新
PyTorch中实现Transformer模型

博主头像 前言 关于Transformer原理与论文的介绍:详细了解Transformer:Attention Is All You Need 对于论文给出的模型架构,使用 PyTorch 分别实现各个部分。 命名transformer.py,引入的相关库函数: import copy import torc ...

4个大语言模型训练中的典型开源数据集

博主头像 本文分享自华为云社区《浅谈如何处理大语言模型训练数据之三开源数据集介绍》,作者: 码上开花_Lancer。 随着最近这些年来基于统计机器学习的自然语言处理的算法的发展,以及信息检索研究的需求,特别是近年来深度学习和预训练语言模型的研究以及国内国外许多大模型的开源,研究人员们构建了多种大规模开源数据集 ...

数字先锋|智慧“育”见未来!天翼云携手知学云为人才培育注入新活力

博主头像 人工智能技术在教育领域的运用正在为学生、教师和教育机构带来翻天覆地的变化。通过定制化学习路径和智能化辅助教学工具,人工智能为学生提供了更加个性化、灵活和高效的学习体验。无论是针对不同学习能力的学生定制的学习计划,还是通过智能化的教学工具为教师提供更多教学资源和指导,人工智能的介入都为教育带来了更多可... ...

论文解读:Cellpose在细胞分割领域的应用

细胞分割与Cellpose 基于显微镜图像的单细胞分析是目前生命科学领域的前沿和热点问题。细胞分割能对成像图片进行批量处理,将其形态、位置、RNA 表达和蛋白质表达等信息赋予识别出的每个细胞。比如: 对于多光子钙成像分析,需要识别出单个神经元,才能提取每个神经元的钙荧光信号,进行下游的处理和分析; ...

【scikit-learn基础】--『分类模型评估』之系数分析

博主头像 前面两篇介绍了分类模型评估的两类方法,准确率分析和损失分析,本篇介绍的杰卡德相似系数和马修斯相关系数为我们提供了不同的角度来观察模型的性能,尤其在不平衡数据场景中,它们更能体现出其独特的价值。 接下来,让我们一起了解这两个评估指标的原理与特点。 1. 杰卡德相似系数 杰卡德相似系数(Jaccard ...

太强了!本地存档一键导入 Sealos 帕鲁专属服务器

博主头像 上一篇:幻兽帕鲁 Palworld 私有服务器一键部署教程 作为一名资深帕鲁,我的职责就是帮助各位帕鲁主人们闭着眼睛部署私服,完全不用带脑子。 我就喜欢群里的帕鲁老板们压榨我,拿鞭子抽我让我赶紧上新功能,这不,今天给各位带来一个王炸新功能:本地存档导入 Sealos 帕鲁专属服务器! 和以往一样,这 ...

读AI3.0笔记10_读后总结与感想兼导读

博主头像 1. 基本信息 AI 3.0 (美)梅拉妮·米歇尔 著 四川科学技术出版社,2021年2月出版 1.1. 读薄率 书籍总字数355千字,笔记总字数33830字。 读薄率33830÷355000≈9.53% 1.2. 读厚方向 千脑智能 脑机穿越 未来呼啸而来 虚拟人 新机器人 如何创造可信的AI 新 ...

【译】为什么AI产品注定会失败

博主头像 原作:杰里米·阿兰西奥 引言:在为各种企业实施AI项目一年后,我分享了我对公司在 LLMs 方面所犯错误的看法,以及应采取的策略。 2023 年是人工智能取得巨大成就的一年,特别是在具有大型语言模型的自然语言处理(LLMs)方面。随着生成式人工智能的出现以及随之而来的令人印象深刻的表现,大多数公司都 ...

如何在Windows上和Linux上配置自启动服务?

博主头像 我们以 FastTunnel 这个内网穿透工具为例,其中Server端的程序运行在Linux上,Client端的程序运行在Windows上。关于这个程序的配置请参考官方文档: 快速上手:快速搭建服务。为了避免每次手动启动程序,我们把它们做成开启自启动的服务,这样你就可以无缝使用远程桌面了。 Wind ...

CS231N Assignment3 入门笔记(Q4 GANs)

博主头像 斯坦福2023年春季CS231N课程第三次作业(最后一次)解析、笔记与代码,作为初学者入门学习。 在这项作业中,将实现语言网络,并将其应用于 COCO 数据集上的图像标题。然后将训练生成对抗网络,生成与训练数据集相似的图像。最后,将学习自我监督学习,自动学习无标签数据集的视觉表示。 本作业的目标如下 ...

【scikit-learn基础】--『回归模型评估』之损失分析

博主头像 分类模型评估中,通过各类损失(loss)函数的分析,可以衡量模型预测结果与真实值之间的差异。不同的损失函数可用于不同类型的分类问题,以便更好地评估模型的性能。 本篇将介绍分类模型评估中常用的几种损失计算方法。 1. 汉明损失 Hamming loss(汉明损失)是一种衡量分类模型预测错误率的指标。它 ...

爆了!Sealos 三天支持 1000 个帕鲁私服

博主头像 Sealos 的帕鲁私服模板从第一天发布之后就起了 100 多个私服,第二天直接上到 500 多个,第三天直接上千,还在加速增长中。来讲讲我们只用一个晚上怎么做到上线一个专属可用区的,还有一些帕鲁实践让我对云有的一些新的思考。 Sealos 凭啥杀出一条血路 这次各大云厂商都出了私服教程。 原因很简 ...

构建知识图谱:从技术到实战的完整指南

博主头像 本文深入探讨了知识图谱的构建全流程,涵盖了基础理论、数据获取与预处理、知识表示方法、知识图谱构建技术等关键环节。 关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士 ...

读AI3.0笔记09_常识

博主头像 1. 人类天生具备的核心知识 1.1. 是我们与生俱来的或很早就学习到的最为基本的常识 1.1.1. 即便是小婴儿也知道,世界被分为不同的“物体”,而且一个物体的各个组成部分会一起移动 1.1.2. 同时,即便某一物体的某些部分在视野中看不见了,它们仍然是该物体的一部分 1.2. 直觉 1.2.1. ...

CS231N Assignment3 入门笔记(Q3 Transformer)

博主头像 斯坦福2023年春季CS231N课程第三次作业(最后一次)解析、笔记与代码,作为初学者入门学习。 在这项作业中,将实现语言网络,并将其应用于 COCO 数据集上的图像标题。然后将训练生成对抗网络,生成与训练数据集相似的图像。最后,将学习自我监督学习,自动学习无标签数据集的视觉表示。 本作业的目标如下 ...

随机 Transformer

博主头像 在这篇博客中,我们将通过一个端到端的示例来讲解 Transformer 模型中的数学原理。我们的目标是对模型的工作原理有一个良好的理解。为了使内容易于理解,我们会进行大量简化。我们将减少模型的维度,以便我们可以手动推理模型的计算过程。例如,我们将使用 4 维的嵌入向量代替原始的 512 维嵌入向量。 ...

脑科学与人工神经网络ANN的发展历程与最新研究

博主头像 本文深入研究了ANN的基本概念、发展背景、应用场景以及与人脑神经网络的关系。 关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人 一、引 ...

相机标定中的四种坐标系

世界坐标系:代表物体在三维世界里的真实坐标,坐标用(Xw,Yw,Zw)表示,其中的w可以认为是world的缩写。 相机坐标系:代表以相机光学中心为原点的坐标,Z轴与光轴重合,坐标用(Xc,Yc,Zc)表示,其中c可以认为是camera的缩写 图像坐标系:代表相机拍摄时,在成像平面上使用的坐标系,成像 ...

Pytorch分布式训练,其他GPU进程占用GPU0的原因

博主头像 问题 最近跑师兄21年的论文代码,代码里使用了Pytorch分布式训练,在单机8卡的情况下,运行代码,出现如下问题。 也就是说GPU(1..7)上的进程占用了GPU0,这导致GPU0占的显存太多,以至于我的batchsize不能和原论文保持一致。 解决方法 我一点一点进行debug。 首先,在数据加 ...

离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope

博主头像 制作双语字幕的方案网上有很多,林林总总,不一而足。制作双语字幕的原理也极其简单,无非就是人声背景音分离、语音转文字、文字翻译,最后就是字幕文件的合并,但美中不足之处这些环节中需要接口api的参与,比如翻译字幕,那么有没有一种彻底离线的解决方案?让普通人也能一键制作双语字幕,成就一个人的字幕组? 人声 ...