07 2024 档案

生成式模型
摘要：扩散模型（Diffusion model）起源于非均衡动力学，包括两个过程：前向过程和反向过程 前向扩散过程中，模型将输入数据逐渐转换为噪声数据，这一过程通过添加高斯噪声实现，每一步添加的噪声量都是可控的，通过连续添加噪声，模型可以得到数据在不同噪声水平下的表示。 在反向生成过程中，模型试图从噪声数 阅读全文

posted @ 2024-07-30 17:33 ITJAMESKING 阅读(8) 评论(0) 推荐(0) 编辑

深度学习中的一些基础函数
摘要：激活函数概念 神经网络中每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传给下一层。在多层神经网络中，上层节点的输入在加权求和后与下层节点的输入之间具有一个函数关系，这个函数称为激活函数。 激活函数的作用 常见激活函数 Sigmoid函数单调连续，求导容易，输出有界，网络比较容 阅读全文

posted @ 2024-07-30 17:08 ITJAMESKING 阅读(51) 评论(0) 推荐(0) 编辑

7.29复习上周学习内容-华为人工智能课程1
摘要：什么是人工智能？ 机器有智慧。 人工智能发展史？ 机器学习：谷歌翻译 深度学习：AlphaGo Transformer阶段：GPT3 人工智能的主要学派？ 符号主义：认为人类认知基于符号。 连接主义：源于仿生学 行为主义：源于感知 人工智能算法发展历程： 阅读全文

posted @ 2024-07-29 16:11 ITJAMESKING 阅读(18) 评论(0) 推荐(0) 编辑

pyTorch模型调优NPU
摘要：性能分析工具pyTorch Profiling CANN Profiling 看task duration 调优手段1：使用亲和的数据类型 用AMP训练 AICore不支持torch.long.Tensor类型，会自动切换AICPU,影响训练。 调优手段2：优化调度耗时（融合tensor） 融合算子 阅读全文

posted @ 2024-07-24 15:32 ITJAMESKING 阅读(100) 评论(0) 推荐(0) 编辑

pytorch模型迁移介绍
摘要：迁移的基本流程 第一步：算子满足度分析 方法一 在pytorch profiler在GPU上提取算子 方法二 使用CANN分析迁移工具 第二步： 配置相关硬件环境，在pytorch的基础上安装pytorch adapt; 模型迁移-手工迁移（单Device代码迁移） 导入NPU相关库（pyTORCH 阅读全文

posted @ 2024-07-24 10:09 ITJAMESKING 阅读(56) 评论(0) 推荐(0) 编辑

pytorch模型迁移与调优CANN
摘要：简单概念对应情况 具体版本支持 核心的设计dispatch pytorch Adapter 逻辑架构图 阅读全文

posted @ 2024-07-23 17:41 ITJAMESKING 阅读(8) 评论(0) 推荐(0) 编辑

昇腾AI基础软硬件平台介绍
摘要：面向训练场景的有Ascend 910系列 和Ascend 310系列 AI CORE是昇腾AI处理器的计算核心，采用华为自研究的达芬奇架构。 具有矩阵计算单元，向量计算单元，标量计算单元，累加器 CANN逻辑架构介绍。 是华为针对AI推出的异构计算架构。 服务层 计算编译层 阅读全文

posted @ 2024-07-23 17:09 ITJAMESKING 阅读(76) 评论(0) 推荐(0) 编辑

华为ai系统基础概念
摘要：现在大模型训练主要用BF16 构建多卡训练系统主要考虑：算力，网络，存储。 阅读全文

posted @ 2024-07-23 16:36 ITJAMESKING 阅读(13) 评论(0) 推荐(0) 编辑

华为大模型的处理方案
摘要：1.大模型对运维的要求也是相对严格特别是光模块对环境的要求相对严格。 2.大模型训练的影响因素 分布式训练切法：Tensor模型并行：pipeline并行，数据并行。和称PTD并行。all to all专家并行（华为优化方案分层分级） 补充QKV 以及LayerNorm深入理解NLP中LayerNo 阅读全文

posted @ 2024-07-23 16:28 ITJAMESKING 阅读(26) 评论(0) 推荐(0) 编辑

华为昇腾开发学习-入门
摘要：人工智能的发展路径：从感知识别转向内容生成 人工智能进入大模型时代，使用门槛降低 发展趋势模型，模型参数量增大，数据规模增大。 算力和数据成核心。 阅读全文

posted @ 2024-07-22 17:31 ITJAMESKING 阅读(22) 评论(0) 推荐(0) 编辑

配置tensorflow2.9经验
摘要：在conda 在虚拟环境中安装好python和tensorflow后，到pycharm中安装其他库不容易出错。 在2.x版本以上tensorflow集成了keras不用再引入不然会报错。 ModuleNotFoundError: No module named 'scipy' conda insta 阅读全文

posted @ 2024-07-22 15:31 ITJAMESKING 阅读(8) 评论(0) 推荐(0) 编辑

amd配置在Windows中使用的dockers
摘要：在Windows中DOCKER的使用有两种方式，一种是hyper-v一种是wsl，第一个是虚拟机，第二个是Windows中的Linux子系统，第二个相对第一个的运行速度快。 为了运行更快选择第二种。 第一步 首先在打开启用或关闭Windows功能 对适用于Linux的windows子系统进行打勾 第 阅读全文

posted @ 2024-07-18 17:00 ITJAMESKING 阅读(139) 评论(0) 推荐(0) 编辑

部署tensorflow2.9.0踩坑总结+总结与明日计划安排
摘要：环境配置：python3.9.19 numpy 2.0.0 pandas 2.2.2 tensorflow 2.9.0问题报错AttributeError: module 'numpy' has no attribute '__version__'numpy与python不兼容pandas 2.2. 阅读全文

posted @ 2024-07-17 20:04 ITJAMESKING 阅读(53) 评论(0) 推荐(0) 编辑

实习第一天
摘要：1.熟悉eis系统的基本使用：首先要接上网线，然后才能打开网址。打开网址选择使用ie浏览器（win10的edg中可以切换为ie的内核）。 在ie系统中有一个个人自助，其中的密码与eis系统不同。 2.svn的使用，安装torsvn 然后在本地文件夹中svn检出，填写url然后登入，登入后可以使用sv 阅读全文

posted @ 2024-07-10 23:31 ITJAMESKING 阅读(3) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示