随笔分类 - 机器学习
机器学习相关知识；
摘要：旷视Brain++是由旷视研究院自主研发的新一代 AI生产力平台，致力于帮助企业和开发者提升AI生产效率、规范生产流程。（2014-2021）https://www.brainpp.com/ 最近有个相关的面试，就简单的搜集了一下资料，用作个人的参考。 Brain++的核心能力： 数据的处理、清洗和
阅读全文
摘要：最近参考了一篇博客，感觉对这个概念讲得比较好，我通过博客在这里同一整理一下： 均方差是数据序列与均值的关系，而均方误差是数据序列与真实值之间的关系；重点在于 均值 与 真实值之间的关系； 方差是 数据与 均值（数学期望）之间的平方和； 标准差是方差的平均值开根号，算术平方根； 标准差是均方差，均方差
阅读全文
摘要：安装dgl 并运行的时候，出现了如上错误，很是郁闷；使用 gdb python; run train.py 进行调试，发现是torch的问题；我猜测估计是torch 安装的版本过于新；于是重新安装 1.0.0 版本; 解决上述问题； dgl-cu90 0.4.1 torch 1.0.0 ~/Desk
阅读全文
摘要：如何进行优化tensorflow 将极大得加速机器学习模型的训练的时间，下面是一下tensorflow性能调优相关的阅读链接： tensorflow 性能调优：http://d0evi1.com/tensorflow/performance/ (概括的较为完整) tensorflow:input p
阅读全文
摘要：最近听室友说起了特征工程，好像还挺厉害的，下面是对调研过程中的信息摘录： 此图可放大观看； 参考链接： https://www.jianshu.com/p/7066558bd386 （图像来源，里面将的内容没仔细看） https://www.zhihu.com/question/29316149（此
阅读全文
摘要：典型神经网络模型：（图片来源：https://github.com/madalinabuzau/tensorflow-eager-tutorials） 保持更新，更多内容请关注 cnblogs.com/xuyaowen;
阅读全文
摘要：最近做了一些和gnn相关的工作，经常听到GCN 和 embedding 相关技术，感觉很是困惑，所以写下此博客，对相关知识进行索引和记录： 参考链接： https://www.toutiao.com/a6690680620642730510/ graph embedding 技术学习 如何理解 Gr
阅读全文
摘要：# 定时刷新 nvidia-smi 显示的结果 nvidia-smi -l 1 # 以 1 秒的频率进行刷新 nvidia-smi -lms 1 #以 1 毫秒的频率进行刷新 #保持更新，更多内容请关注 cnblogs.com/xuyaowen; 相关链接： https://www.cnblogs.
阅读全文
摘要：最近需要使用 nvprof 此时cuda 程序运行的性能，下面对使用过程进行简要记录，进行备忘： 常用使用命令：nvprof --unified-memory-profiling off python run.py （这是因为某块内存被设置了不允许分析，导致）参考：https://docs.nvid
阅读全文
摘要：最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘： curl -O -L https://download.open-mpi.org/release/open-mpi
阅读全文
摘要：最近需要 Horovod 相关的知识，在这里记录一下，进行备忘： 分布式训练，分为数据并行和模型并行两种； 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上； 数据并行：不同的GPU有同一个模型的多
阅读全文
摘要：稀疏矩阵是指矩阵中元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上是稀疏矩阵，很多稀疏度在90%甚至99%以上；因此我们需要有高效的稀疏矩阵存储格式。 本文参考了 https://www.cnblogs.com/xbinworld/p/4273506.html 此文章，对coo 和 csr
阅读全文
摘要：本文章主要是记录，cuda 编程过程中遇到的相关概念，名字解释和问题；主要是是用来备忘： cuda PTX ：并行线程执行（Parallel Thread eXecution，PTX）代码是编译后的GPU代码的一种中间形式，它可以再次编译为原生的GPU微码。 下面几条链接，是对nvcc 编译过程中，
阅读全文
摘要：Tensorflow dataloader 相关调研；数据读取是训练的开始，是非常关键的一步；下面是调研时搜集到的一些相关链接： 十图详解tensorflow数据读取机制 https://zhuanlan.zhihu.com/p/27238630 TensorFlow全新的数据读取方式：Datase
阅读全文
摘要：今天，在集成z390芯片组的主板上，安装了一块m.2支持 sata协议的ssd时，发现安装上ssd后，之前机械硬盘不识别了；还以为机械硬盘烧了； 在网上查找相关博客可以发现，是M.2 SATA 和 SATA5,6 接口 共用通道的原因；换到1,2,3或4,通道就可以了；具体的依据，简单记录如下； 上
阅读全文
摘要：为了了解，上来先看几篇中文博客进行简单了解： 如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL？(较为优秀的文章) 使用NCCL进行NVIDIA GPU卡之间的通信 （GPU卡通信模式测试） https://developer.nvidia.com/nccl (官方网站) http
阅读全文
摘要：什么是bazel https://docs.bazel.build/versions/master/bazel-overview.html 使用 bazel 构建 c++ 工程 https://github.com/bazelbuild/examples/tree/master/cpp-tutori
阅读全文
摘要：最近项目，需要创建一个 tensorflow 的一个自定义操作，用来加速tensorflow的处理效果；下面对创建过程中，遇到的问题和资源进行简要记录，进行备忘： OP 创建 参考链接： https://www.tensorflow.org/guide/create_op （官方教程） Tensor
阅读全文
摘要：# 安装 2.7 环境conda create -n python2.7 python=2.7.17 conda activate python2.7 # 安装 1.1.0 gpu版本pip install tensorflow-gpu==1.1.0 # 配置环境变量export LD_LIBRAR
阅读全文
摘要：1）点乘（即“ * ”） 各个矩阵对应元素做乘法 若 w 为 m*1 的矩阵，x 为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。 若 w 为 m*n 的矩阵，x 为 m*n 的矩阵，那么通过点乘结果就会得到一个 m*n 的矩阵。 w的列数只能为 1 或 与x的列数相等（即n），w
阅读全文