11 2019 档案
摘要：最近听室友说起了特征工程，好像还挺厉害的，下面是对调研过程中的信息摘录： 此图可放大观看； 参考链接： https://www.jianshu.com/p/7066558bd386 （图像来源，里面将的内容没仔细看） https://www.zhihu.com/question/29316149（此
阅读全文
摘要：典型神经网络模型：（图片来源：https://github.com/madalinabuzau/tensorflow-eager-tutorials） 保持更新，更多内容请关注 cnblogs.com/xuyaowen;
阅读全文
摘要：在编程过程中，有很多有用的文档现在在这里记录一下： https://docs.microsoft.com/zh-cn/ (windows产品，说明手册) http://man7.org/linux/man-pages/index.html （linux manpages 产品） https://do
阅读全文
摘要：最近做了一些和gnn相关的工作，经常听到GCN 和 embedding 相关技术，感觉很是困惑，所以写下此博客，对相关知识进行索引和记录： 参考链接： https://www.toutiao.com/a6690680620642730510/ graph embedding 技术学习 如何理解 Gr
阅读全文
摘要：# 定时刷新 nvidia-smi 显示的结果 nvidia-smi -l 1 # 以 1 秒的频率进行刷新 nvidia-smi -lms 1 #以 1 毫秒的频率进行刷新 #保持更新，更多内容请关注 cnblogs.com/xuyaowen; 相关链接： https://www.cnblogs.
阅读全文
摘要：watch 能间歇地执行程序，并将输出结果以全屏的方式显示，默认时2s执行一次； watch -n 5 ping -c 1 www.baidu.com # 进行循环5秒钟，发送一次ping包； 使用范例： To watch for mail, you might do watch -n 60 fro
阅读全文
摘要：之前发现几张图对于linux使用者有着较强的参考意义，下面对其进行简单备忘： # linux 静态信息查看工具 # linux 性能测试工具 benchmark # linux 性能观测工具 # linux 性能调优工具 资源来源链接：http://www.brendangregg.com/linu
阅读全文
摘要：使用man手册的方式，能大大加快开发速度，可能安装的时候有些安装不完整，下面结合网络上搜索信息进行补充： $ sudo apt-get install manpages $ sudo apt-get install manpages-dev $ sudo apt-get install manpag
阅读全文
摘要：下面是在使用fuse3 编译bbfs 过程中一些参数，用于备忘： FUSE_CFLAGS="-I/usr/local/include/fuse3" FUSE_LIBS="-L/usr/local/lib/x86_64-linux-gnu -lfuse3 -lpthread -ldl" ./confi
阅读全文
摘要：常常会用到 zip 命令，但是时间一长，就忘记了具体参数，下面简要记录，进行备忘： 常用命令： zip -q -r nvprof_test_out.zip nvprof_test_out/ # 压缩 参数解析： 功能说明：压缩文件。 语 法：zip [-AcdDfFghjJKlLmoqrSTuvVw
阅读全文
摘要：最近需要使用 nvprof 此时cuda 程序运行的性能，下面对使用过程进行简要记录，进行备忘： 常用使用命令：nvprof --unified-memory-profiling off python run.py （这是因为某块内存被设置了不允许分析，导致）参考：https://docs.nvid
阅读全文
摘要：最近进行学习过程中，遇到一些可以用得上的benchmark，在这里进行简要记录：之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya
阅读全文
摘要：最近需要使用到 ramfs 和 tmpfs 做内存文件系统，下面对这两个文件系统相关的信息，做一下总结： 参考链接： https://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/ https://www.cnbl
阅读全文
摘要：有时候，我们没有root用户的时候，我们进行安装deb包就不能之间安装到系统之中了； 为了方便，我们可以直接解压 dpkg -x same.deb .; 直接解压到当前目录，然后在配置环境变量，即可启动运行程序； 当然，还有另外一个命令： dpkg -i --instdir=/dest/dir/pa
阅读全文
摘要：最近要尝试探究一下alluxio相关的知识，本博客进行对alluxio的安装过程进行备忘： 单例安装过程： https://docs.alluxio.io/os/user/stable/cn/contributor/Contributor-Getting-Started.html （开发者指南） h
阅读全文
摘要：最近编译 horovod框架过程中，需要使用openmpi 4.0但是环境中的openmpi版本比较低，所以在手动安装openmpi4.0 用于编译，下面对过程进行简要记录，进行备忘： curl -O -L https://download.open-mpi.org/release/open-mpi
阅读全文
摘要：gcc 4.9 编译安装教程，因为项目编译过程中，需要采用特定的gcc版本来进行编译，所以进行简要记录，进行备忘： 下载：curl -O -L https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-4.9.0/gcc-4.9.0.tar.gz 解压：tar
阅读全文
摘要：最近需要 Horovod 相关的知识，在这里记录一下，进行备忘： 分布式训练，分为数据并行和模型并行两种； 模型并行：分布式系统中的不同GPU负责网络模型的不同部分。神经网络模型的不同网络层被分配到不同的GPU或者同一层内部的不同参数被分配到不同的GPU之上； 数据并行：不同的GPU有同一个模型的多
阅读全文
摘要：稀疏矩阵是指矩阵中元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上是稀疏矩阵，很多稀疏度在90%甚至99%以上；因此我们需要有高效的稀疏矩阵存储格式。 本文参考了 https://www.cnblogs.com/xbinworld/p/4273506.html 此文章，对coo 和 csr
阅读全文
摘要：本文章主要是记录，cuda 编程过程中遇到的相关概念，名字解释和问题；主要是是用来备忘： cuda PTX ：并行线程执行（Parallel Thread eXecution，PTX）代码是编译后的GPU代码的一种中间形式，它可以再次编译为原生的GPU微码。 下面几条链接，是对nvcc 编译过程中，
阅读全文
摘要：Tensorflow dataloader 相关调研；数据读取是训练的开始，是非常关键的一步；下面是调研时搜集到的一些相关链接： 十图详解tensorflow数据读取机制 https://zhuanlan.zhihu.com/p/27238630 TensorFlow全新的数据读取方式：Datase
阅读全文
摘要：今天，在集成z390芯片组的主板上，安装了一块m.2支持 sata协议的ssd时，发现安装上ssd后，之前机械硬盘不识别了；还以为机械硬盘烧了； 在网上查找相关博客可以发现，是M.2 SATA 和 SATA5,6 接口 共用通道的原因；换到1,2,3或4,通道就可以了；具体的依据，简单记录如下； 上
阅读全文
摘要：为了了解，上来先看几篇中文博客进行简单了解： 如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL？(较为优秀的文章) 使用NCCL进行NVIDIA GPU卡之间的通信 （GPU卡通信模式测试） https://developer.nvidia.com/nccl (官方网站) http
阅读全文
摘要：什么是bazel https://docs.bazel.build/versions/master/bazel-overview.html 使用 bazel 构建 c++ 工程 https://github.com/bazelbuild/examples/tree/master/cpp-tutori
阅读全文
摘要：Makefile包含 目标文件、依赖文件、可运行命令三部分。 每部分的基本格式例如以下： test: prog.o code.o gcc -o test prog.o code.o 当中，第一行的test是目标文件。 prog.o、code.o是依赖文件； 第二行的gcc -o test prog.
阅读全文
摘要：图片来源自网络，保持更新；更多内容请关注 cnblogs.com/xuyaowen 参考链接： https://zhuanlan.zhihu.com/p/39721251 http://blog.yufeng.info/archives/2293
阅读全文
摘要：最近项目，需要创建一个 tensorflow 的一个自定义操作，用来加速tensorflow的处理效果；下面对创建过程中，遇到的问题和资源进行简要记录，进行备忘： OP 创建 参考链接： https://www.tensorflow.org/guide/create_op （官方教程） Tensor
阅读全文