随笔分类 - 分布式系统
记录分享分布式存储相关的调研与思考
摘要：旷视Brain++是由旷视研究院自主研发的新一代 AI生产力平台，致力于帮助企业和开发者提升AI生产效率、规范生产流程。（2014-2021）https://www.brainpp.com/ 最近有个相关的面试，就简单的搜集了一下资料，用作个人的参考。 Brain++的核心能力： 数据的处理、清洗和
阅读全文
摘要：本博客是和pNFS相关的文章； 之前曾写过的关于nfs文件系统的文章： NFSv4文件系统：https://www.cnblogs.com/xuyaowen/p/nfsv4.html NFS文件系统的安装和配置：https://www.cnblogs.com/xuyaowen/p/NFS_insta
阅读全文
摘要：本博客来源自个人毕业设计的开发过程中，需要使用TiKV做为K-V store进行持久化存储数据，为方便开发故部署单节点集群，方便调试： 本部署方案，修改自TiKV官方文档中3节点部署方案，利用docker 用户自定义网络实现单机部署。部署并验证后，显示部署方案可行; 关于docker如何安装和使用，
阅读全文
摘要：Unix时间戳(Unix timestamp)，或称Unix时间(Unix time)、POSIX时间(POSIX time)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。 Unix时间戳不仅被使用在Unix 系统、类Unix系统中，也在许多其他
阅读全文
摘要：云：云和本地是相对的，传统的应用跑在本地服务器上，现在流行的应用跑在云端；IaaS，PaaS，SaaS; 云原生：Cloud Native, 原生表示土生土长的意思，我们在开始设计应用的时候，就考虑到应用将来是运行在云环境中的；要充分利用云资源的优点：弹性和分布式； 云原生 = 微服务 + DevO
阅读全文
摘要：在使用MPI框架中，需要多机进行通信进行并行计算；现在配置多个主机进行运行mpi程序，并进行通信；涉及到ssh无密码和nfs文件系统配置； 参考文档： https://mpitutorial.com/tutorials/running-an-mpi-cluster-within-a-lan/ 配置如
阅读全文
摘要：本文章主要是用来索引，分布式系统中相关的链接： http://sortbenchmark.org/ http://www.cac.gov.cn/2015-10/29/c_1116972140.htm https://www.cnblogs.com/spork/archive/2010/02/06/1
阅读全文
摘要：最近需要使用嵌入式数据库进行存储应用本地信息，本文章主要进行记录当前比较流行的嵌入式数据库相关的链接，嵌入式数据库往往是以lib的形式存在，常用于持久化存储软件的信息，嵌入式数据库往往和应用软件紧密集成： 特点： database systems with differing application
阅读全文
摘要：最近要使用到 alluxio，发现网上还是有一些文档很是不错，现在通过这篇文章进行索引一下，进行备忘： https://edgedef.com/2017/08/17/alluxio-%E5%B0%8F%E8%B0%83/ （以为网友关于 alluxio的调研） https://www2.eecs.b
阅读全文
摘要：下面是在使用fuse3 编译bbfs 过程中一些参数，用于备忘： FUSE_CFLAGS="-I/usr/local/include/fuse3" FUSE_LIBS="-L/usr/local/lib/x86_64-linux-gnu -lfuse3 -lpthread -ldl" ./confi
阅读全文
摘要：为了了解，上来先看几篇中文博客进行简单了解： 如何理解Nvidia英伟达的Multi-GPU多卡通信框架NCCL？(较为优秀的文章) 使用NCCL进行NVIDIA GPU卡之间的通信 （GPU卡通信模式测试） https://developer.nvidia.com/nccl (官方网站) http
阅读全文
摘要：图片来源自网络，保持更新；更多内容请关注 cnblogs.com/xuyaowen 参考链接： https://zhuanlan.zhihu.com/p/39721251 http://blog.yufeng.info/archives/2293
阅读全文
摘要：最近在关注 分布式部署相关的工具和方法，下面是一些有趣的链接： Linux PXE + Kickstart 自动装机 https://www.cnblogs.com/llife/p/11632933.html 本文章作用，主要是用来进行索引文档链接信息，保持更新，更多内容请关注 cnblogs.co
阅读全文
摘要：网络上有很多关于缓存和预取相关的问题和文章，在这里简单进行记录，并进行备忘： 大型分布式系统中的缓存架构 https://www.cnblogs.com/panchanggui/p/9503666.html 《Scaling Memcache At Facebook》学习笔记 https://www
阅读全文
摘要：tensorflow 容器运行过程中使用到的命令记录： 使用image启动容器命令： docker run --name="YaoXu-Test-tensorflow-gpu" --gpus all -it -p 8881:8888 tensorflow/tensorflow:latest-gpu-
阅读全文
摘要：计算机系统领域中的一些大牛，时长看看他们的简历，跟着他们的脚步：（排名不分先后） Leslie Lamport http://lamport.azurewebsites.net/pubs/pubs.html John Ousterhout https://web.stanford.edu/~oust
阅读全文
摘要：一般地，把出现故障( crash 或 fail-stop，即不响应)但不会伪造信息的情况称为“非拜占庭错误”( non-byzantine fault)或“故障错误”( Crash Fault); 伪造信息恶意响应的情况称为“拜占庭错误”( Byzantine Fault)，对应节点为拜占庭节点。
阅读全文
摘要：GPU 编程可以称为异构编程，最近由于机器学习的火热，很多模型越来越依赖于GPU来进行加速运算，所以异构计算的位置越来越重要；异构编程，主要是指CPU+GPU或者CPU+其他设备（FPGA等）协同计算。当前的计算模型中，CPU主要用来进行通用计算，其更多的是注重控制，我们可以通过GPU和FPGA等做
阅读全文
摘要：RDMA (Remote Direct Memory Access) 全称为 远程直接内存访问 其出现的目的：为了解决网络传输中服务端数据处理的延迟而产生的。其将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用
阅读全文