摘要:
Spark MLlib Spark分布式计算原理 Spark(分布式的计算平台),分布式:指计算节点之间不共享内存,需要通过网络通信的方式交换数据。Spark最典型的应用方式是建立在大量廉价计算节点(廉价主机、虚拟的docker container)上;但这种方式区别于CPU+GPU的架构和共享内存 阅读全文
摘要:
1.LSTM&GRU的原理 https://blog.csdn.net/jerr__y/article/details/58598296 https://github.com/starflyyy/Gated-Recurrent-Unit-GRU 2.多层LSTM pytorch里有一个num_lay 阅读全文
摘要:
一、张量的维度操作 1.squezee & unsqueeze 2.张量扩散,在指定维度上将原来的张量扩展到指定大小,比如原来x是31,输入size为[3, 4],可以将其扩大成34,4为原来1个元素的复制 3.转置,torch.transpose 只能交换两个维度 permute没有限制 4.改变 阅读全文
摘要:
1. 挂载 sudo mkdir mnt/D sudo fdisk -l #找到windows(本人window磁盘为/dev/sdb4)sudo mount /dev/sdb4 /mnt/D -o iocharset=utf8,umask=0 报错:只读:The disk contains an 阅读全文
摘要:
在实现deepfm是进行特征编码时遇到RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.FloatTensor but got torch.cuda.Fl 阅读全文
摘要:
开始用附加驱动安装了nvidia 435,但是分辨率依然只有1024*768,意识到是显卡驱动装得有问题,故按照下面的blog安装了驱动。 https://www.cnblogs.com/zmbreathing/p/Nvidia-driver_ubuntu.html nvidia-smi 显示错误N 阅读全文
摘要:
。 阅读全文
摘要:
文件系统: Linux上文件分为:用户数据(user data, 文件数据块(data block):记录文件真实内容的地址)和元数据(meta data,文件附加属性(文件大小、创建时间、所有者)inode号,文件索引节点号,文件唯一标识符而非文件名,系统和程序通过inode号寻找正确的文件数据块 阅读全文