12 2020 档案

摘要：基本思路：基于parameter server + multiple workers模式。同步方式：parameter server负责网络参数的统一管理，每次迭代均将参数发送给每一个worker，多个worker同时迭代数据集，计算当前批次的损失和梯度，当所有worker全部完成当前批次的计算后， 阅读全文

摘要：基本思路：1、对数据分块，使用多个worker分别处理一个数据块，每个worker暴露两个接口，分别是损失计算的接口loss和梯度计算的接口grad；2、同时定义full_loss和full_grad接口对每个worker的loss和grad进行聚合；3、使用bfgs算法进行参数优化，分别使用ful 阅读全文

摘要：转自https://www.cnblogs.com/shenh/p/9518343.html 一、前言 容器使用沙箱机制，互相隔离，优势在于让各个部署在容器的里的应用互不影响，独立运行，提供更高的安全性。本文主要介绍python应用（django）跑在docker容器里，编写dockerfile实现 阅读全文

摘要：pandas dataframe写入hdfs csv文件的两种方式： 1、 from hdfs.client import Client cleint.write(hdfs_url, df.to_csv(idnex=False), overwrite=True, encoding='utf-8') 阅读全文