摘要： 
只需三步:下载CodeLLDB插件-配置tasks.json-配置launch.json 阅读全文
只需三步:下载CodeLLDB插件-配置tasks.json-配置launch.json 阅读全文
摘要： 
我follow的这篇论文在联邦学习(分布式)的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信，依据模型聚合方式的不同，可以将模型采用的算法分为client-server方法，和fully decentralized(完全去中心化)的方法（其实还有其他的聚合方法没，如另一篇论文提出的簇状聚合方法，我们这里暂时略过），其中这两种方法在具体实现上都可以替换为对代理损失函数的优化，不过我们这里暂时略过。 阅读全文
我follow的这篇论文在联邦学习(分布式)的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信，依据模型聚合方式的不同，可以将模型采用的算法分为client-server方法，和fully decentralized(完全去中心化)的方法（其实还有其他的聚合方法没，如另一篇论文提出的簇状聚合方法，我们这里暂时略过），其中这两种方法在具体实现上都可以替换为对代理损失函数的优化，不过我们这里暂时略过。 阅读全文
摘要： 
Python中的序列迭代有很多陷阱，而这些大都和Python的对象模型和浅拷贝/深拷贝的知识相关。而迭代器返回的是序列中对象的引用，而基础数据类型被二次引用时，一旦副本发生改变，则副本马上被拿去引用一个新对象，此时副本地址就完全和列表元素地址本身独立了。Python中对字典的迭代本质上等值于对列表的迭代，故对于列表的迭代注意事项可以原封不动地搬到字典这里。 阅读全文
Python中的序列迭代有很多陷阱，而这些大都和Python的对象模型和浅拷贝/深拷贝的知识相关。而迭代器返回的是序列中对象的引用，而基础数据类型被二次引用时，一旦副本发生改变，则副本马上被拿去引用一个新对象，此时副本地址就完全和列表元素地址本身独立了。Python中对字典的迭代本质上等值于对列表的迭代，故对于列表的迭代注意事项可以原封不动地搬到字典这里。 阅读全文
摘要： 
我们在博文《联邦学习：按Dirichlet分布划分Non-IID样本》中已经介绍了按照Dirichlet分布划分non-IID样本。然而联邦学习最开始采用的数据划分方法却不是这种。这里我们重新回顾联邦学习开山论文[1]，它所采用的的是一种病态独立同分布（Pathological Non-IID）划分算法。以下我们以CIFAR10数据集的生成为例，来详细地对该论文的数据集划分与采样算法进行分析。如果选择这种划分方式，需要指定则每个client上数据集所需要的标签类型数做为超参， 阅读全文
我们在博文《联邦学习：按Dirichlet分布划分Non-IID样本》中已经介绍了按照Dirichlet分布划分non-IID样本。然而联邦学习最开始采用的数据划分方法却不是这种。这里我们重新回顾联邦学习开山论文[1]，它所采用的的是一种病态独立同分布（Pathological Non-IID）划分算法。以下我们以CIFAR10数据集的生成为例，来详细地对该论文的数据集划分与采样算法进行分析。如果选择这种划分方式，需要指定则每个client上数据集所需要的标签类型数做为超参， 阅读全文
摘要： 
今天这个专题源于我在做联邦/分布式多任务学习实验时在选取数据集的时候的疑惑，以下我们讨论多任务学习中(尤其是在分布式的环境下)如何选择数据集和定义任务。多任务学习最初的定义是："多任务学习是一种归纳迁移机制，基本目标是提高泛化性能。多任务学习通过相关任务训练信号中的领域特定信息来提高泛化能力，利用共享表示采用并行训练的方法学习多个任务"。然而其具体实现手段却有许多（如基于神经网络的和不基于神经网络的，这也是容易让人糊涂的地方），但是不管如何，其关键点——**共享表示**是核心。 阅读全文
今天这个专题源于我在做联邦/分布式多任务学习实验时在选取数据集的时候的疑惑，以下我们讨论多任务学习中(尤其是在分布式的环境下)如何选择数据集和定义任务。多任务学习最初的定义是："多任务学习是一种归纳迁移机制，基本目标是提高泛化性能。多任务学习通过相关任务训练信号中的领域特定信息来提高泛化能力，利用共享表示采用并行训练的方法学习多个任务"。然而其具体实现手段却有许多（如基于神经网络的和不基于神经网络的，这也是容易让人糊涂的地方），但是不管如何，其关键点——**共享表示**是核心。 阅读全文
摘要： 
最近在用并行超算云GPU服务器（中国国家网格12区）搭建毕设的环境，这里记录一下。首先，超算云服务器的登录可以采用网页版、也可以采用客户端。需要注意的是，并行超算云只提供windows和mac的客户端，Linux用户可能只有使用网页版的界面了（或者用pappcloud直接远程练ssh用vim写:( 哈哈）。
超算云上最常见的是用module进行包管理。我们可以用module avail命令来查看现有的包。 阅读全文
最近在用并行超算云GPU服务器（中国国家网格12区）搭建毕设的环境，这里记录一下。首先，超算云服务器的登录可以采用网页版、也可以采用客户端。需要注意的是，并行超算云只提供windows和mac的客户端，Linux用户可能只有使用网页版的界面了（或者用pappcloud直接远程练ssh用vim写:( 哈哈）。
超算云上最常见的是用module进行包管理。我们可以用module avail命令来查看现有的包。 阅读全文
摘要： 
今天开始跑联邦学习论文实验了，这里介绍一下论文的常用数据集（因为我的研究领域是联邦/分布式学习，所以下面列出的数据集可能偏向这方面，做其他方向的童鞋参考下就好）。 阅读全文
今天开始跑联邦学习论文实验了，这里介绍一下论文的常用数据集（因为我的研究领域是联邦/分布式学习，所以下面列出的数据集可能偏向这方面，做其他方向的童鞋参考下就好）。 阅读全文
摘要： 
做为最后一篇分布式多任务学习的论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。目前已经有许多论文对多任务学习提出了并行化策略，我们可以大致概括如下几类：(1) 基于近端梯度的同步算法 (2) 基于近端梯度的异步算法 (3) 基于分解代理损失函数的算法 (4) 基于本地去偏估计的算法。⽬前关于不同的损失函数和不同的正则项已经有很多学者做过了，不过⽬前基于任务簇/层次化的多任务学习⽅法还没有⼈对专门其并⾏化。 阅读全文
做为最后一篇分布式多任务学习的论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。目前已经有许多论文对多任务学习提出了并行化策略，我们可以大致概括如下几类：(1) 基于近端梯度的同步算法 (2) 基于近端梯度的异步算法 (3) 基于分解代理损失函数的算法 (4) 基于本地去偏估计的算法。⽬前关于不同的损失函数和不同的正则项已经有很多学者做过了，不过⽬前基于任务簇/层次化的多任务学习⽅法还没有⼈对专门其并⾏化。 阅读全文
摘要： 
在分布式的环境中，已有的基于近端梯度的同步/异步优化算法需要多轮的通信，时间开销较大。这样，如何实现机器间的有效通信是我们必须要想办法解决该问题。论文《distributed multitask learning》提出的算法介于传统的近端梯度优化算法和local lasso之间，其计算只需要一轮通信，但仍然保证了使用group regularization所带来的统计学效益。 阅读全文
在分布式的环境中，已有的基于近端梯度的同步/异步优化算法需要多轮的通信，时间开销较大。这样，如何实现机器间的有效通信是我们必须要想办法解决该问题。论文《distributed multitask learning》提出的算法介于传统的近端梯度优化算法和local lasso之间，其计算只需要一轮通信，但仍然保证了使用group regularization所带来的统计学效益。 阅读全文
摘要： 
实现多任务学习的一种典型的方法为增加一个正则项，写为f(W)+g(W)形式，目标函数中的f(W)很容易并行化，但是一般g(W)就很难并行化了，那么如何解决这个问题呢？答案是运用一个可以分解的代理损失函数来替换掉原始的目标函数。我们接下来就以论文《Parallel Multi-Task Learning》[4]（zhang 2015c等人）为例来介绍该思想。该论文MTLR模型[5]（zhang 2015a）的基础上利用FISTA算法设计代理损失函数，该代理函数可以依据学习任务进行分解，从而并行计算。 阅读全文
实现多任务学习的一种典型的方法为增加一个正则项，写为f(W)+g(W)形式，目标函数中的f(W)很容易并行化，但是一般g(W)就很难并行化了，那么如何解决这个问题呢？答案是运用一个可以分解的代理损失函数来替换掉原始的目标函数。我们接下来就以论文《Parallel Multi-Task Learning》[4]（zhang 2015c等人）为例来介绍该思想。该论文MTLR模型[5]（zhang 2015a）的基础上利用FISTA算法设计代理损失函数，该代理函数可以依据学习任务进行分解，从而并行计算。 阅读全文