摘要： 
今天开始跑联邦学习论文实验了，这里介绍一下论文的常用数据集（因为我的研究领域是联邦/分布式学习，所以下面列出的数据集可能偏向这方面，做其他方向的童鞋参考下就好）。 阅读全文
今天开始跑联邦学习论文实验了，这里介绍一下论文的常用数据集（因为我的研究领域是联邦/分布式学习，所以下面列出的数据集可能偏向这方面，做其他方向的童鞋参考下就好）。 阅读全文
摘要： 
做为最后一篇分布式多任务学习的论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。目前已经有许多论文对多任务学习提出了并行化策略，我们可以大致概括如下几类：(1) 基于近端梯度的同步算法 (2) 基于近端梯度的异步算法 (3) 基于分解代理损失函数的算法 (4) 基于本地去偏估计的算法。⽬前关于不同的损失函数和不同的正则项已经有很多学者做过了，不过⽬前基于任务簇/层次化的多任务学习⽅法还没有⼈对专门其并⾏化。 阅读全文
做为最后一篇分布式多任务学习的论文阅读记录，我决定对我目前为止粗读和精读的论文进行一次总结，然后陈述一些个人对该研究领域的见解和想法。目前已经有许多论文对多任务学习提出了并行化策略，我们可以大致概括如下几类：(1) 基于近端梯度的同步算法 (2) 基于近端梯度的异步算法 (3) 基于分解代理损失函数的算法 (4) 基于本地去偏估计的算法。⽬前关于不同的损失函数和不同的正则项已经有很多学者做过了，不过⽬前基于任务簇/层次化的多任务学习⽅法还没有⼈对专门其并⾏化。 阅读全文
摘要： 
在分布式的环境中，已有的基于近端梯度的同步/异步优化算法需要多轮的通信，时间开销较大。这样，如何实现机器间的有效通信是我们必须要想办法解决该问题。论文《distributed multitask learning》提出的算法介于传统的近端梯度优化算法和local lasso之间，其计算只需要一轮通信，但仍然保证了使用group regularization所带来的统计学效益。 阅读全文
在分布式的环境中，已有的基于近端梯度的同步/异步优化算法需要多轮的通信，时间开销较大。这样，如何实现机器间的有效通信是我们必须要想办法解决该问题。论文《distributed multitask learning》提出的算法介于传统的近端梯度优化算法和local lasso之间，其计算只需要一轮通信，但仍然保证了使用group regularization所带来的统计学效益。 阅读全文
摘要： 
实现多任务学习的一种典型的方法为增加一个正则项，写为f(W)+g(W)形式，目标函数中的f(W)很容易并行化，但是一般g(W)就很难并行化了，那么如何解决这个问题呢？答案是运用一个可以分解的代理损失函数来替换掉原始的目标函数。我们接下来就以论文《Parallel Multi-Task Learning》[4]（zhang 2015c等人）为例来介绍该思想。该论文MTLR模型[5]（zhang 2015a）的基础上利用FISTA算法设计代理损失函数，该代理函数可以依据学习任务进行分解，从而并行计算。 阅读全文
实现多任务学习的一种典型的方法为增加一个正则项，写为f(W)+g(W)形式，目标函数中的f(W)很容易并行化，但是一般g(W)就很难并行化了，那么如何解决这个问题呢？答案是运用一个可以分解的代理损失函数来替换掉原始的目标函数。我们接下来就以论文《Parallel Multi-Task Learning》[4]（zhang 2015c等人）为例来介绍该思想。该论文MTLR模型[5]（zhang 2015a）的基础上利用FISTA算法设计代理损失函数，该代理函数可以依据学习任务进行分解，从而并行计算。 阅读全文
摘要： 
有时我们会定义只有一个方法（除了"__init__()"之外）的类，而这种类可以通过使用闭包（closure）来替代。闭包是被外层函数包围的内层函数，它能够获取外层函数范围中的变量（即使外层函数已执行完毕）。因此闭包可以保存额外的变量环境，用于在函数调用时使用。一般来说，闭包内层定义的变量对外界来说是完全隔离的，如果想要访问和修改它们，需要编写存取函数(accessor function, 即getter/setter方法)，并将它们做为函数属性附加到闭包上来提供对内层变量的访问支持。 阅读全文
有时我们会定义只有一个方法（除了"__init__()"之外）的类，而这种类可以通过使用闭包（closure）来替代。闭包是被外层函数包围的内层函数，它能够获取外层函数范围中的变量（即使外层函数已执行完毕）。因此闭包可以保存额外的变量环境，用于在函数调用时使用。一般来说，闭包内层定义的变量对外界来说是完全隔离的，如果想要访问和修改它们，需要编写存取函数(accessor function, 即getter/setter方法)，并将它们做为函数属性附加到闭包上来提供对内层变量的访问支持。 阅读全文
摘要： 
对于多任务学习，当任务数量很大时，其计算复杂度很高，此时需要用多CPU/多GPU对学习算法进行加速，尽量使𝐾个任务的梯度的计算分摊到𝐾个不同的工作节点(worker)上。但实际上由于正则项的存在和损失函数的复杂性，想做到这个需要我们仔细地设计并行多任务学习算法，在保证算法加速的同时而尽量不影响优化算法最终的收敛，并保证优化算法结果的一致性。我们将会从MTL的单机优化方法开始，逐步说明分布式优化的必要性并先后介绍它的两种主要实现手段——同步分布式优化算法和异步分布式优化算法。 阅读全文
对于多任务学习，当任务数量很大时，其计算复杂度很高，此时需要用多CPU/多GPU对学习算法进行加速，尽量使𝐾个任务的梯度的计算分摊到𝐾个不同的工作节点(worker)上。但实际上由于正则项的存在和损失函数的复杂性，想做到这个需要我们仔细地设计并行多任务学习算法，在保证算法加速的同时而尽量不影响优化算法最终的收敛，并保证优化算法结果的一致性。我们将会从MTL的单机优化方法开始，逐步说明分布式优化的必要性并先后介绍它的两种主要实现手段——同步分布式优化算法和异步分布式优化算法。 阅读全文
摘要： 
给组里高性能计算方向同学拟的学习路线，包括基础课程、常备文档和手册、开源项目三个部分组成。基础课程包括“（并行）算法设计与分析”、“数值算法”、计算机系统、操作系统和并行体系结构与编程，常备文档和手册包括了C/C++语言文档、CUDA文档、MPI文档、Unix编程文档和太湖之光平台的文档等。开源项目包括了基础课程的习题解答与lab代码、一些并行算法优化样例以及一些并行计算相关比赛的项目实战。 阅读全文
给组里高性能计算方向同学拟的学习路线，包括基础课程、常备文档和手册、开源项目三个部分组成。基础课程包括“（并行）算法设计与分析”、“数值算法”、计算机系统、操作系统和并行体系结构与编程，常备文档和手册包括了C/C++语言文档、CUDA文档、MPI文档、Unix编程文档和太湖之光平台的文档等。开源项目包括了基础课程的习题解答与lab代码、一些并行算法优化样例以及一些并行计算相关比赛的项目实战。 阅读全文
摘要： 
最近导师让我做分布式多任务学习方面的工作，我开始着手阅读这方面的论文并归纳一个大致的速览。首先，我们看看什么是多任务学习，然后我们主要聚焦于基于正则化的多任务学习方法（这也是目前学术界主要的并行对象），并在此基础上讨论如何分布式并行。类似于迁移学习，多任务学习也运用了知识迁移的思想，即在不同任务间泛化知识。但二者的区别在于：迁移学习可能有多个源域；而多任务学习没有源域而只有多个目标域；且迁移学习注重提升目标任务性能，并不关心源任务的性能（知识由源任务→目标任务；而多任务学习旨在提高所有任务的性能(知识在所有任务间相互传递)。 阅读全文
最近导师让我做分布式多任务学习方面的工作，我开始着手阅读这方面的论文并归纳一个大致的速览。首先，我们看看什么是多任务学习，然后我们主要聚焦于基于正则化的多任务学习方法（这也是目前学术界主要的并行对象），并在此基础上讨论如何分布式并行。类似于迁移学习，多任务学习也运用了知识迁移的思想，即在不同任务间泛化知识。但二者的区别在于：迁移学习可能有多个源域；而多任务学习没有源域而只有多个目标域；且迁移学习注重提升目标任务性能，并不关心源任务的性能（知识由源任务→目标任务；而多任务学习旨在提高所有任务的性能(知识在所有任务间相互传递)。 阅读全文
摘要： 
本章我们讲述匿名函数、回调函数和高阶函数在Python中的各种应用。我们会讨论在Python的回调函数的使用中可能遇到的各种陷阱和难点，同时也会介绍如何functools包中的partial函数来修改回调函数的参数个数，该方法广泛应用于Python的各大库和框架中。 阅读全文
本章我们讲述匿名函数、回调函数和高阶函数在Python中的各种应用。我们会讨论在Python的回调函数的使用中可能遇到的各种陷阱和难点，同时也会介绍如何functools包中的partial函数来修改回调函数的参数个数，该方法广泛应用于Python的各大库和框架中。 阅读全文
摘要： 
最优化问题指的是找出实数函数的极大值或极小值，该函数称为目标函数。 由于定位f(x)的极大值与找出-f(x)的极小值等价，在推导计算方式时仅考虑最小化问题就足够了。极少的优化问题，比如最小二乘法，可以给出封闭的解析解(由正规方程得到)。然而，大多数优化问题，只能给出数值解，需要通过数值迭代算法一步一步地得到。按照不同分类标准，可分为有约束和无约束优化、线性和非线性规划、 凸优化和非凸优化等。 阅读全文
最优化问题指的是找出实数函数的极大值或极小值，该函数称为目标函数。 由于定位f(x)的极大值与找出-f(x)的极小值等价，在推导计算方式时仅考虑最小化问题就足够了。极少的优化问题，比如最小二乘法，可以给出封闭的解析解(由正规方程得到)。然而，大多数优化问题，只能给出数值解，需要通过数值迭代算法一步一步地得到。按照不同分类标准，可分为有约束和无约束优化、线性和非线性规划、 凸优化和非凸优化等。 阅读全文