icml ICML杰出论文发布 北理工学子获奖

第37届国际机器学习大会7月10日在线举行。本次大会在4990篇论文中，共收到论文1088篇，接受率为21.8%，略低于2019年的22.6%。提交材料数量的大幅增加似乎降低了接受率。

今天大会主办方公布了优秀论文奖，对本次大会上“机器学习领域扎实理论和实证工作的有力代表”的论文进行了表彰。同时给出了获得时间测试奖的论文。这些论文已被AMiner平台收录，并提供论文解读、精读、下载等服务。

杰出论文奖

《ICML 2020》的两篇论文获得杰出论文奖，第一篇来自纳威达实验室、斯坦福大学和贝勒大学，另一篇来自北京理工大学和剑桥大学，这是中国高校自2017年以来第二次获得杰出论文奖。值得一提的是，第二篇文章的第一作者是北京理工大学二年级研究生魏凯旋。

关于对称元素的学习集

机构:NAVIDA实验室、斯坦福大学、贝勒大学

导读:无序集合学习是一种基本的学习方法，近年来受到越来越多的关注。该领域的研究主要集中在集合的元素用特征向量表示的情况，而很少关注集合的元素遵循自身对称性的普遍情况。这种情况与许多应用有关，从去模糊图像突发到多视图三维形状识别和重建。本文提出了一种学习一般对称元素集的原则性方法。首先，作者描述了线性层之间的空，这些线性层随着元素的重新排序和元素的固有对称性而等变，例如图像翻译。作者进一步证明了由这些层组成的网络，称为对称元素层的深集，是不变函数和等变函数的通用逼近器。DSS层也很容易实现。最后，在一系列关于图像、图形和点云的实验中，作者证明了它们比现有的集合学习架构要好得多。

逆成像问题的免调谐即插即用近似算法

院校:北京理工大学、剑桥大学

简介:即插即用是一个非凸框架，结合了ADMM或其他具有高级去噪优先级的近端算法。近年来，PnP取得了很大的实验成功，尤其是深度学习去噪的结合。然而，基于PnP的方法的一个关键问题是它们需要手动调整参数。需要在不同的成像条件和不同的场景内容下获得高质量的结果。在这项工作中，作者提出了一种无需调整的PnP近似算法，可以自动确定内部参数，包括惩罚参数、去噪强度和终止时间。该方法的一个关键部分是建立参数自动搜索的策略网络，可以通过混合的无模型和基于模型的深度强化学习进行有效学习。通过数值实验和可视化实验，我们证明了所学习的策略可以针对不同的状态定制不同的参数，并且一般比现有的手动规则更有效。此外，作者还讨论了插件去噪设备的实际考虑，该设备与学习的策略一起产生最先进的结果。这在线性和非线性示例性逆成像问题中都是常见的，尤其是在压缩感测磁共振成像和相位恢复中。

优秀论文提名奖

高斯过程后验函数的有效采样

院校:伦敦帝国理工学院、伦敦圣彼得堡国立大学、俄罗斯科学院斯特奇洛夫数学研究所、圣彼得堡伦敦大学学院

导读:高斯过程是许多现实世界建模问题的黄金标准，尤其是当模型的成功取决于其忠实表达预测不确定性的能力时。这些问题通常作为一个更大的框架的一部分存在，在这个框架中，感兴趣的数量最终通过整合后验分布来定义。这些量通常很难处理，这促使人们使用蒙特卡罗方法。尽管在将高斯过程扩展到大型训练集方面已经取得了很大的进展，但从其后验分布精确生成图形的方法在测试位置的数量上仍然是按立方缩放的。我们确定高斯过程的分解，通过从数据中分离出先验信息，自然有助于可伸缩采样。基于这种分解，我们提出了一种易于使用和通用的快速后验采样方法，该方法与稀疏近似无缝匹配，以在训练和测试中提供可扩展性。在一系列旨在测试竞争采样方案的统计特性和实际结果的实验中，我们演示了解耦采样路径如何以比通常稍低的成本准确地表示高斯过程的后验性。

从像素生成预处理

组织:OpenAI

引言:受自然语言无监督表示进展的启发，作者研究了相似模型能否学习到有用的图像表示。作者在不增加2D输入结构知识的情况下，训练一个来自回归预测像素的序列变换器。作者发现，当通过线性检测、微调和低数据分类来测量时，GPT-2尺度模型学会了强图像表示，尽管训练分辨率非常低并且没有标记ImageNet图像。在CIFAR-10上，使用线性探针实现了96.3%的准确率，优于监督宽ResNet和99.0%，与顶级监督预训练模型相匹配。在ImageNet和web图像的混合训练下，较大的模型与ImageNet上的自监控基准相比具有竞争力，在本文提出的特征线性探测上，达到了72.0%的顶级精度。

时间测试奖励

ICML时间测试奖授予十年前加州理工学院、宾夕法尼亚大学和萨兰大学的一篇ICML论文。本文已被证明在该领域具有影响力和巨大影响力，“包括研究和实践”。

强盗背景下的高斯过程优化:无悔与实验设计

院校:加州理工学院、宾夕法尼亚大学、萨兰大学

简介:很多应用需要优化一个未知且有噪声的函数，计算起来非常昂贵。作者将这一任务形式化为一个多武装强盗问题，其中支付函数要么是从高斯过程中采样的，要么是低RKHS范数的。我们解决了这个重要的开放问题，即推导出了这个设置的后悔界，这意味着GP优化的新收敛速度。我们分析了一种基于置信上限的直观算法GP-UCB，并从最大信息增益的角度限制其累积后悔，从而在GP优化和实验设计之间建立了新的联系。此外，通过用算子谱界定后者，我们得到了许多常用协方差函数的显式次线性后悔界。在一些重要的情况下，我们的边界对维度的依赖性非常弱。在实际传感器数据的实验中，与其他启发式遗传优化方法相比，遗传UCB算法具有更好的性能。

ICML给出的官方评价是这样的:“通过分析高斯过程的bandit优化，结合贝叶斯优化、bandit和实验设计，提出了一种基于互信息增益的有限样本后悔界的新方法。本文在过去的十年中产生了深远的影响，包括方法本身、使用的证明技巧和实际结果。这些丰富了我们的社会，激发了无数后续作品从理论到实践的创造力。”

现任委员会成员也高度评价这篇文章:

1”本文的研究成果影响了现代深度学习系统中当前的超参数搜索方法，即使在十年后，这种算法仍然是一种流行的获取算法。本文的定理和引理在最近的论文中被引用，它们的研究成果在以后的论文中被借用。从文本的技术深度和影响力来看，这篇论文显然脱颖而出。”

2“在过去的十年中，贝叶斯优化已经成为解决许多机器学习问题的强大工具...证明中使用的数学方法对后来的研究产生了很大的影响。”

想要