ICCV 2021 论文分享会-探索CV技术前沿
2021/12/07

        ICCV 国际计算机视觉大会,与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议。2021年ICCV共计 6236 篇有效提交论文,其中有 1617 篇论文被接收,接收率为25.9%。就接收论文分布领域而言,迁移\小样本\无监督学习、图像视频合成、识别和分类位列前三甲,而新出现例如可解释AI、公平、负责、透明和道德等新研究领域,热度也持续不减。 本次活动,我们有幸邀请到了四位来自阿里巴巴达摩院的ICCV论文作者,带我们一起近距离了他们在去中心化训练、目标重识别、神经网络搜索、图像识别领域的新突破。

1.论文标题:《TransReID: Transformer-based object re-identification》

嘉宾信息:阿里集团-达摩院-机器智能技术-视觉技术-实景视觉理解&数智地球实验室-罗浩 

论文摘要(中文):Transformer是一种self-attention(自注意力)模型架构,2017年之后在NLP领域取得了很大的成功。2020年,谷歌提出pure transformer结构ViT ,在ImageNet分类任务上取得了和CNN可比的性能。之后大量ViT衍生的Transformer架构在ImageNet上都取得了成功。此外,在检测、跟踪、分割等下游视觉任务上,pure transformer的架构也不断取得和CNN可比的性能,但是在更加细粒度的图像检索任务上目前还没有较成功的工作。本文首次成功将pure transformer架构应用于目标重识别(ReID)任务,提出了TransReID框架,在行人ReID、遮挡ReID和车辆ReID任务的6个数据集上都取得了超过SOTA CNN方法的性能。

2.论文标题:《NGC: A Unified Framework for Learning with Open-World Noisy Data》

嘉宾信息:阿里集团-达摩院-视觉技术-多模态理解&数智媒体-蒋建文

论文摘要(中文):在机器学习系统的训练和测试阶段噪声数据都普遍地存在,这不可避免地导致模型性能的下降。过往的研究虽然尝试解决训练集中出现OOD噪声样本的情况,但是却忽略了OOD样本出现在测试集时可能引起的开集预测性能下降问题。为了解决这个问题,我们提出了一个开放场景下基于带噪数据的学习框架,在训练与测试过程中均考虑了噪声样本的影响,在多个数据集上超过了当前SOTA方法。该方法在ICCV2021上被接受为口头报告。

3.论文标题:《DecentLaM: Decentralized Momentum SGD for Large-batch Deep Training》

嘉宾信息: 阿里集团-达摩院-机器智能技术-视觉技术-认知与互动视觉&数智电商-陈钇名

论文摘要(中文):高效的分布式训练算法在深度学习训练中被广为应用。去中心化动量 SGD (DmSGD),由于每个节点只与它的邻居通信,比普通的数据并行动量 SGD (在所有计算节点上产生全局平均值)的通信效率更高。另一方面,大批量(large-batch)训练已被证明对实现训练加速有着至关重要的作用。这也就促使我们研究 DmSGD 在大批量场景中的表现。在这个工作中,我们发现动量项会放大 DmSGD 中的不一致偏差。随着批量变大,这种偏差变得更加明显,从而导致严重的收敛精度下降。我们接下来提出 DecentLaM算法,这是一种新颖的去中心化大批量动量 SGD,以消除动量引起的偏差。我们研究了该算法在强凸和非凸场景的收敛速度。我们的理论结果证明了 DecentLaM 优于 DmSGD,尤其是在大批量场景中。我们进行了不同视觉任务和不同模型的实验结果来表明DecentLaM 可以同时保证训练效率和质量。

4.论文标题:《Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition》

嘉宾信息:阿里集团-达摩院-机器智能技术-视觉技术-实景视觉理解&数智地球-孙振鉷

论文摘要(中文):针对传统神经架构搜索(NAS)方法中训练网络结构需要消耗几百到几千天的 GPU资源的问题,我们提出一种新型模型性能评估方案Zen-NAS。在Zen-NAS中,我们采用计算模型的前向传播来评估网络结构的精度,不在需要在搜索过程中进行复杂的反向传播训练过程。使用这种Zero-shot的方法,Zen-NAS可以在半个 GPU day 内,在 ImageNet 上实现了高达 83.1% 的top-1 精度,与 EfficientNet-B5 的精度相当。而且在多种 GPU 平台和移动设备上,Zen-Net 的推理速度比相同或更高精度的 EfficientNets 快数倍。

Scan QR code
关注Ali TechnologyWechat Account