做APP好还是建设网站好公司网站建设方案详细方案
OMNI-DIMENSIONAL DYNAMIC CONVOLUTION
- ODConv
- 实验
- 核心代码
- ODConv代码
- yaml文件
- 运行：
论文链接： https://openreview.net/forum?id=DmpCfq6Mg39
本文介绍了一篇动态卷积的工作：ODConv，其通过并行策略采用多维注意力机制沿核空间的四个维度学习互补性注意力。作为一种“即插即用”的操作，它可以轻易的嵌入到现有CNN网络中。并且实验结果表明它可提升大模型的性能，又可提升轻量型模型的性能，实乃万金油是也！
动态卷积这几年研究的非常多了，比较知名的有谷歌的CondConv，旷视科技的WeightNet、MSRA的DynamicConv、华为的DyNet、商汤的CARAFE等。笔者曾经也对相关paper进行过解读，各个动态卷积之间的差异性也曾进行深入分析。
对于CondConv与DyConv来说，均采用单个注意力标量&#