美团提出基于隐式条件位置编码,性能优于ViT和DeiT( 二 )



美团提出基于隐式条件位置编码,性能优于ViT和DeiT
文章图片
结论
CPVT提出的隐式位置编码是一个即插即用的通用方法 。 它放宽了对输入尺寸的限制 , 因而有望促进VisionTransformer在分割、检测、超分辨率等任务中的进一步应用 , 提升其性能 。 这项研究对后续VisionTransformer的发展将产生积极的影响 。
参考文献
1.DoWeReallyNeedExplicitPositionEncodingsforVisionTransformers?https://arxiv.org/pdf/2102.10882.pdf
2.End-to-endobjectdetectionwithtransformershttps://arxiv.org/abs/2005.12872
3.Animageisworth16x16words:Transformersforimagerecognitionatscalehttps://openreview.net/pdf?id=YicbFdNTTy
4.Trainingdata-efficientimagetransformers&distillationthroughattentionhttps://arxiv.org/abs/2012.12877