适配方法

TSN

介绍

TSN（Temporal Segment Network）方法在双流法的基础上提出稀疏时间采样和段级聚合策略来平衡卷积神经网络在长视频中的运行效率和时序建模能力。TSN方法能有效地捕捉长时间跨度的动态信息。视频通常包含上千乃至上万帧，直接处理所有视频帧不仅低效而且会带来巨大的计算负担，TSN方法采用了稀疏采样策略，即将视频分成若干个段（segments），并在每个段中随机采样一个帧（或短片段）；再通过段级建模和聚合阶段，把稀疏采样得到的帧分别输入到一个共享的2D卷积神经网络中（如ResNet、Inception等）提取每一段的时空特征，最后进行全局聚合，得到视频的全局表示。

论文引用

@article{wang2018temporal,
  title={Temporal segment networks for action recognition in videos},
  author={Wang, Limin and Xiong, Yuanjun and Wang, Zhe and Qiao, Yu and Lin, Dahua and Tang, Xiaoou and Van Gool, Luc},
  journal={IEEE transactions on pattern analysis and machine intelligence},
  volume={41},
  number={11},
  pages={2740--2755},
  year={2018},
  publisher={IEEE}
}