代码拉取完成,页面将自动刷新
同步操作将从 PaddlePaddle/PaddleVideo 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
English | 简体中文
在开始使用之前,您需要按照以下命令安装额外的依赖包:
python -m pip install paddlenlp
同时确保paddle版本为2.2.2。
T2VLAD是百度在CVPR2021提出的文本视频检索模型。文本视频检索是一项具有挑战的任务,旨在基于自然语言处理描述搜索相关视频内容。这个问题的关键是在联合嵌入空间中测量文本-视频的相似性。T2VLAD设计了一种有效的全局-局部对齐方法,在三个标准的文本视频检索基准上取得了一致的改进,并以明显的优势超越了最先进的技术。
MSR-VTT数据下载及准备请参考 MSR-VTT数据准备
下载数据并添加到 data/MSRVTT
文件夹下。
export CUDA_VISIBLE_DEVICES=0
python3.7 train.py --config ./configs/msrvtt_transformers.json
T2VLAD在训练时使用了Ranger优化器,这里我们暂时没有支持Ranger优化器到的实现,目前可以使用AdamW优化器来完成训练。
export CUDA_VISIBLE_DEVICES=0
python3.7 test.py --config ./configs/msrvtt_transformers.json --resume ./T2VLAD_msrvtt.pdparams
MSR-VTT数据集测试精度: Text $\rightarrow$ Video
R@1 | R@5 | R@10 | Median R | checkpoints |
---|---|---|---|---|
29.5 | 59.0 | 70.1 | 4 | T2VLAD.pdparams |
Video $\rightarrow$ Text
R@1 | R@5 | R@10 | Median R |
---|---|---|---|
26.1 | 54.7 | 68.1 | 4 |
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。