代码拉取完成，页面将自动刷新
同步操作将从 PaddlePaddle/PaddleVideo 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
English | 简体中文
在开始使用之前，您需要按照以下命令安装额外的依赖包：
python -m pip install paddlenlp
python -m pip install lmdb
ActBERT是百度在CVPR2020提出的多模态预训练模型，它结合输入文本、图像和视频动作三种模态，使用一种全新的纠缠编码模块从三个来源进行多模态特征学习，以增强两个视觉输入和语言之间的互动功能。模型采用RandomMask和NSP的方式进行训练，在文本视频搜索、视频描述生成等5个下游任务中表现优异。
HowTo100M数据下载及准备请参考HowTo100M数据准备
MSR-VTT数据下载及准备请参考MSR-VTT数据准备
下载BERT预训练模型bert-base-uncased作为Backbone初始化参数，或是通过命令行下载
wget https://videotag.bj.bcebos.com/PaddleVideo-release2.2/bert-base-uncased.pdparams
并将文件路径添加到配置文件中的MODEL.framework.backbone.pretrained字段，如下：
MODEL:
framework: "ActBert"
backbone:
name: "BertForMultiModalPreTraining"
pretrained: 将路径填写到此处
python3.7 -B -m paddle.distributed.launch --gpus="0,1,2,3,4,5,6,7" --log_dir=log_actbert main.py --validate -c configs/multimodal/actbert/actbert.yaml
export FLAGS_conv_workspace_size_limit=800 #MB
export FLAGS_cudnn_exhaustive_search=1
export FLAGS_cudnn_batchnorm_spatial_persistent=1
python3.7 -B -m paddle.distributed.launch --gpus="0,1,2,3,4,5,6,7" --log_dir=log_actbert main.py --amp --validate -c configs/multimodal/actbert/actbert.yaml
python3.7 main.py --test -c configs/multimodal/actbert/actbert_msrvtt.yaml -w Actbert.pdparams
-c参数指定配置文件，通过-w指定权重存放路径进行模型测试。MSR-VTT数据集测试精度:
| R@1 | R@5 | R@10 | Median R | Mean R | checkpoints |
|---|---|---|---|---|---|
| 8.6 | 31.2 | 45.5 | 13.0 | 28.5 | ActBERT.pdparams |
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。