代码拉取完成，页面将自动刷新
同步操作将从 PaddlePaddle/PaddleVideo 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
English | 简体中文
CTR-GCN是ICCV 2021提出的基于骨骼的行为识别模型，通过将改动应用在具有拓扑结构的人体骨骼数据上的图卷积，使用时空图卷积提取时空特征进行行为识别，提升了基于骨骼的行为识别任务精度。
NTU-RGBD数据下载及准备请参考NTU-RGBD数据准备
# joint modality
python main.py --validate -c configs/recognition/ctrgcn/ctrgcn_ntucs_joint.yaml --seed 1
# bone modality
python main.py --validate -c configs/recognition/ctrgcn/ctrgcn_ntucs_bone.yaml --seed 1
# motion modality
python main.py --validate -c configs/recognition/ctrgcn/ctrgcn_ntucs_motion.yaml --seed 1
# bone motion modality
python main.py --validate -c configs/recognition/ctrgcn/ctrgcn_ntucs_bone_motion.yaml --seed 1
python3.7 -B -m paddle.distributed.launch --gpus="0,1,2,3" --log_dir=log_ctrgcn main.py --validate -c configs/recognition/ctrgcn/ctrgcn_ntucs_joint.yaml
ctrgcn_ntucs_joint.yaml为NTU-RGB+D数据集按cross-subject划分方式对应的训练配置。# joint modality
python3.7 main.py --test -c configs/recognition/ctrgcn/ctrgcn_ntucs_joint.yaml -w data/CTRGCN_ntucs_joint.pdparams
# bone modality
python3.7 main.py --test -c configs/recognition/ctrgcn/ctrgcn_ntucs_bone.yaml -w data/CTRGCN_ntucs_bone.pdparams
# motion modality
python3.7 main.py --test -c configs/recognition/ctrgcn/ctrgcn_ntucs_motion.yaml -w data/CTRGCN_ntucs_motion.pdparams
# bone motion modality
python3.7 main.py --test -c configs/recognition/ctrgcn/ctrgcn_ntucs_bone_motion.yaml -w data/CTRGCN_ntucs_bone_motion.pdparams
-c参数指定配置文件，通过-w指定权重存放路径进行模型测试。模型在NTU-RGB+D数据集上实验精度如下:
| split | modality | Top-1 | checkpoints |
|---|---|---|---|
| cross-subject | joint | 89.93 | CTRGCN_ntucs_joint.pdparams |
| cross-subject | bone | 85.24 | CTRGCN_ntucs_bone.pdparams |
| cross-subject | motion | 85.33 | CTRGCN_ntucs_motion.pdparams |
| cross-subject | bone motion | 84.53 | CTRGCN_ntucs_bone_motion.pdparams |
python3.7 tools/export_model.py -c configs/recognition/ctrgcn/ctrgcn_ntucs_joint.yaml \
-p data/CTRGCN_ntucs_joint.pdparams \
-o inference/CTRGCN
上述命令将生成预测所需的模型结构文件CTRGCN_joint.pdmodel和模型权重文件CTRGCN_joint.pdiparams。
python3.7 tools/predict.py --input_file data/example_NTU-RGB-D_sketeton.npy \
--config configs/recognition/ctrgcn/ctrgcn_ntucs_joint.yaml \
--model_file inference/CTRGCN_joint/CTRGCN_joint.pdmodel \
--params_file inference/CTRGCN_joint/CTRGCN_joint.pdiparams \
--use_gpu=True \
--use_tensorrt=False
输出示例如下:
Current video file: data/example_NTU-RGB-D_sketeton.npy
top-1 class: 4
top-1 score: 0.999988317489624
可以看到，使用在NTU-RGBD数据集上训练好的ST-GCN模型对data/example_NTU-RGB-D_sketeton.npy进行预测，输出的top1类别id为4，置信度为0.999988317489624。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。