常见 Q&A
注册登录相关
Q:注册后没有通过怎么办？
用户注册平台，需要微信扫描二维码，填写企业邮箱、手机号、手机验证码，并补充完整个人信息提交后，管理员经过审核通过才可以使用平台进行模型和算法评测。管理员审核结果会通知到个人邮箱，如果没有通用，请按照邮箱中的指示补充信息或者修改邮箱再次提交审核。
镜像相关
Q: 平台支持自定义构建镜像吗？
目前平台仅支持用户已有镜像导入，不支持利用dockerfile在平台构建镜像，用户填写的 dockerfile 仅用于平台审核人员审查镜像。具体导入镜像相关内容请参考用户手册
Q: 导入的镜像长时间处于导入中怎么办？
导入镜像时间取决于镜像大小以及是否被限速，一般情况下，导入镜像大约需要30min——2h，如果镜像太大拉不下来，请联系管理员用其他方式（例如tar包）给到管理员，管理员给导入到镜像仓库中。
Q: 目前导入平台的镜像有什么特殊要求吗？
目前平台支持Ubuntu镜像和Centos的镜像，如果您是其他镜像，请联系管理员做相应处理。
另外目前平台仅支持免登录下载的镜像，导入镜像前请自己先在本地尝试拉取镜像，如果返回以下错误说明需要登录才能下载，请将镜像迁移到不需要登录的仓库再进行尝试。
上传文件相关
Q: 如何上传模型与文件？
用户可以通过安装 FlagEval-Serving工具上传模型、代码、数据等待评测文件，不同领域的评测需要不同的目录结构和接口规范，请参考各个领域的要求准备待上传文档即可。
注意：NLP、CV、Multimodal、Audio、创新算法验证的目录结构和规范都不一样，请严格按照给定示例准备相关文件，否则评测会失败。
Q: 重新上传文件失败怎么办？
- 已经上传的模型文件，如果只是修改其中部分
非模型文件，请用原来的token上传要修改的文件即可。或者直接在网页端编辑可编辑文件或者新建小文件。
- 如果需要重新上传全部文件，请打开【上传模型&代码】获取新的用户token，利用
flageval-serving upload --token=TOKEN demo上传。
Q: 如何追加上传文件？
flageval-serving常用命令如下：
- 用户上传更新文件需要唯一的 token 进行确认。
- 评测详情页面点击【上传模型 & 代码】获取 token 用于初始化创建评测目录。
- 若用户在当前版本追加文件，用cp命令，且用文件列表页面的 token 进行更新。
- 注意：下面命令中都是英文单引号。
| 命令 | 含义 | 备注 |
|---|---|---|
| pip install --upgrade flageval-serving | 更新到最新版本 | 请更新到最新版本使用 |
| flageval-serving upload --token='new token' /demo | 将本地的demo文件夹上传到Flageval平台，这里 'new token' 在评测详情页面【上传模型 & 代码】处获取。 |  |
| flageval-serving cp --token='old token' /temp /remote | 将本地·文件夹追加到'old token'对用的·远程目录下。效果和linux的cp目录相同:
| 这里只能用文件详情页面的old token，不能用新token。 |
| flageval-serving ls --token='old token' /remote | 列举平台/remote下的目录和文件 | |
| flageval-serving | 输出help相关命令 |
评测任务相关
Q: 评测次数是如何计算的？
每位用户每月通常只有5次正式评测机会（包括模型评测和创新算法验证）。对于模型评测，建议在进行正式评测之前，尽量先通过【推理验证】确保代码能够成功运行，然后再进行正式评测。如果有特殊评测需求需要更多次数，请联系管理员进行添加。
请注意：在正式评测中如果遇到失败，用户点击【继续】不会扣减次数。只有点击【正式推理评测】才会扣减次数。如果由于平台原因导致失败，可以联系管理员返还扣减的次数。
Q: 创新算法验证，训练时报错共享内存（shm）不足怎么办?
共享内容（/dev/shm）数值默认为资源申请内存数值的一半，如果不够用，可以开启该选项，将其数值调高，但数值必须小于所申请内存的数值。如下图中共享内容（/dev/shm）必须小于80.
Q:启动推理服务后一直显示排队中？
这可能是由于平台算力资源紧张，需要加紧评测的特殊任务请联系管理员调度算力。
Q: 算法验证的目的是什么？
算法验证主要是为了验证项目中创新性算法的可复现性，只选择1000个iter来验证即可，上传数据也只上传这1000个iter中所需的数据。
排行榜相关
Q: 提交排行榜没有反应？
目前还不支持用户将成绩提交排行榜，如有需要请联系管理员。