快速开始
注册登录
游客默认拥有查看平台的首页、新闻、排行榜、用户手册的权限。若需使用评测功能,用户需完成注册登录平台,并补充完整个人信息,请确保提交信息准确有效,提交信息后,管理员审核通过后即可使用平台进行评测。
具体操作方式如下:
注册
用户点击【注册登录】按钮,弹出下面页面,初次使用平台先用微信扫描二维码,关注“智源社区小助手”微信公众号,然后在线上填写邮箱、手机号、验证码进行注册。
注册完成后,自动跳转到补充个人信息页面,用户补充完整个人信息,平台管理员根据个人信息进行审核,审核通过的用户方可使用平台的评测功能。审核结果会以邮件的方式通知用户。
参数 | 说明 |
---|---|
用户名 |
|
真实姓名 |
|
组织机构 |
|
报名任务 |
|
是否评测自研模型 |
|
协议声明 |
|
注册流程如下图所示:
注:
- 请认真填写个人信息,管理员会根据个人信息进行审核。
- 请填写有效邮箱和手机号,审核状态会通过邮件和短信进行通知,后续的评测任务状态也会通过邮件通知用户。
- 如果是个人邮箱,管路员会给用户发送修改邮箱的邮件,请修改个人邮箱后再次等待审核。每个用户每个月只有1次修改邮箱的机会。
登录
用户点击【登录】按钮,弹出【登录】页面,用户可以选择【微信-扫一扫】扫描屏幕上方的二维码登录,也可以选择【手机验证码】方式登录。
登录后,如果用户个人信息不完整,会自动跳转到补充个人信息页面。
创建评测
用户点击【评测管理】进入评测管理页面,主要包括:模型评测、创新算法评测和镜像管理。
用户根据自己的需求选择模型评测或者创新算法评测,点击【创建评测】,弹出【创建评测】对话框,根据不同的评测领域填写相应表单信息,提交生成一条评测任务。
提交创建评测后,自动跳转到详情页面,用户可以点击查看【上传模型&代码】规范,利用flageval-serving上传模型与代码。上传完成后,点击【推理验证】快速验证推理评测代码是否可运行,通过验证后,点击【启动推理评测】进行正式推理评测过程,等待评测结束,即可查看评测结果。评测过程中如果遇到问题中断失败,可以通过日志查看错误信息。
上传镜像
【镜像管理】中预置了部分镜像,如果用户在实际评测中需要自定义镜像,可以在【自定义镜像】中上传自己的镜像。
用户点击【镜像管理/自定义镜像/导入镜像】,弹出【导入镜像】对话框,填写表单提交表单,等待平台管理员审核,审核通过后,自动导入。镜像导入成功后,方可在评测任务中使用。
目前平台仅支持用户已有镜像导入,不支持利用dockerfile在平台构建镜像,用户填写的 dockerfile 仅用于平台审核人员审查镜像。