Skip to content

快速开始

注册登录

游客默认拥有查看平台的首页、新闻、排行榜、用户手册的权限。若需使用评测功能,用户需完成注册登录平台,并补充完整个人信息,请确保提交信息准确有效,提交信息后,管理员审核通过后即可使用平台进行评测。

具体操作方式如下:

注册

用户点击【注册登录】按钮,弹出下面页面,初次使用平台先用微信扫描二维码,关注“智源社区小助手”微信公众号,然后在线上填写邮箱、手机号、验证码进行注册。

sign-1sign-2

注册完成后,自动跳转到补充个人信息页面,用户补充完整个人信息,平台管理员根据个人信息进行审核,审核通过的用户方可使用平台的评测功能。审核结果会以邮件的方式通知用户。

completement

参数说明
用户名
  • 用户名将作为平台唯一标识,建议使用姓名全拼加数字的方式,填写用户名后不允许修改。
  • 长度3——32个字符,支持小写字母和数字,以小写字母开头。
真实姓名
  • 请用户填写个人真实姓名,平台管理员审核时优先通过真实姓名。
组织机构
  • 建议机构+部门组成,例如智源研究院算力平台,清华计算机系等,平台管理员审核时优先通过真实组织机构。
  • 组织机构需要填写中英文双语。
报名任务
  • 选择【在线评测】或【离线评测】;
  • 在线评测:用户只需提供评测接口API,评测平台提供测试数据进行推理评测。
  • 离线评测:用户需上传已训练好的模型&推理代码,评测平台提供推理算力和数据,进行推理评测。
是否评测自研模型
  • 是 & 否,单选
协议声明
  • 需要用户阅读并同意该协议后,才能使用平台的评测功能。

注册流程如下图所示:

注:

  • 请认真填写个人信息,管理员会根据个人信息进行审核。
  • 请填写有效邮箱和手机号,审核状态会通过邮件和短信进行通知,后续的评测任务状态也会通过邮件通知用户。
  • 如果是个人邮箱,管路员会给用户发送修改邮箱的邮件,请修改个人邮箱后再次等待审核。每个用户每个月只有1次修改邮箱的机会。

登录

用户点击【登录】按钮,弹出【登录】页面,用户可以选择【微信-扫一扫】扫描屏幕上方的二维码登录,也可以选择【手机验证码】方式登录。

登录后,如果用户个人信息不完整,会自动跳转到补充个人信息页面。

创建评测

用户点击【评测管理】进入评测管理页面,主要包括:模型评测、创新算法评测和镜像管理。

用户根据自己的需求选择模型评测或者创新算法评测,点击【创建评测】,弹出【创建评测】对话框,根据不同的评测领域填写相应表单信息,提交生成一条评测任务。

提交创建评测后,自动跳转到详情页面,用户可以点击查看【上传模型&代码】规范,利用flageval-serving上传模型与代码。上传完成后,点击【推理验证】快速验证推理评测代码是否可运行,通过验证后,点击【启动推理评测】进行正式推理评测过程,等待评测结束,即可查看评测结果。评测过程中如果遇到问题中断失败,可以通过日志查看错误信息。

上传镜像

【镜像管理】中预置了部分镜像,如果用户在实际评测中需要自定义镜像,可以在【自定义镜像】中上传自己的镜像。

用户点击【镜像管理/自定义镜像/导入镜像】,弹出【导入镜像】对话框,填写表单提交表单,等待平台管理员审核,审核通过后,自动导入。镜像导入成功后,方可在评测任务中使用。

目前平台仅支持用户已有镜像导入,不支持利用dockerfile在平台构建镜像,用户填写的 dockerfile 仅用于平台审核人员审查镜像。