基本概念
以下是Flageval评测平台的一些常用名词解释，可以帮助用户理解平台的一些概念：
评测领域（Domain）
- 每个待评测模型一般都是某一特定领域的，也就是说每个模型一般只能实现特定领域的功能，目前平台支持的领域分别为：NLP（自然语言处理）、CV（图像）、Audio（音频）、Multimodal(多模态)。
评测任务（Task）
- 一个模型可以执行一个领域下的多个任务（Task），比如 NLP 领域（Domain）下的场景可以分为 英文选择问答、中文选择问答、英文文本分类、中文文本分类、中文开放问答等。
评测对象（Object）
- 基础模型：基础模型（Foundation Model）是在巨量无标签数据集上进行预训练（Pre-Train）得到的模型，经过少量数据微调后可用于不同的下游任务。
- 预训练算法：预训练算法指在巨量无标签数据集上从零训练一个新模型的技术，通过预训练算法训练得到的模型可以捕捉到数据中的通用模式和特征。
- 微调/压缩算法：微调算法是在基础模型上进行迁移学习、调整模型的参数以适应新任务的技术；压缩算法指减小模型大小、提高运行效率的技术，包括量化、剪枝等方法。
数据集（Dataset）
- 一个评测任务 Task 下可以运行多个数据集（Dataset），例如中文文本分类任务下需要评测EPRSTMT、TNEWS、OCNLI、BUSTM，每个任务数据集情况请点击【首页】中任务名称查看，更多的数据集正在集成中。
数据实例（Data Instance）
- 每个数据集由一系列实例（Data Instance）组成。
平台支持的卡型及AI框架
- 目前平台支持以下卡型和AI框架：
| 卡型 | 品牌 | 框架 | 基础镜像 |
|---|---|---|---|
| NVIDIA_A100-SXM4-40GB | NVIDIA | PyTorch | ngc-pytorch-2303:flageval-refine |
| NVIDIA_A800-SXM4-80GB | NVIDIA | PyTorch | ngc-pytorch-2303:flageval-refine |
| NVIDIA_V100-PCIE-32GB | NVIDIA | PyTorch | ngc-pytorch-2303:flageval-refine |
| NVIDIA_T4 | NVIDIA | PyTorch | ngc-pytorch-2303:flageval-refine |
| CAMBRICON_MLU370-X8 | 寒武纪 | PyTorch | cambricon-pytorch-v1-6-0-torch1-9-ubuntu2004:flageval |
| KUNLUN_R300 | 昆仑芯 | PyTorch | kulun-xtcl-ubuntu2004:flageval |
| ASCEND 910A | 昇腾 | MindSpore | -- |
镜像（Image）
一种特殊的文件系统，包含了容器运行时所需的程序、库、资源、配置等，相当于是对软件运行环境的封装。评测任务除了需要硬件计算资源外，还需要 Docker 镜像 作为运行环境。
Dockerfile：一种用来构建镜像的文本文件，内容包含了构建镜像过程中所需的指令、依赖项列表和一些重要的说明。