评测指标
1. 准确性(Accuracy)
Accuracy指的是模型在所有评估实例中的平均正确性。正确性的概念在不同情况下可能有所区别,因而我们列举了评测工作中所考虑到的主要的准确性度量指标、这些度量指标的运用场景以及相关的正式定义。
1.1 Character Error Rate
字错误率(Character Error Rate), CER 衡量的是生成的文本与参考文本之间的字符级别差异。CER计算生成文本与参考文本不匹配的字符数(包括删除、插入和替换错误)所占比例。CER 值越低,表示生成的文本越接近参考文本,性能越好。CER 是一个介于0和1之间的比率,通常以百分比表示。
1.2 Word Error Rate
词错误率(Word Error Rate), WER 衡量的是生成的文本与参考文本之间的词级别差异。WER计算生成文本与参考文本不匹配的单词数(包括删除、插入和替换错误)所占比例。WER 值越低,表示生成的文本越接近参考文本,性能越好。WER 是一个介于0和1之间的比率,通常以百分比表示。