基于指标依赖的标注饱和：从标签分布中学习
Metric-Dependent Annotation Saturation for Learning from Label Distributions
AI 导读在ChaosNLI数据集（每项100个标注）上微调NLI模型，发现所需标注人数因评估指标而异：熵相关（识别分歧项）需约20-50个标注者收敛，KL散度（分布匹配）约10个标注者即饱和（达全量效果的87%-95%）。软标签的熵相关r=0.643（p<0.001），优于五种标签平滑强度下的r≈0.45-0.49，因平滑无法区分模糊样本与明确样本。该优势在DeBERTa、RoBERTa、非NLI预训练基线及内容安全跨域评估中均成立。结论：标注预算应依据目标评估指标制定。
来源：Apple Machine Learning Research · machinelearning.apple.com