多模态大语言模型对齐的全面研究：Apple 团队独立拆解偏好对齐各环节

Apple 研究团队系统梳理了多模态大语言模型（MLLM）中的偏好对齐方法，将算法分为离线（如 DPO）与在线（如 online-DPO）两类，并发现两者结合可在特定场景下提升模型性能。团队还提出无需额外标注或外部模型的新型多模态偏好数据构建方法 Bias-Driven Hallucination Sampling（BDHS），在多项基准上取得与既有对齐工作相当的竞争力。