FuseChat 3.0 99은 데이터 수준 융합을 SFT와 직접 선호도 최적화(DPO) 모두에 통합하여 고급 훈련 패러다임과의 호환성을 강조합니다. 이와 병행하여, 여러 하위 정책의 가중 무작위 융합을 강조하는 정책 최적화 알고리즘인 WRPO(가중 무작위 정책 최적화)가 제안되었습니다. 100 WRPO는 하위 정책에 동적 가중치를 할당하고, 훈련 중 의사 결정을 위해 정책을 무작위로 샘플링하고, 정책 성능에 따라 가중치를 조정함으로써 새로운 전략 탐색과 기존의 효과적인 정책 활용 사이의 균형을 유지합니다. 이를 통해 탐색 능력을 유지하면서도 지배적인 전략이 학습을 이끌도록 합니다. 그러나 이러한 방법들은 소스 모델의 응답 출력만을 활용하고 확률 정보를 버리며, 선호되는 응답에만 초점을 맞추고 선호되지 않는 응답에서 나오는 대조 신호를 무시함으로써 융합 과정을 단순화할 뿐이므로 소스 모델의 기능을 불완전하게 활용하게 됩니다.

InfiFPO 25 는 시퀀스 수준 확률 기반의 암묵적 모델 융합(IMF)을 도입하여 이러한 단점을 직접적으로 해결합니다. DPO에서 고정된 참조 모델을 사용하는 대신, InfiFPO는 융합된 소스 모델을 활용하여 피벗 모델이 선호도 지도와 여러 교사의 확률적 특성을 동시에 활용할 수 있도록 합니다. 또한, 길이 정규화, 확률 클리핑, 최대 마진 융합 전략을 통합하여 학습을 안정화하고 효율성을 향상시킵니다. 광범위한 실험을 통해 InfiFPO가 추론, 수학, 코딩 벤치마크 전반에 걸쳐 상당한 성능 향상을 달성함을 입증했으며, 이는 콘텐츠 기반 데이터 합성을 보완하는 선호도 기반 융합의 가능성을 보여줍니다.