CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가하는 데 사용되는 벤치마크 중 하나입니다.
Pass@1은 모델이 첫 번째 시도에서 올바른 답을 생성할 확률을 나타내는 지표로, 모델의 정확성을 평가하는 데 사용됩니다.
최근 발표된 DeepSeek-V3 모델은 CNMO 2024 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4o와 필적하는 성능을 보인 것으로 밝혀졌습니다.
DeepSeek-V3는 6710억 개의 총 매개변수를 가진 Mixture-of-Experts(MoE) 언어 모델로, 각 토큰에 대해 370억 개의 매개변수가 활성화됩니다. 효율적인 추론과 비용 효율적인 학습을 위해 Multi-head Latent Attention(MLA)과 DeepSeekMoE 아키텍처를 채택하였습니다.
이러한 성과는 LLM이 수학적 문제 해결 능력을 향상시키는 데 중요한 진전을 나타내며, 향후 연구 및 개발에 있어 중요한 참고 자료가 될 것입니다.