C-Eval은 대규모 언어 모델(LLM)의 중국어 이해 및 추론 능력을 평가하기 위해 개발된 포괄적인 평가 모음입니다. 이 평가 모음은 중학교, 고등학교, 대학교, 전문 수준의 4가지 난이도로 구성된 13,948개의 객관식 질문을 포함하며, 인문학, 과학, 공학 등 52개의 다양한 분야를 다룹니다.
**EM(Exact Match)**은 모델이 생성한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, C-Eval에서 모델의 성능을 측정하는 데 사용됩니다.
최근 발표된 DeepSeek-V3 모델은 C-Eval 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4와 필적하는 성능을 보인 것으로 밝혀졌습니다.
C-Eval 데이터셋 및 관련 정보는 C-Eval 공식 웹사이트에서 확인할 수 있습니다. 또한, GitHub 저장소를 통해 데이터셋과 평가 방법에 대한 자세한 내용을 확인할 수 있습니다.
이러한 자원들은 중국어 자연어 처리 모델의 성능 평가 및 개선에 유용하게 활용될 수 있습니다.
'인공지능' 카테고리의 다른 글
| Activated Parameters (활성화된 매개변수): 대규모 언어 모델(LLM)에서 특정 입력에 대해 활성화되는 매개변수의 수 (0) | 2025.01.04 |
|---|---|
| Chinese SimpleQA는 대규모 언어 모델(LLM)의 중국어 단문 질문에 대한 사실적 응답 능력을 평가 (2) | 2025.01.04 |
| CLUEWSC는 중국어 자연어 이해 평가 (0) | 2025.01.04 |
| CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가 (0) | 2025.01.04 |
| MATH-500는 OpenAI가 'Let's Verify Step by Step' 논문에서 개발한 MATH 벤치마크의 하위 집합으로, 500개의 수학 문제로 구성 (0) | 2025.01.04 |