728x90 반응형 2025/01/0428 Total Parameters (총 매개변수): 대규모 언어 모델(LLM)에서 모델을 구성하는 모든 매개변수(파라미터)의 총합 **Total Parameters (총 매개변수)**는 대규모 언어 모델(LLM)에서 모델을 구성하는 모든 매개변수(파라미터)의 총합을 의미합니다. 이는 모델의 크기를 나타내는 중요한 지표로 사용됩니다.총 매개변수의 구성가중치(Weights):모델 내부의 신경망 계층 간 연결을 나타냄.매개변수는 학습 과정에서 조정되어 입력 데이터와 출력 간의 관계를 학습.편향(Biases):뉴런이 활성화되는 임계값을 조정하는 데 사용.임베딩(Embeddings):단어, 문장 또는 다른 데이터 요소를 벡터로 변환하는 과정에서 사용되는 매개변수.총 매개변수와 모델 크기총 매개변수는 모델의 크기를 결정하는 주요 요소입니다. 예를 들어:GPT-3: 1750억 개GPT-4: 1조 개 이상(추정)PaLM: 5400억 개DeepSe.. 2025. 1. 4. Activated Parameters (활성화된 매개변수): 대규모 언어 모델(LLM)에서 특정 입력에 대해 활성화되는 매개변수의 수 **Activated Parameters (활성화된 매개변수)**는 대규모 언어 모델(LLM)에서 특정 입력에 대해 활성화되는 매개변수의 수를 의미합니다. 이는 특히 Mixture of Experts (MoE) 아키텍처에서 중요한 개념입니다.Mixture of Experts (MoE)와 Activated Params의 관계MoE 아키텍처:모델이 여러 전문가(Experts)로 구성되어 있고, 입력에 따라 일부 전문가만 활성화됩니다.입력마다 소수의 전문가가 선택되어 계산에 참여하며, 나머지 전문가들은 비활성화됩니다.이 방식은 계산 효율성을 높이고, 더 큰 모델을 효과적으로 훈련할 수 있게 합니다.Activated Parameters:입력마다 활성화된 전문가들의 매개변수의 총합을 의미합니다.예를 들어, 100.. 2025. 1. 4. Chinese SimpleQA는 대규모 언어 모델(LLM)의 중국어 단문 질문에 대한 사실적 응답 능력을 평가 Chinese SimpleQA는 대규모 언어 모델(LLM)의 중국어 단문 질문에 대한 사실적 응답 능력을 평가하기 위해 개발된 포괄적인 벤치마크입니다. 이 벤치마크는 6개의 주요 주제와 99개의 다양한 하위 주제를 포함하여, 모델의 정확성과 다양성을 측정합니다. GitHub**정확도(Correct)**는 모델이 제공한 답변이 정답과 일치하는지를 평가하는 지표로, Chinese SimpleQA에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 Chinese SimpleQA 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4와 필적하는 성능을 보인 것으로 밝혀졌습니다. 네이버 프리미엄콘텐츠.. 2025. 1. 4. C-Eval은 대규모 언어 모델(LLM)의 중국어 이해 및 추론 능력을 평가하기 위해 개발된 포괄적인 평가 모음 C-Eval은 대규모 언어 모델(LLM)의 중국어 이해 및 추론 능력을 평가하기 위해 개발된 포괄적인 평가 모음입니다. 이 평가 모음은 중학교, 고등학교, 대학교, 전문 수준의 4가지 난이도로 구성된 13,948개의 객관식 질문을 포함하며, 인문학, 과학, 공학 등 52개의 다양한 분야를 다룹니다. Ceval Benchmark**EM(Exact Match)**은 모델이 생성한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, C-Eval에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 C-Eval 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4와 필적하는 성능을 보인 것으로 밝혀.. 2025. 1. 4. CLUEWSC는 중국어 자연어 이해 평가 CLUEWSC는 중국어 자연어 이해 평가를 위한 벤치마크인 CLUE(Chinese Language Understanding Evaluation)의 일부로, Winograd Schema Challenge를 기반으로 한 중국어 대명사 해소(코어퍼런스 해소) 작업을 평가합니다. GitHub**EM(Exact Match)**은 모델이 예측한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, CLUEWSC 작업에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 CLUEWSC 벤치마크에서 90.9%의 정확도를 기록하여, Qwen2.5-72B 모델과 함께 최고 성능을 보였습니다. MeoAICLUEWSC는 중국어 대명사 해소 작업의 성능을 평가하는 데 중요한 역할을 하며, 다양한 모델.. 2025. 1. 4. CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가 CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가하는 데 사용되는 벤치마크 중 하나입니다.Pass@1은 모델이 첫 번째 시도에서 올바른 답을 생성할 확률을 나타내는 지표로, 모델의 정확성을 평가하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 CNMO 2024 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4o와 필적하는 성능을 보인 것으로 밝혀졌습니다. Tech RecipeDeepSeek-V3는 6710억 개의 총 매개변수를 가진 Mixture-of-Experts(MoE) 언어 모델로, 각 토큰에 대해 370억 개의 매개변수가 활성화됩니다. 효율적인 추론.. 2025. 1. 4. 이전 1 2 3 4 5 다음 728x90 반응형