aiproductmanager 님의 블로그

Total Parameters (총 매개변수): 대규모 언어 모델(LLM)에서 모델을 구성하는 모든 매개변수(파라미터)의 총합

**Total Parameters (총 매개변수)**는 대규모 언어 모델(LLM)에서 모델을 구성하는 모든 매개변수(파라미터)의 총합을 의미합니다. 이는 모델의 크기를 나타내는 중요한 지표로 사용됩니다.총 매개변수의 구성가중치(Weights):모델 내부의 신경망 계층 간 연결을 나타냄.매개변수는 학습 과정에서 조정되어 입력 데이터와 출력 간의 관계를 학습.편향(Biases):뉴런이 활성화되는 임계값을 조정하는 데 사용.임베딩(Embeddings):단어, 문장 또는 다른 데이터 요소를 벡터로 변환하는 과정에서 사용되는 매개변수.총 매개변수와 모델 크기총 매개변수는 모델의 크기를 결정하는 주요 요소입니다. 예를 들어:GPT-3: 1750억 개GPT-4: 1조 개 이상(추정)PaLM: 5400억 개DeepSe..

Activated Parameters (활성화된 매개변수): 대규모 언어 모델(LLM)에서 특정 입력에 대해 활성화되는 매개변수의 수

**Activated Parameters (활성화된 매개변수)**는 대규모 언어 모델(LLM)에서 특정 입력에 대해 활성화되는 매개변수의 수를 의미합니다. 이는 특히 Mixture of Experts (MoE) 아키텍처에서 중요한 개념입니다.Mixture of Experts (MoE)와 Activated Params의 관계MoE 아키텍처:모델이 여러 전문가(Experts)로 구성되어 있고, 입력에 따라 일부 전문가만 활성화됩니다.입력마다 소수의 전문가가 선택되어 계산에 참여하며, 나머지 전문가들은 비활성화됩니다.이 방식은 계산 효율성을 높이고, 더 큰 모델을 효과적으로 훈련할 수 있게 합니다.Activated Parameters:입력마다 활성화된 전문가들의 매개변수의 총합을 의미합니다.예를 들어, 100..

Chinese SimpleQA는 대규모 언어 모델(LLM)의 중국어 단문 질문에 대한 사실적 응답 능력을 평가

Chinese SimpleQA는 대규모 언어 모델(LLM)의 중국어 단문 질문에 대한 사실적 응답 능력을 평가하기 위해 개발된 포괄적인 벤치마크입니다. 이 벤치마크는 6개의 주요 주제와 99개의 다양한 하위 주제를 포함하여, 모델의 정확성과 다양성을 측정합니다. GitHub**정확도(Correct)**는 모델이 제공한 답변이 정답과 일치하는지를 평가하는 지표로, Chinese SimpleQA에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 Chinese SimpleQA 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4와 필적하는 성능을 보인 것으로 밝혀졌습니다. 네이버 프리미엄콘텐츠..

C-Eval은 대규모 언어 모델(LLM)의 중국어 이해 및 추론 능력을 평가하기 위해 개발된 포괄적인 평가 모음

C-Eval은 대규모 언어 모델(LLM)의 중국어 이해 및 추론 능력을 평가하기 위해 개발된 포괄적인 평가 모음입니다. 이 평가 모음은 중학교, 고등학교, 대학교, 전문 수준의 4가지 난이도로 구성된 13,948개의 객관식 질문을 포함하며, 인문학, 과학, 공학 등 52개의 다양한 분야를 다룹니다. Ceval Benchmark**EM(Exact Match)**은 모델이 생성한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, C-Eval에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 C-Eval 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4와 필적하는 성능을 보인 것으로 밝혀..

CLUEWSC는 중국어 자연어 이해 평가

CLUEWSC는 중국어 자연어 이해 평가를 위한 벤치마크인 CLUE(Chinese Language Understanding Evaluation)의 일부로, Winograd Schema Challenge를 기반으로 한 중국어 대명사 해소(코어퍼런스 해소) 작업을 평가합니다. GitHub**EM(Exact Match)**은 모델이 예측한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, CLUEWSC 작업에서 모델의 성능을 측정하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 CLUEWSC 벤치마크에서 90.9%의 정확도를 기록하여, Qwen2.5-72B 모델과 함께 최고 성능을 보였습니다. MeoAICLUEWSC는 중국어 대명사 해소 작업의 성능을 평가하는 데 중요한 역할을 하며, 다양한 모델..

CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가

CNMO 2024는 중국의 수학 대회로, 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가하는 데 사용되는 벤치마크 중 하나입니다.Pass@1은 모델이 첫 번째 시도에서 올바른 답을 생성할 확률을 나타내는 지표로, 모델의 정확성을 평가하는 데 사용됩니다.최근 발표된 DeepSeek-V3 모델은 CNMO 2024 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 프로그래밍 및 수학 분야에서 다른 AI 모델에 비해 두드러진 결과를 보여주며, GPT-4o와 필적하는 성능을 보인 것으로 밝혀졌습니다. Tech RecipeDeepSeek-V3는 6710억 개의 총 매개변수를 가진 Mixture-of-Experts(MoE) 언어 모델로, 각 토큰에 대해 370억 개의 매개변수가 활성화됩니다. 효율적인 추론..

MATH-500는 OpenAI가 'Let's Verify Step by Step' 논문에서 개발한 MATH 벤치마크의 하위 집합으로, 500개의 수학 문제로 구성

MATH-500는 OpenAI가 'Let's Verify Step by Step' 논문에서 개발한 MATH 벤치마크의 하위 집합으로, 500개의 수학 문제로 구성되어 있습니다. 허깅페이스이 데이터셋은 대규모 언어 모델(LLM)의 수학적 문제 해결 능력을 평가하는 데 사용되며, 각 문제는 단계별 솔루션을 포함하고 있어 체인 오브 생각(CoT) 훈련에 유용합니다. Matheval**EM(Exact Match)**은 모델이 생성한 답변이 정답과 정확히 일치하는지를 평가하는 지표로, MATH-500 데이터셋에서 모델의 성능을 측정하는 데 사용됩니다.최근 공개된 DeepSeek-V3 모델은 MATH-500 데이터셋에서 90.2%의 정확도를 기록하며, 수학 문제 해결 분야에서 우수한 성능을 보였습니다. MeoAIM..

미국 수학 초청 시험(AIME), 미국의 권위 있는 수학 대회로, AMC(American Mathematics Competitions)와 미국 수학 올림피아드(USAMO) 사이의 중간 단계 역할

**미국 수학 초청 시험(AIME)**는 미국의 권위 있는 수학 대회로, AMC(American Mathematics Competitions)와 미국 수학 올림피아드(USAMO) 사이의 중간 단계 역할을 합니다. 2024년 AIME I은 2024년 1월 31일부터 2월 1일까지 열렸습니다. (출처: Art of Problem Solving)AI 모델 평가에서 Pass@1은 모델이 첫 번째 시도에서 올바른 답을 생성할 수 있는 능력을 나타냅니다. 이 지표는 AIME와 같은 문제에서 AI 모델의 정확성을 평가하는 데 자주 사용됩니다.현재 2024년 AIME 문제에 대해 AI 모델의 Pass@1 성능에 대한 공개된 데이터는 없습니다. 그러나 AIME 문제는 깊은 수학적 이해와 문제 해결 능력을 요구하는 도전적..

Aider-Polyglot (Acc.),다양한 프로그래밍 언어에서 대규모 언어 모델(LLM)의 코드 편집 능력을 평가

Aider-Polyglot (Acc.) Aider는 다양한 프로그래밍 언어에서 대규모 언어 모델(LLM)의 코드 편집 능력을 평가하기 위해 폴리글롯 벤치마크를 개발했습니다. 이 벤치마크는 C++, Go, Java, JavaScript, Python, Rust 등 여러 언어의 225개 고난도 프로그래밍 문제를 포함하며, 모델의 다언어 코딩 능력을 측정합니다.Aider주요 특징:다양한 언어 지원: 여러 프로그래밍 언어의 문제를 포함하여 모델의 다언어 코딩 능력을 평가합니다.높은 난이도: Exercism에서 가장 어려운 문제들을 선정하여, 최신 LLM들의 성능을 정확하게 측정합니다.모델 성능 비교:OpenAI의 o1 모델: "높은" 추론 능력을 가진 이 모델은 폴리글롯 리더보드에서 61.7%의 정확도로 1위를..

Aider는 로컬 Git 저장소에서 코드 편집을 지원하는 오픈 소스 명령줄 도구로, 대형 언어 모델(LLM)의 코드 편집 능력을 평가

Aider는 로컬 Git 저장소에서 코드 편집을 지원하는 오픈 소스 명령줄 도구로, 대형 언어 모델(LLM)의 코드 편집 능력을 평가하기 위해 자체 벤치마크를 개발했습니다. AiderAider의 코드 편집 벤치마크:목적: LLM이 자연어로 주어진 코딩 요청을 실행 가능한 코드로 변환하고, 이를 파일에 저장하여 유닛 테스트를 통과하는지를 평가합니다. Aider구성: Exercism의 133개 파이썬 코딩 연습 문제를 기반으로 하며, 각 문제는 함수 스텁과 자연어 설명, 그리고 테스트 스위트를 포함합니다. Aider모델 성능 비교:최신 결과: OpenAI의 o1 모델이 Aider의 새로운 폴리글롯 리더보드에서 최고 점수를 기록했습니다. 이 벤치마크는 다양한 프로그래밍 언어를 사용하며, 이전보다 훨씬 더 도전..