Chinchilla 스케일링 법은 무엇입니까?

소개

LLM (Lange Language Models)은 자연어 처리 (NLP)의 진행에 기여했지만 계산 효율성에 대한 몇 가지 중요한 질문도 제기했습니다. 이 모델은 너무 커서 훈련 및 추론 비용은 더 이상 합리적인 한도 내에 있지 않습니다.

이를 해결하기 위해 Hoffmann et al. 2022 년에는 LLM의 교육을 최적화하기위한 획기적인 프레임 워크를 제공합니다. Chinchilla Scaling Law는 모델 크기, 교육 데이터 및 계산 리소스 간의 관계를 설정하여 성능을 손상시키지 않고 LLM을 효율적으로 스케일링하기위한 필수 안내서를 제공합니다. 우리는이 기사에서 자세히 논의 할 것입니다.

개요

• Chinchilla Scaling Law는 효율성 향상을 위해 모델 크기 및 데이터 볼륨의 균형을 유지하여 LLM 교육을 최적화합니다.
• 새로운 스케일링 통찰력에 따르면 Chinchilla와 같은 소규모 언어 모델은 더 많은 데이터에 대해 훈련 할 때 큰 언어 모델을 능가 할 수 있습니다.
• Chinchilla의 접근 방식은 컴퓨팅 효율성을 위해 모델 크기보다 데이터 수량을 우선시하여 전통적인 LLM 스케일링에 도전합니다.
• Chinchilla Scaling Law는 NLP를위한 새로운 로드맵을 제공하여 고성능 자원 효율적인 모델의 개발을 안내합니다.
• Chinchilla Scaling Law는 모델 크기와 교육 데이터를 두 배로하여 최소한의 컴퓨팅 비용으로 언어 모델 성능을 극대화합니다.

목차

• Chinchilla 스케일링 법은 무엇입니까?
• 초점의 변화 : 모델 크기에서 데이터로
• Chinchilla 스케일링 법의 개요
• Chinchilla 스케일링 법의 주요 발견
  • 컴퓨팅 최적 교육
  • 400 개가 넘는 모델의 경험적 증거
  • 수정 된 추정 및 지속적인 개선
• 친칠라 접근의 이점
  • 개선 된 성능
  • 계산 비용 절감
• 향후 연구 및 모델 개발에 대한 시사점
• 도전과 고려 사항
• 자주 묻는 질문

Chinchilla 스케일링 법은 무엇입니까?

2022 년에 발표 된“훈련 컴퓨팅 최적의 대형 언어 모델”논문은 모델 크기, 토큰 수 및 계산 예산의 세 가지 주요 요소 사이의 관계를 식별하는 데 중점을 둡니다. 저자는 GPT-3 (175b 매개 변수), Gopher (280b) 및 Megatron (530b)과 같은 기존의 대형 언어 모델 (LLM)이 상당히 과소 평가된다는 것을 발견했습니다. 이러한 모델의 크기가 증가한 반면, 훈련 데이터의 양은 크게 일정하게 유지되어 차선책을 초래했습니다. 저자는 모델 크기와 훈련 토큰의 수가 컴퓨팅 최적 교육을 위해 동일하게 조정되어야한다고 제안합니다. 이를 증명하기 위해 5 천만에서 5 천억의 토큰을 사용하여 7 천만에서 160 억 개가 넘는 매개 변수의 약 400 개 모델을 훈련 시켰습니다.

이러한 결과를 바탕으로 저자는 Chinchilla라는 새로운 모델을 훈련 시켰습니다. Chinchilla는 Gopher (280b)와 동일한 컴퓨팅 예산을 사용하지만 70b 매개 변수와 4 배 더 많은 교육 데이터를 사용했습니다. Chinchilla는 Gopher (280b), GPT-3 (175b), Jurassic-1 (178b) 및 Megatron (530b)을 포함한 여러 잘 알려진 LLM을 능가했습니다. 이 결과는 OpenAI가 제안한 스케일링 법칙과 "LLMS의 스케일링 법칙"에서 더 큰 모델이 항상 더 나은 성능을 발휘할 것이라고 제안했습니다. Chinchilla 스케일링 법률은 더 많은 데이터에 대해 훈련 할 때 소규모 모델이 우수한 성능을 달성 할 수 있음을 보여줍니다. 이 접근법은 또한 소규모 모델을 쉽게 미세 조정하고 추론 대기 시간을 줄일 수있게합니다.

이 그래프는 더 작음에도 불구하고 Chinchilla (70b)는 다른 컴퓨팅 대 부패 비율을 따르고 Gopher 및 GPT-3과 같은 더 큰 모델을 능가한다는 것을 보여줍니다.

다른 접근법 (1, 2 및 3)은 컴퓨팅 할당을 기반으로 모델 성능을 최적화하는 다른 방법을 탐색합니다.

이 그림에서 Chinchilla의 이점은 크기가 작더라도 (70b 매개 변수), Chinchilla 스케일링 법에 도입 된 원칙을 따르는 훨씬 더 큰 데이터 세트 (1.4 조 토큰)에 대해 훈련을 받았습니다. Smaller 모델은 더 많은 데이터를 훈련 할 수 있다면 더 큰 모델을 능가 할 수 있습니다. 상대적으로 적은 수의 토큰에 대해 교육을 받았으며, 이러한 모델은 컴퓨팅 잠재력을 완전히 최적화하지 않았을 수 있습니다.

초점의 변화 : 모델 크기에서 데이터로

역사적으로 LLM 성능 향상의 초점은 GPT-3 및 Gopher와 같은 모델에서 볼 수 있듯이 모델 크기를 증가시키는 데 있습니다. 이것은 Kaplan et al.의 연구에 의해 주도되었다. (2020), 모델 크기와 성능 사이의 전력 법률 관계를 제안했습니다. 그러나 모델이 커짐에 따라 훈련 데이터의 양은 그에 따라 스케일링되지 않았으므로 활용되지 않은 계산 전위를 초래했습니다. Chinchilla 스케일링 법률은 특히 데이터 및 모델 크기 측면에서보다 균형 잡힌 리소스 할당이 가능한 최저 손실에 도달하지 않고 더 나은 성능을 발휘할 수 있음을 보여줌으로써 이에 도전합니다.

Chinchilla 스케일링 법의 개요

모델 크기, 훈련 토큰 및 계산 비용 사이의 상충 관계는 Chinchilla 스케일링 법의 핵심입니다. 법은이 세 매개 변수 사이에 컴퓨팅 최적의 균형을 설정합니다.

• 모델 크기 (N) : 모델의 매개 변수 수.
• 훈련 토큰 (d) : 훈련 중에 사용되는 총 토큰 수.
• 계산 비용 (c) : 일반적으로 플롭에서 측정되는 훈련을 위해 할당 된 총 컴퓨팅 리소스 (초당 부동 소수점 작동).

Chinchilla 스케일링 법은 최적의 성능을 위해 모델 크기와 교육 데이터의 양이 동일한 속도로 확장되어야한다고 제안합니다. 구체적으로, 훈련 토큰의 수는 모델 크기의 두 배가 될 때마다 두 배가되어야합니다. 이 접근법은 초기 방법을 대조하여 교육 데이터를 충분히 증가시키지 않으면 서 모델 크기가 증가하는 것을 강조했습니다.

이 관계는 수학적으로 다음과 같이 표현됩니다.

어디:

• L 은 모델의 최종 손실입니다.
• L_0은 가능한 최상의 성능을 나타내는 돌이킬 수없는 손실입니다.
• A 와 B는 이상적인 생성 프로세스와 비교하여 모델의 성과를 캡처하는 상수입니다.
• α 및 β는 모델 크기 및 데이터 크기에 대한 손실 스케일이 각각 어떻게되는지 설명하는 지수입니다.

Chinchilla 스케일링 법의 주요 발견

Chinchilla 스케일링 법의 주요 결과는 다음과 같습니다.

컴퓨팅 최적 교육

Chinchilla Scaling Law는 모델 크기와 교육 데이터 양 사이의 최적의 균형을 강조합니다. 구체적으로,이 연구는 모델 매개 변수 당 20 개의 훈련 토큰의 대략적인 비율이 주어진 컴퓨팅 예산으로 최상의 성능을 달성하는 데 이상적이라는 것을 발견했습니다. 예를 들어, 70 억 개의 매개 변수를 가진 Chinchilla 모델은 1.4 조 토큰으로 훈련을 받았으며, Gopher보다 훨씬 많지만 매개 변수는 훨씬 적습니다. 이 균형으로 인해 여러 벤치 마크에서 더 큰 모델을 훨씬 능가했습니다.

400 개가 넘는 모델의 경험적 증거

Chinchilla 스케일링 법을 도출하기 위해 Hoffmann et al. 최대 5 천억 개의 토큰의 데이터 세트에서 크기가 7 천만에서 160 억 개의 매개 변수의 크기가 400 개가 넘는 변압기 모델을 교육했습니다. 경험적 증거는 모델이 더 많은 데이터 (고정 된 컴퓨팅 예산으로)로 훈련 된 모델이 단순히 모델 크기를 증가시키는 것보다 더 잘 수행한다는 가설을 강력하게 뒷받침했습니다.

수정 된 추정 및 지속적인 개선

후속 연구는 Hoffmann et al.의 초기 발견을 개선하고 매개 변수 추정치에서 가능한 조정을 식별하려고했습니다. 일부 연구는 원래 결과에서 경미한 불일치를 제안했으며 관찰 된 데이터에 더 잘 맞도록 수정 된 추정치를 제안했습니다. 이러한 조정은 모델 스케일링의 역학을 완전히 이해하기 위해 추가 연구가 필요하지만 Chinchilla 스케일링 법의 핵심 통찰력은 귀중한 지침으로 남아 있습니다.

친칠라 접근의 이점

Chinchilla 접근 방식의 이점은 다음과 같습니다.

개선 된 성능

Chinchilla의 모델 크기 및 교육 데이터의 동일한 스케일링은 놀라운 결과를 가져 왔습니다. Chinchilla는 다른 많은 대형 모델보다 작음에도 불구하고 GPT-3, Gopher 및 다양한 벤치 마크에서 거대한 Megatron-Turing NLG 모델 (530 억 파라미터)을 능가했습니다. 예를 들어, 대규모 멀티 태스킹 언어 이해 (MMLU) 벤치 마크에서 Chinchilla는 67.5%의 평균 정확도를 달성하여 Gopher의 60%보다 크게 개선되었습니다.

계산 비용 절감

Chinchilla 접근 방식은 성능을 최적화하고 훈련 및 추론을위한 계산 및 에너지 비용을 줄입니다. GPT-3 및 Gopher와 같은 교육 모델에는 엄청난 컴퓨팅 리소스가 필요하므로 실제 응용 프로그램에서 사용하여 엄청나게 비쌉니다. 대조적으로, Chinchilla의 작은 모델 크기와보다 광범위한 교육 데이터는 미세 조정 및 추론에 대한 컴퓨팅 요구 사항을 낮추어 다운 스트림 애플리케이션에 대한 액세스가 가능합니다.

향후 연구 및 모델 개발에 대한 시사점

Chinchilla 스케일링 법은 LLM 개발의 미래에 대한 귀중한 통찰력을 제공합니다. 주요 의미는 다음과 같습니다.

• 지침 모델 설계 : 모델 크기 및 교육 데이터의 균형을 잡는 방법을 이해하면 연구원과 개발자가 새로운 모델을 설계 할 때보다 정보에 근거한 결정을 내릴 수 있습니다. Chinchilla 스케일링 법에 요약 된 원칙을 준수함으로써 개발자는 모델이 컴퓨팅 효율적이고 성능이 높은지 확인할 수 있습니다.
• 안내 모델 설계 : 볼륨 최적화에 대한 지식과 교육 데이터는 모델의 연구 및 설계에 알려줍니다. 이 가이드 라인 규모 내에서, 아이디어의 개발은 컴퓨터 자원의 과도한 소비없이 고효율의 광범위한 정의 내에서 작동 할 것입니다.
• 성능 최적화 : Chinchilla 스케일링 법은 LLM을 최적화하기위한 로드맵을 제공합니다. 동등한 스케일링에 중점을두면 개발자는 대형 모델을 과도하게 훈련하는 함정을 피하고 모델이 교육 및 추론 작업에 최적화되도록 보장 할 수 있습니다.
• Chinchilla 너머의 탐사 : 연구가 계속됨에 따라 Chinchilla 스케일링 법의 아이디어를 확장하기위한 새로운 전략이 떠오르고 있습니다. 예를 들어, 일부 연구자들은 계산 리소스가 적은 유사한 성능 수준을 달성하거나 데이터 제약 환경에서 모델 성능을 더욱 향상시키는 방법을 조사하고 있습니다. 이러한 탐색은 훨씬 더 효율적인 훈련 파이프 라인을 초래할 가능성이 높습니다.

도전과 고려 사항

Chinchilla 스케일링 법률은 LLM 스케일링을 이해하는 데 중요한 발전을 이루지 만 새로운 질문과 과제도 제기합니다.

• 데이터 수집 : Chinchilla의 경우와 마찬가지로 1.4 조 토큰의 모델을 훈련하면 많은 고품질 데이터 세트가 가용성을 의미합니다. 그러나 이러한 규모의 데이터 수집 및 처리는 연구원과 개발자의 조직적 문제와 개인 정보 및 편견과 같은 윤리적 문제를 제기합니다 .
• 편견 및 독성 : 그러나 Chinchilla 스케일링 법을 사용하여 훈련 된 모델의 정기적 인 편향과 독성의 비례 적 감소는 이러한 모든 비 효율성 문제보다 쉽고 효율적입니다. LLM이 권력과 도달에 도달함에 따라 공정성과 유해한 생산량을 완화하는 것이 미래의 연구를위한 중요한 초점이 될 것입니다.

결론

Chinchilla 스케일링 법은 큰 언어 모델의 훈련을 최적화하는 것에 대한 이해에서 중요한 발전을 나타냅니다. 모델 크기, 교육 데이터 및 계산 비용 사이의 명확한 관계를 설정함으로써 법은 LLM을 효율적으로 확장하기위한 컴퓨팅 최적의 프레임 워크를 제공합니다. Chinchilla 모델의 성공은 성능과 자원 효율성 측면 에서이 접근법의 실질적인 이점을 보여줍니다.

이 분야에 대한 연구가 계속됨에 따라 Chinchilla 스케일링 법의 원칙은 LLM 개발의 미래를 형성 할 것이며, 지속 가능성과 접근성을 유지하면서 자연어 처리에서 가능한 것의 경계를 높이는 모델의 설계를 안내합니다.

또한 온라인으로 생성 AI 과정을 찾고 있다면 Genai Pinnacle 프로그램을 탐색하십시오!

자주 묻는 질문

Q1. Chinchilla 스케일링 법은 무엇입니까?

Ans. Chinchilla 스케일링 법은 언어 모델의 크기 (매개 변수 수), 교육 데이터 양 (토큰) 및 교육에 필요한 계산 자원 사이의 최적의 관계를 설명하는 경험적 프레임 워크입니다. 모델 성능을 극대화하면서 교육 컴퓨팅을 최소화하는 것을 목표로합니다.

Q2. Chinchilla 스케일링 법의 주요 매개 변수는 무엇입니까?

Ans. 주요 매개 변수는 다음과 같습니다.
1. N : 모델의 매개 변수 수.
2. D : 훈련 토큰 수.
C : 플롭의 총 전산 비용.
4. L : 테스트 데이터 세트에서 모델에 의해 달성 된 평균 손실.
5. A 및 B : 이상적인 생성 프로세스와 비교하여 성능 저하를 반영하는 상수.
6. α 및 β : 지수는 모델과 데이터 크기에 대한 손실이 각각 어떻게되는지를 설명합니다.

Q3. Chinchilla Scaling Law Guide 모델 교육은 어떻게됩니까?

Ans. 법은 모델 크기와 훈련 토큰 모두 최적의 성능을 위해 동일한 속도로 확장해야한다고 제안합니다. 구체적으로, 모델 크기의 두 배가마다, 훈련 토큰의 수는 또한 두 배가되어야하며, 일반적으로 매개 변수 당 약 20 개의 토큰의 비율을 목표로해야한다.

Q4. Chinchilla 스케일링 법의 비판이나 한계는 무엇입니까?

Ans. 최근의 연구에 따르면보고 된 데이터의 불일치와 지나치게 긴밀한 신뢰 구간을 포함하여 Hoffmann et al.의 원래 추정치와의 잠재적 문제를 나타 냈습니다. 일부 연구자들은 스케일링 법이 너무 단순 할 수 있으며 모델 교육에서 다양한 실질적인 고려 사항을 설명하지 않는다고 주장합니다.

Q5. Chinchilla 스케일링 법은 최근 언어 모델 개발에 어떤 영향을 미쳤습니까?

Ans. Chinchilla Scaling Law의 결과는 Google의 Gemini Suite를 포함한 몇 가지 주목할만한 모델의 설계 및 교육 프로세스에 정보를 제공했습니다. 또한 연구원들은 원래 스케일링 법에 따라 최적보다 큰 훈련 모델을 탐색하는“Beyond Chinchilla”전략에 대한 토론을 자극했습니다.

위 내용은 Chinchilla 스케일링 법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!