IT 기반 지식 및 유용한 TIP IT 기반 지식 및 유용한 TIP

https://reddit.com/r/mlscaling/comments/14wcy7m/gpt4s_details_are_leaked GPT-4 is more than 10X the size of GPT-3. GPT-3 175B, GPT-4 1.8T / 120 Layer (2조개), 인간의 뇌 10~15T (추정치) Mixture of experts (MOE), 작은 모델 여러개가 병렬로 붙어서 처리 어느 한 인퍼런스에서는 Experts 에서 하나만 도는 형태로 컴퓨팅 파워를 절약 16 개 정도의 Experts (11B) 구글 글램 https://ai.googleblog.com/2022/01/learning-to-route-by-task-for-efficient.html 모델 하나를 sync 하게 chain..