유명 AI 모델의 학습을 위해 투입된 비용 추정 by voronoiapp.com

아직 생성AI는 가끔 허언을 뱉는 흥미로운 도구 이상은 아니지만, 언젠가는 인류의 도구가 아니라 인류의 종말을 열 무엇이 될지 모른다는 걱정을 품는 이들이 많아진 느낌입니다. 아직은 일부 학자에게서나 그런 비관적인 전망이 나오고 있지만, 인류와 전쟁을 벌이는 게 아니라 인류에게 일을 빼앗는 것으로 멸망으로 이끌 거라는 이야기까지... 생성AI를 시작으로 AI와 관한 다양한 이야기가 나오는 요즘이죠.

 

AI 전쟁의 키, AI 모델을 학습시키는데는 돈이 얼마나 들까?

이렇게 다양한 관심을 받고 있는 AI 모델들은 아직은 배우는 중입니다. 다른 듯 닮은 방법으로 다양한 자료를 학습하며 그들 역시 한발씩 나아가는 중인데요. 스탠퍼드 대학의 2024 AI 인덱스 리포트(Artificial Intelligence Index Report 2024)를 통해 공개한 그들이 학습할 때 들어가는 비용의 추정치를 voronoi가 인포그래픽으로 정리했는데요.

 

현재의 챗GPT를 있게 한 원천 기술인 트랜스포머(Transformer) 모델을 구글이 2017년에 학습시킬 때 든 비용은 초창기라 그랬는지 고작 930달러(127만 원 정도), 2018년 구글이 BERT-라지(BERT-Large) 모델의 학습 비용으로 쓴 건 3,288달러(451만 원 정도), 2019년 메타가 로베르타 라지(RoBERTa Large) 모델의 학습 비용으로 투입한 건 160,018달러(2억 1939만 원 정도)였습니다.

AI 학습 비용이 확 늘어난 건 2020년 다빈치로 불렸던 오픈AI의 GPT-3 175B 모델의 4,324,883달러(59억 2942만 원 정도), 2021년 마이크로소프트와 엔비디아의 메가트론-튜링 NLG 530B(Megatron-Turing NLG 530B)는 학습에 6,405,653달러(87억 8216만 원 정도)가 투자됐습니다. 다시 2022년 구글의 람다(LaMDA)가 1,319,586달러(18억 916만 원 정도)로 학습 비용을 낮췄지만, 이후 등장하는 것들은 볼륨이 부쩍 커졌습니다.

같은 해 구글의 팜 540B(PaLM 540B)는 12,389,056달러(169억 8,540만 원 정도), 2023년 오픈AI의 GPT-4는 78,352,034달러(1,074억 2,064만 원 정도), 상대적으로 덩치가 작은 메타의 라마 2 70B(Llama 2 70B)는 3,931,897달러(53억 9,064만 원 정도), 구글의 제미나이 울트라(Gemini Ultra)는 191,400,000달러(2,624억 940만 원 정도)나 학습 비용에 투입할 정도로 커졌는데.

각 기업이 정확한 비용을 공급하지 않아 추정한 데이터들이지만, 컴퓨팅 성능을 위해 고가의 GPU와 데이터센터 구축 등의 하드웨어 측면의 투자 외에도 학습에 기반이 될 양질의 자료(가능하면 저작권 문제없는 것)까지 필요하다 보니 비용이 부쩍 커진 걸 텐데요. 최근엔 적은 양의 데이터로도 좋은 학습 결과를 낼 수 있다는 얘기가 있지만, 당분간 빅테크들의 AI 투자는 돈의 전쟁이 될 거고... 뒤에서 엔비디아가 크게 웃고 있겠죠.ㅎ

---

The Training Costs of AI Models Over Time