들어가며: 주가 차트에 숨겨진 AI 반도체 기술 이야기
올해 초만 해도 엔비디아 주식 들고 있으면 불안해서 잠을 못 잤던 기억이 납니다. 실적은 좋은데 주가는 왜 떨어지는 거야? 다들 AI 거품 터진다고 난리였죠. 그런데 구글이 실적 발표하면서 분위기가 싹 바뀌었습니다.
알고 보니 핵심은 TPU라는 칩이었어요. “TPU가 뭔데?”라고 물었더니 주변 개발자 친구가 한숨 쉬면서 “그냥 구글이 만든 AI 전용 칩이야”라고 하더군요. 근데 이게 단순히 ‘또 다른 칩’ 수준이 아니었습니다.
기술 용어는 최대한 쉽게 풀어서 썼으니 끝까지 읽어보세요.
GPU는 왜 비용이 미친 듯이 드는가?
일단 GPU부터 이해해보자
엔비디아 GPU는 원래 게임용으로 나온 겁니다. 그래픽 카드요. 근데 AI 붐이 오면서 이걸로 AI 돌리기 시작한 거죠. 수천 개의 작은 계산기(코어)가 동시에 돌아가는 구조라 병렬 처리에 좋거든요.
문제는 여기서 시작됩니다.
메모리 왔다갔다가 돈 먹는 하마
GPU는 ‘폰 노이만 구조’라는 걸 씁니다. 뭔 소리냐면, 계산기(코어)랑 저장소(메모리)가 따로 떨어져 있어요. 그래서 계산할 때마다:
- 메모리 가서 데이터 가져오기 (Read)
- 계산하기
- 메모리 가서 결과 저장하기 (Write)
이걸 수억 번 반복합니다.
친구가 이렇게 비유하더라고요. “1,000명의 천재가 각자 칠판 앞으로 뛰어가서 문제 풀고, 다시 지우러 가고, 또 뛰어가고… 이걸 하루종일 반복하는 거야. 당연히 숨 차고 느리지.”
실제로 CPU는 메모리에서 데이터 가져오는 것보다 100배 빠르게 계산할 수 있는데, 결국 데이터 나르느라 시간 다 잡아먹는 겁니다. 이게 바로 ‘메모리 병목’이라는 현상이에요.
아래 그림에서 보시듯, 폰 노이만 구조에서는 매번 연산을 할 때마다 시스템 버스를 통해 메모리에 접근해야 합니다.
폰 추노이만 구조 : 출처 https://commons.wikimedia.org/wiki/File:Computer_system_bus.svg
범용성은 좋은데… AI 할 때는 낭비
GPU는 게임도 하고, 암호화폐 채굴도 하고, 과학 계산도 할 수 있게 만들어졌어요. 그래서 칩 안에 이것저것 다 들어있죠. 근데 AI만 돌릴 때는 이 중에 절반 이상이 그냥 노는 겁니다.
비싼 돈 주고 샀는데 절반은 쓰지도 않는 기능이라니…
구글의 TPU는 뭐가 다른데?
시스톨릭 어레이 – 듣기만 해도 어려운 이름
구글이 내놓은 해결책이 TPU예요. 핵심은 ‘시스톨릭 어레이(Systolic Array)’라는 구조입니다.
‘시스톨릭’은 심장 박동이란 뜻이에요. 심장이 피를 펌프질해서 온몸으로 보내는 것처럼, 데이터가 칩 안에서 물 흐르듯 이동한다는 의미입니다.
옆 사람에게 답안지 넘기듯이
아까 GPU는 1,000명이 칠판 앞으로 계속 뛰어간다고 했죠? TPU는 다릅니다.
1,000명이 일렬로 쭉 앉아있어요. 첫 번째 사람이 계산하고 나면 결과를 메모리에 저장하는 게 아니라 옆 사람한테 바로 넘깁니다. 두 번째 사람은 그걸 받아서 또 계산하고 옆으로 넘기고…
메모리 갔다 올 필요가 없으니까 엄청 빠르고, 전기도 덜 먹는 거예요.
실제로 TPU는 64,000개의 작은 계산기(ALU)가 서로 데이터를 직접 주고받습니다. 메모리 접근 없이요! 이게 전력 소비를 확 줄이는 비결입니다.
레지스터는 특정 목적을 가진 매우 빠른 임시 저장 공간입니다. 데이터는 레지스터에서 바로 연산 유닛으로 전달되고, 연산 결과 역시 즉시 다음 연산기로 흘러갑니다. 만약 폰 노이만 구조였다면, 중간중간 메모리에 저장하고 다시 불러와야 해서 오버헤드가 훨씬 커졌을 겁니다.
출처: Google Cloud
AI만 잘하면 그만
TPU는 애초에 AI 행렬 연산만 하려고 만들었어요. 게임? 못합니다. 암호화폐? 안돼요. 근데 그게 장점이에요. 쓸데없는 기능 다 빼고 AI만 최적화했으니 효율이 좋을 수밖에 없죠.
구글 자료 찾아보니까 GPU 대비 전력 효율이 30~50% 좋다고 하더라고요. 클라우드 서비스 돌리는 입장에서는 이게 어마어마한 차이입니다.
학습은 GPU, 추론은 TPU?
여기서 헷갈릴 수 있는 게, “그럼 왜 다들 아직도 엔비디아 GPU 사?” 하는 겁니다.
학습 단계: 엔비디아의 성
AI 모델 만들 때(학습)는 이것저것 실험을 많이 해봐야 해요. 오늘은 Transformer 써보고, 내일은 새로운 알고리즘 테스트하고…
TPU는 구조가 너무 고정적이라 새로운 알고리즘에 바로 대응하기 어렵습니다. 반면 GPU는 유연해서 뭐든 돌려볼 수 있죠.
게다가 전 세계 개발자 90% 이상이 엔비디아 CUDA로 코딩합니다. 이게 엔비디아의 진짜 무기예요. 학습 시장에서는 당분간 대체 불가능해 보입니다.
추론 단계: 구글의 반격
근데 모델 만들어놓고 서비스 할 때(추론)는 얘기가 달라져요. 이미 모델 구조 정해졌으니 유연성은 필요 없고, 그냥 빠르고 싸게 돌리기만 하면 되거든요.
여기서 TPU가 빛을 발합니다.
실제 사례 보면:
- Character.AI는 TPU로 갈아타고 비용을 3.8배 줄였다고 공개했어요
- Waymark라는 회사는 비디오 생성 비용이 4배 싸졌다고 합니다
- Cohere는 “우리 규모에서는 TPU가 압도적”이라고 말했고요
숫자로 보면 더 명확합니다. 하루에 챗봇 쿼리 100만 건 처리한다고 가정하면:
- H100(엔비디아): 월 약 14만 달러
- TPU v6: 월 약 3만 8천 달러
73% 저렴합니다.
2025년 올해 무슨 일이 있었나
엔비디아 주가가 흔들린 이유
올해 초에 투자자들 사이에서 이런 불안감이 퍼졌어요.
“빅테크들이 엔비디아 GPU 수백억 달러어치 사서 AI 돌리는데… 이거 본전이나 뽑을까?”
실제로 AI 서비스 돌리는 비용이 너무 비싸서 적자 날 거라는 예측이 많았거든요. 그래서 실적이 좋아도 주가가 떨어진 겁니다.
구글이 시장을 구했다
그러다 구글이 3분기 실적 발표에서 폭탄을 터뜨렸어요.
“우리는 TPU로 AI 비용 통제 가능합니다. 검색이랑 유튜브에 AI 넣어도 돈 벌어요.”
- 구글 클라우드 수익: 전년 대비 34% 증가 (151억 달러)
- 회사 전체로는 사상 첫 분기 1,000억 달러 돌파
시장 분위기가 확 바뀌었죠. “AI로 돈 벌 수 있구나!”
그리고 구글 주가는 신고가 경신, 덩달아 엔비디아도 반등했습니다. 구글 덕분에 AI 산업 전체의 신뢰가 회복된 것으로 생각됩니다.
TPU v7 (Ironwood/Trillium) – 게임 체인저
구글이 발표한 최신 TPU v7은 정말 괜찮은데요.
- 이전 고급 TPU보다 10배 빠름
- 전력 효율은 거의 2배
- 대규모 추론에 특화
엔비디아 차세대 칩인 GB300과 비교해도 시간당 비용이 약 41% 저렴하다는 분석이 있어요.
메타마저 구글로? 충격적인 뉴스
개인적으로 가장 놀란 건 메타 입니다.
2025년 10월, The Information이랑 Reuters에서 확인한 내용인데, 메타가 구글이랑 수십억 달러 규모 TPU 계약을 협상 중이래요. 2026년 중반부터 시작해서 2027년까지 온프레미스 TPU 파드 설치까지 검토하고 있다고 합니다.
메타는 엔비디아 최대 고객 중 하나입니다. 그런 메타가 TPU로 간다고?
마크 저커버그가 실적 발표에서 “다양한 실리콘 공급업체 탐색 중”이라고 했는데, 월가에서는 “다각화 전략”으로 들었지만 엔지니어들은 다르게 봤대요. “엔비디아 추론 비용이 너무 비싸서 못 버티겠다는 뜻”이라고.
그래서 투자는 어떻게?
제 개인적인 생각을 정리해봤습니다. (투자 권유 아니고 공부한 내용 공유예요)
1. 엔비디아는 여전히 강하다
GPT-5, GPT-6 같은 새 모델 개발은 계속될 겁니다. 학습 시장에서 엔비디아 입지는 견고해요. CUDA 생태계는 하루아침에 무너지지 않습니다.
주가 조정 올 때 매수 기회로 보는 게 맞다고 봐요. 다만 예전처럼 “GPU만 있으면 끝”은 아니게 됐다는 거죠.
2. 구글도 잘한다
AI로 돈 버는 회사를 찾는다면 단연 구글입니다. 자체 칩 만들어서 비용 통제하고, 그 절약한 돈이 다 자기 이익이 되는 구조거든요.
모건 스탠리 분석 보니까 TPU 50만 개 추가 판매될 때마다 알파벳 수익이 130억 달러 늘고, 주당 순이익(EPS)이 0.40달러 오른대요.
클라우드 수익도 계속 성장 중이고 (백로그가 1,550억 달러!), TPU를 외부에도 임대하면서 새로운 수익원도 생겼죠.
개인적으로는 장기 보유 관점에서 가장 매력적으로 보입니다.
3. 브로드컴도 눈여겨볼 만
모든 회사가 구글처럼 혼자 칩 만들 수는 없어요. 그래서 ASIC(맞춤형 칩) 설계 도와주는 회사들이 뜹니다.
브로드컴은 TPU 프로젝트에서만 최소 80억 달러 벌었다는 추정이 있어요. SerDes 같은 핵심 기술 IP도 갖고 있고요.
추론 시장이 커질수록 이런 회사들도 같이 성장할 겁니다. 마벨(Marvell)도 비슷한 포지션이고요.
마무리하며
처음에는 “TPU가 뭐길래?”로 시작했는데, 파고들다 보니 반도체 아키텍처부터 AI 비즈니스 모델까지 공부하게 됐네요.
핵심만 정리하면:
- GPU: 학습 시장의 왕. 유연하지만 비싸다.
- TPU: 추론 시장의 혁명. 효율적이지만 AI 전용이다.
- 투자: 학습엔 엔비디아, 수익화엔 구글/클라우드, 숨은 수혜주론 브로드컴
AI 거품 논란도 결국은 “이걸로 돈 벌 수 있느냐”의 문제였고, 구글이 TPU로 그게 가능하다는 걸 증명했습니다.
앞으로 몇 년간은 학습용 GPU와 추론용 TPU/ASIC이 공존하는 시장이 될 것 같아요. 둘 다 기회가 있다는 뜻이죠.
참고한 자료들
혹시 더 깊이 공부하고 싶으신 분들을 위해:
- Google Cloud Blog – TPU 공식 아키텍처 설명
https://cloud.google.com/blog/products/ai-machine-learning/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu - IBM Research – 폰 노이만 병목 현상 분석
https://research.ibm.com/blog/why-von-neumann-architecture-is-impeding-the-power-of-ai-computing - CNBC – 구글 TPU 10년 투자 성과
https://www.cnbc.com/2025/11/07/googles-decade-long-bet-on-tpus-companys-secret-weapon-in-ai-race.html - SemiAnalysis – TPU v7 기술 분석
https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the - AI News Hub – 실제 마이그레이션 비용 비교
https://www.ainewshub.org/post/nvidia-vs-google-tpu-2025-cost-comparison - 알파벳 공식 – 2025년 3분기 실적
https://blog.google/inside-google/message-ceo/alphabet-earnings-q3-2025/
이 글은 개인적으로 공부하고 정리한 내용입니다. 투자 판단은 본인의 책임하에 하시기 바랍니다.