AI 모델은 왜 GPU 연산 성능뿐 아니라 메모리 대역폭도 중요할까? HBM 역할 쉽게 이해하기
AI 기술을 이야기할 때 자주 등장하는 부품이 GPU입니다. GPU의 연산 성능이 높아질수록 AI 모델을 더 빠르게 학습시키고 실행할 수 있기 때문입니다. 그런데 GPU의 성능을 비교할 때 연산 성능만 확인하면 중요한 부분을 놓칠 수 있습니다. 바로 메모리 대역폭입니다. 아무리 계산을 빠르게 처리할 수 있는 GPU라도 계산에 필요한 데이터를 제때 공급받지 못하면 성능을 충분히 발휘하기 어렵습니다. AI … 더 읽기