엔지니어링 다중 GPU를 효율적으로 사용하는 방법: DP부터 FSDP까지 안녕하세요. 테서의 연구개발팀에서 의료 용어 해석을 진행하고 있는 노수철입니다. 딥러닝 모델을 학습할 때 준비해야 할 사항은 여러 가지가 있겠지만, 좋은 하드웨어 자원도 필수 사항입니다. 하드웨어 자원은 항상 부족한 경우가 많기 때문에, 이를 효율적으로 사용하는 것 역시 중요한 사항입니다. 이번 포스트에서는 보다 하드웨어 자원을 효율적으로 사용하여, 딥러닝 모델을 학습할 수 있는