Python은 데이터 과학에서 널리 사용되는 범용 고수준 프로그래밍 언어로, 딥 러닝 네트워크 모델링으로 작업을 확장하는 데이터 과학자에게 직관적인 선택이 될 수 있습니다. Python의 간단한 구문은 읽기 쉽고, 배우는 데 비교적 시간이 적게 걸리며, Windows, macOS, Linux 또는 Unix를 포함한 모든 운영 체제에서 실행할 수 있습니다. Python은 2019년에 Java를 제치고 3년 넘게 GitHub에서 두 번째로 가장 많이 사용되는 프로그래밍 언어로 선정되었습니다. 2022년에는 22.5% 증가하며 계속해서 인기가 높아지고 있습니다¹.

 이러한 유연성과 단순성은 수학적 연산을 위한 NumPy(Numerical Python), 데이터 조작을 위한 Pandas 또는 데이터 시각화를 위한 matplotlib 등 다양한 Python 라이브러리와 API, 그리고 교육 리소스에 대해 협업하는 강력한 온라인 Python 개발자 커뮤니티를 육성하는 데 도움이 되었습니다. 이 커뮤니티는 또한 머신 러닝 코딩의 단조로움과 추측을 줄여주는 방대한 양의 Pytorch 라이브러리를 제작하여 개발자와 데이터 과학자가 암기식 작업 작성 대신 혁신에 집중할 수 있도록 해줍니다.

모든 머신러닝 알고리즘에서, 심지어 소리나 이미지처럼 겉으로 보기에 숫자가 아닌 정보에 적용되는 알고리즘에서도 데이터는 반드시 숫자로 표현되어야 합니다. PyTorch에서는 플랫폼에서 계산에 사용되는 기본 데이터 단위 역할을 하는 텐서를 통해 이를 수행합니다.

머신 러닝에서 텐서는 수학적 장부 기기와 같은 기능을 하는 다차원 숫자 배열입니다. 언어학적으로 "텐서"는 좀 더 친숙한 수학적 엔터티를 포함하는 일반적인 용어로 기능합니다.

• 스칼라는 단일 숫자를 포함하는 0차원 텐서입니다.
• 벡터는 동일한 유형의 여러 스칼라를 포함하는 1차원 텐서입니다. 튜플은 다양한 데이터 유형을 포함하는 1차원 텐서입니다.
• 매트릭스는 동일한 유형의 여러 벡터를 포함하는 2차원 텐서입니다.
• 컴퓨팅 비전 알고리즘에서 RGB 이미지를 표현하는 데 사용되는 3차원 텐서와 같이 3차원 이상의 텐서를 총칭하여 N차원 텐서라고 합니다.

PyTorch 텐서는 NumPy에서 사용되는 ndarray와 유사하게 작동하지만 중앙 처리 장치(CPU)에서만 실행할 수 있는 ndarrays와 달리 텐서는 그래픽 처리 장치(GPU)에서도 실행될 수 있습니다. GPU는 CPU보다 훨씬 빠른 계산을 가능하게 하며, 이는 딥 러닝에 일반적으로 사용되는 대량의 데이터와 병렬 처리를 고려할 때 큰 이점입니다.

PyTorch 텐서는 모델의 입력과 출력을 인코딩하는 것 외에도 머신 러닝에서 "학습"되는 가중치, 편향, 기울기 등의 모델 파라미터도 인코딩합니다. 텐서의 이러한 속성은 PyTorch의 가장 중요한 기능 중 하나인 자동 미분을 가능하게 합니다.

PyTorch는 모듈을 딥러닝 모델의 구성 요소로 사용하므로 각 알고리즘을 수동으로 코딩하는 지루한 작업 없이도 신경망을 빠르고 간단하게 구축할 수 있습니다.

 모듈은 다른 중첩된 모듈을 포함할 수 있으며, 실제로 그렇게 하는 경우가 많습니다. 이를 통해 더욱 정교한 다층 신경망을 만들 수 있을 뿐만 아니라, 복잡한 딥 러닝 모델을 하나의 명명된 모듈로 쉽게 저장하고 다른 머신, CPU 또는 GPU 간에 전송할 수 있습니다. PyTorch 모델은 Torchscript(ibm.com 외부 링크)를 사용하여 C++와 같은 비Python 환경에서도 실행할 수 있으므로 연구용 프로토타입과 프로덕션 배포 간의 격차를 해소하는 데 도움이 됩니다.

 대체로 PyTorch에서 딥 러닝 모델을 빌드하고 최적화하는 데 사용되는 모듈에는 세 가지 기본 클래스가 있습니다.

• nn 모듈은 신경망의 계층으로 배포됩니다. torch.nn 패키지에는 컨볼루션, 풀링, 회귀와 같은 일반적인 연산을 수행하는 대규모 모듈 라이브러리가 포함되어 있습니다. 예를 들어, torch.nn.Linear(n,m)는 n개의 입력과 m개의 출력을 가진 선형 회귀 알고리즘을 호출합니다(초기 입력과 매개변수는 이후 코드 줄에서 설정됩니다).

• autograd 모듈은 신경망 내에서 작동하는 모든 함수에 대해 경사 하강을 통해 모델 매개 변수를 최적화하는 데 사용되는 기울기를 자동으로 계산하는 간단한 방법을 제공합니다. 텐서를 requires_grad=True로 추가하면 해당 텐서에 대한 모든 연산을 추적해야 한다는 신호를 autograd에 전달하여 자동 미분을 가능하게 합니다.

• Optim 모듈은 이러한 기울기에 최적화 알고리즘을 적용합니다. Torch.Optim은 특정 최적화 요구 사항에 맞게 확률적 경사하강법(SGD) 또는 RMSProp(평균 제곱근 전파)과 같은 다양한 최적화 방법을 위한 모듈을 제공합니다.

동적 계산 그래프(DCG)는 PyTorch에서 딥 러닝 모델을 표현하는 방법입니다. 추상적으로 말하자면, 계산 그래프는 수학 시스템에서 서로 다른 연산 간의 데이터 흐름을 매핑하는 것으로, 딥 러닝의 맥락에서는 신경망의 코드를 각 노드에서 수행되는 연산과 네트워크의 여러 계층 간의 종속성(입력 데이터를 출력 데이터로 변환하는 단계와 순서의 배열)을 나타내는 순서도로 변환하는 것과 같습니다.

PyTorch에서 사용되는 동적 계산 그래프가 TensorFlow에서 사용되는 정적 계산 그래프와 다른 점은 계산의 정확한 사양과 계산 간의 관계를 런타임까지 연기한다는 점입니다. 즉, 정적 계산 그래프는 전체 신경망의 아키텍처를 완전히 결정하고 컴파일해야 실행할 수 있는 반면, DCG는 즉석에서 반복하고 수정할 수 있습니다.

따라서 DCG는 전체 모델을 재설정할 필요 없이 모델 코드의 특정 부분을 변경하거나 개별적으로 실행할 수 있기 때문에 디버깅 및 프로토타이핑에 특히 유용합니다. 복잡한 컴퓨터 비전 및 NLP 작업에 사용되는 대규모 딥 러닝 모델의 경우 시간과 계산 리소스 낭비가 될 수 있습니다. 이러한 유연성의 이점은 역전파 중에 동적 계산 그래프가 역방향으로 쉽게 생성되기 때문에 모델 학습으로 확장됩니다.

정적 계산 그래프는 고정 구조가 계산 효율성을 높일 수 있지만 유연성이 제한적입니다. 예를 들어, 다양한 크기의 이미지를 처리할 수 있는 CNN (컨벌루션 신경망)과 같이 입력 데이터에 따라 다양한 계층을 사용하는 모델을 구축하는 것은 정적 그래프의 경우 매우 어렵습니다.

특히 지도 학습에서 신경망을 훈련하는 데 광범위하게 사용되는 방법 중 하나는 역전파입니다. 첫째, 순방향 패스에서 모델은 일부 입력(x)을 공급받고 일부 출력(y)을 예측합니다. 이 출력에서 역방향으로 작업하면 손실 함수를 사용하여 x의 다른 값에서 모델 예측의 오차를 측정합니다. 손실 함수를 미분하여 도함수를 찾음으로써 경사하강법을 사용하여 신경망의 가중치를 한 번에 한 계층씩 조정할 수 있습니다.

PyTorch의 autograd 모듈은 연쇄 법칙이라는 미적분 공식을 사용하여 자동 미분 기술을 강화하고 복잡한 도함수를 더 간단한 도함수로 분할하고 나중에 결합하여 계산합니다. Autograd는 계산 그래프에서 실행되는 모든 작업에 대한 기울기를 자동으로 계산하고 기록하므로 역전파의 수고가 크게 줄어듭니다. 

이미 학습된 모델을 실행할 때 autograd는 불필요하게 계산 리소스를 사용하게 됩니다. 텐서 연산에 requires_grad=False를 추가하면 PyTorch에 기울기 추적을 중지하라는 신호가 전달됩니다.

딥 러닝 모델을 훈련하는 데 필요한 대규모 데이터 세트로 작업하는 것은 복잡하고 계산이 까다로울 수 있습니다. PyTorch는 데이터 로딩을 용이하게 하고 코드를 더 쉽게 읽을 수 있도록 데이터 세트와 데이터 로더라는 두 가지 데이터 프리미티브를 제공합니다.

• torch.utils.data.Dataset는 데이터 샘플과 해당 레이블을 저장합니다.
• torch.utils.data.Dataloader는 데이터 세트를 이터러블(연산이 가능한 객체)로 감싸서 샘플에 쉽게 액세스할 수 있도록 합니다.