Python ist eine in der Datenwissenschaft weit verbreitete Universalprogrammiersprache, die sich für Data Scientists, die ihre Arbeit auf die aktive Modellierung von Deep Learning-Netzwerken ausweiten wollen, intuitiv anbietet. Die einfache Syntax von Python ist leicht zu lesen, man braucht relativ wenig Zeit, um sie zu erlernen, und sie kann auf jedem Betriebssystem laufen, einschließlich Windows, macOS, Linux oder Unix. Python ist seit über drei Jahren die am zweithäufigsten verwendete Programmiersprache auf GitHub und hat 2019 Java überholt. Die Popularität nimmt weiter zu, mit einem Anstieg von 22,5 Prozent im Jahr 2022¹.

Diese Flexibilität und Einfachheit hat dazu beigetragen, eine robuste Online-Gemeinschaft von Python-Entwicklern zu fördern, die gemeinsam an einer Vielzahl von Python-Bibliotheken und APIs – wie Numerical Python (NumPy) für mathematische Operationen, Pandas für die Datenmanipulation oder matplotlib für die Datenvisualisierung – sowie an Bildungsressourcen arbeiten. Diese Gemeinschaft hat auch eine große Anzahl von Pytorch-Bibliotheken hervorgebracht, die die Monotonie und das Rätselraten bei der Programmierung von maschinellem Lernen verringern und Entwicklern und Data Scientists die Möglichkeit geben, sich auf Innovationen zu konzentrieren, anstatt Aufgaben auswendig zu schreiben.

Bei allen Algorithmen des maschinellen Lernens, auch bei denen, die auf scheinbar nicht numerische Informationen wie Töne oder Bilder angewendet werden, müssen die Daten numerisch dargestellt werden. In PyTorch wird dies durch Tensoren erreicht, die als grundlegende Dateneinheiten für die Berechnung auf der Plattform dienen.

Im Kontext des maschinellen Lernens ist ein Tensor eine mehrdimensionale Anordnung von Zahlen, die wie eine mathematische Buchführung funktioniert. Linguistisch gesehen fungiert „Tensor“ als Oberbegriff, der einige bekanntere mathematische Einheiten umfasst:

• Ein Skalar ist ein nulldimensionaler Tensor, der eine einzelne Zahl enthält.
• Ein Vektor ist ein eindimensionaler Sensor, der mehrere Skalare desselben Typs enthält. Ein Tupel ist ein eindimensionaler Sensor, der verschiedene Datentypen enthält.
• Eine Matrix ist ein zweidimensionaler Sensor, der mehrere Vektoren desselben Typs enthält.
• Tensoren mit drei oder mehr Dimensionen, wie die dreidimensionalen Tensoren, die zur Darstellung von RGB-Bildern in Computer Vision-Algorithmen verwendet werden, werden kollektiv als N-dimensionale Tensoren bezeichnet.

PyTorch-Tensoren funktionieren ähnlich wie die in Numpy verwendeten Ndarrays – aber im Gegensatz zu Ndarrays, die nur auf Zentralprozessoren (CPUs) ausgeführt werden können, können Tensoren auch auf Grafikprozessoren (GPUs) ausgeführt werden. GPUs ermöglichen wesentlich schnellere Berechnungen als CPUs, was angesichts der riesigen Datenmengen und der parallelen Verarbeitung, die für Deep Learning typisch sind, ein großer Vorteil ist.

Zusätzlich zur Kodierung der Eingaben und Ausgaben eines Modells kodieren PyTorch-Tensoren auch Modellparameter: die Gewichte, Verzerrungen und Gradienten, die beim maschinellen Lernen „gelernt“ werden. Diese Eigenschaft von Tensoren ermöglicht die automatische Differenzierung, was eine der wichtigsten Funktionen von PyTorch ist.

PyTorch verwendet Module als Bausteine für Deep Learning-Modelle, was die schnelle und unkomplizierte Konstruktion neuronaler Netze ohne die mühsame Arbeit der manuellen Codierung jedes Algorithmus ermöglicht.

 Module können – und tun dies häufig auch – andere verschachtelte Module enthalten. Dies ermöglicht nicht nur die Erstellung komplexer mehrschichtiger neuronaler Netze, sondern auch die einfache Speicherung dieser komplexen Deep Learning-Modelle als ein einziges benanntes Modul und die Übertragung zwischen verschiedenen Maschinen, CPUs oder GPUs. PyTorch-Modelle können mit Torchscript (Link außerhalb von ibm.com) sogar in Nicht-Python-Umgebungen wie C++ ausgeführt werden, um die Lücke zwischen Forschungsprototypen und Produktionseinsatz zu schließen.

Im Großen und Ganzen gibt es drei Hauptklassen von Modulen, die zur Erstellung und Optimierung von Deep Learning-Modellen in PyTorch verwendet werden:

• nn-Module werden als Layer eines neuronalen Netzwerks bereitgestellt. Das Paket torch.nn enthält eine große Bibliothek von Modulen, die allgemeine Operationen wie Convolutions, Pooling und Regression ausführen. Torch.nn.Linear (n, m) ruft beispielsweise einen linearen Regressionsalgorithmus mit n Eingaben und m Ausgängen auf (deren anfängliche Eingaben und Parameter dann in nachfolgenden Codezeilen festgelegt werden).

• Das Modul Autograd bietet eine einfache Möglichkeit zur automatischen Berechnung von Gradienten, die zur Optimierung von Modellparametern mittels Gradientenabstieg verwendet werden, für jede Funktion, die in einem neuronalen Netz betrieben wird. Das Anhängen eines beliebigen Tensors mit requires_grad=TRUE signalisiert dem Autograd, dass jede Operation an diesem Tensor verfolgt werden sollte, was eine automatische Differenzierung ermöglicht.

• Optim-Module wenden Optimierungsalgorithmen auf diese Gradienten an. Torch.optim bietet Module für verschiedene Optimierungsmethoden, wie stochastischer Gradientenabstieg (SGD) oder quadratische Mittelwertausbreitung (RMSprop), um spezifischen Optimierungsanforderungen gerecht zu werden.

Mithilfe dynamischer Berechnungsdiagramme (DCGs) werden Deep Learning-Modelle in PyTorch dargestellt. Abstrakt gesprochen bilden Berechnungsgraphen den Datenfluss zwischen den verschiedenen Operationen in einem mathematischen System ab: Im Kontext des Deep Learning übersetzen sie im Wesentlichen den Code eines neuronalen Netzes in ein Flussdiagramm, das die an jedem Knoten durchgeführten Operationen und die Abhängigkeiten zwischen den verschiedenen Schichten im Netz anzeigt – die Anordnung der Schritte und Sequenzen, die Eingabedaten in Ausgabedaten umwandeln.

Was dynamische Berechnungsgraphen (wie die in PyTorch verwendeten) von statischen Berechnungsgraphen (wie die in TensorFlow verwendeten) unterscheidet, ist, dass DCGs die genaue Spezifikation von Berechnungen und Beziehungen zwischen ihnen auf die Laufzeit verschieben. Mit anderen Worten: Während bei einem statischen Berechnungsgraphen die Architektur des gesamten neuronalen Netzes vollständig festgelegt und kompiliert werden muss, um ausgeführt werden zu können, können DCGs iteriert und im laufenden Betrieb geändert werden.

Dies macht DCGs besonders nützlich für Debugging und Prototyping, da bestimmte Teile des Modellcodes geändert oder isoliert ausgeführt werden können, ohne dass das gesamte Modell zurückgesetzt werden muss – was bei den sehr großen Deep Learning-Modellen, die für anspruchsvolle Computer Vision- und NLP-Aufgaben verwendet werden, eine Verschwendung von Zeit und Rechenressourcen darstellen kann. Die Vorteile dieser Flexibilität erstrecken sich auch auf die Modellschulung, da dynamische Berechnungsgraphen während der Backpropagation leicht in umgekehrter Richtung erzeugt werden können.

Während ihre feste Struktur eine höhere Recheneffizienz ermöglichen kann, verfügen statische Rechendiagramme über eine begrenzte Flexibilität: Beispielsweise können sie ein Modell erstellen, das abhängig von den Eingabedaten eine unterschiedliche Anzahl von Schichten verwendet – wie ein Convolutional Neural Network (CNN), das Bilder unterschiedlicher Größen verarbeiten kann – ist bei statischen Diagrammen sehr schwierig.

Eine weit verbreitete Methode zum Training neuronaler Netze, insbesondere beim überwachten Lernen, ist die Backpropagation. Zunächst erhält ein Modell in einem Vorwärtsdurchlauf einige Eingaben (x) und prognostiziert einige Ausgaben (y); ausgehend von dieser Ausgabe wird eine Verlustfunktion verwendet, um den Fehler der Vorhersagen des Modells bei verschiedenen Werten von x zu messen. Durch Differenzieren dieser Verlustfunktion, um ihre Ableitung zu finden, kann der Gradientenabstieg verwendet werden, um die Gewichte im neuronalen Netz Schicht für Schicht anzupassen.

Das Autograd-Modul von PyTorch nutzt für die automatische Differenzierung eine Formel aus der Infinitesimalrechnung, die so genannte Kettenregel, mit der komplexe Ableitungen durch Aufspaltung in einfachere Ableitungen berechnet und später kombiniert werden. Autograd berechnet und speichert automatisch Gradienten für alle Operationen, die in einem Berechnungsgraphen ausgeführt werden, und reduziert so den Arbeitsaufwand der Backpropagation erheblich. 

Beim Ausführen eines Modells, das bereits trainiert wurde, wird Autograd zu einem unnötigen Verbrauch von Rechenressourcen. Das Anhängen einer beliebigen Tensoroperation an requires_grad=False signalisiert PyTorch, die Verfolgung von Gradienten zu beenden.

Die Arbeit mit den großen Datensätzen, die zum Trainieren von Deep Learning-Modellen erforderlich sind, kann komplex und rechenintensiv sein. PyTorch bietet zwei Datenprimitive, Datensätze und Datenlader, um das Laden von Daten zu erleichtern und den Code leichter lesbar zu machen.

• torch.utils.data.Dataset speichert Datenproben und deren entsprechende Beschriftungen
• torch.utils.data.Dataloader umschließt den Datensatz – ein Objekt, mit dem gearbeitet werden kann – um den Datensatz zu umschließen, um einen einfachen Zugriff auf Stichproben zu ermöglichen