Ausbildung zum Deep Learning Engineer

Modul 1
Deep Learning: Einführung, Grundlagen & Vertiefung – Essentials von Deep Learning und Keras: Datenaufbereitung, Architekturen (MLP, CNN), Training eines Netzwerks

In Modul 1 werden die Grundlagen von Deep Learning und dem Framework Keras erläutert. Grundlagen der Datenaufbereitung werden vertieft, bevor das Multi-Layer-Perceptron (MLP) Schritt für Schritt erklärt wird, um eine Basis für alle späteren Netzwerkarchitekturen zu haben. In diesem Zusammenhang werden wichtige Grundbegriffe erklärt und in Übungsaufgaben die Umsetzung gefestigt. Die Inhalte umfassen die Struktur eines MLP, die Schritte beim Trainieren eines Neuronalen Netzes und das für Bilddaten wichtige Convolutional Neural Network (CNN) mit der Faltungsschicht (Convolutional Layer). Überdies wird die Klassifikation von Bildern mit einem CNN umgesetzt und die Überwachung des Trainings und Speichern von Zwischenergebnissen mit Keras Callbacks und Mlflow besprochen. 

Tag 1

• Begrüßung und Einführung in den Zertifikatslehrgang
  Vorstellung und Erwartung der Teilnehmenden
• Intro Machine Learning und Künstlicher Intelligenz
  • Entstehung und Kontext von Deep Learning
  • Machine Learning, Künstliche Intelligenz und Deep Learning als Königsdisziplin
  • Anwendungsbeispiele von Deep Learning Algorithmen
• Data Preprocessing
  • Overfitting im Machine Learning
  • Train-Validation-Test Split
  • Normalisierung von Daten
  • Dummy Enkodierung / One-Hot encoding
• Multi-Layer-Perceptron (MLP)
  • Perceptron, Gewichte, Bias
  • Aktivierungsfunktionen (Non-linearities)
  • Softmax für Fragestellungen mit Klassifizierung
• Training eines Netzwerks
  • Loss-Funktionen
  • Gewichts-Initialisierung
  • Update von Gewichten (Backpropagation)
  • Epoche und Batch-Size

Tag 2

• Convolutional Neural Network (CNN)
  • Eine Faltung (Convolution)
  • Filter im convolutional layer
  • Stride und Padding
  • Bias im CNN
  • Max-Pooling
  • Was sieht ein CNN auf den unterschiedlichen Ebenen?
• Callbacks mit Keras
  • Callbacks in Keras umsetzen
  • Speichern von Modelgewichten
  • Early Stopping zur frühzeitigen Beendigung des Trainings
  • MLflow zur Verwaltung von Experimenten und Beobachtung des Trainings
  • Vorstellung bekannter Netzwerkarchitekturen
• Image classfiication
  • Softmax-Layer
  • Cross-Entropy Loss
  • Data-Generator in Keras
  • AlexNet und VGG-16 (CNN-Architekturen)
  • Drop-Out und L2 Regularisierung
  • Laden eines fertig trainierten Models

Modul 2
Deep Learning mit Bilddaten – Klassifizierung, Object Detection, Semantische Segmentierung, Training bei wenigen Daten, Unsicherheitsbestimmung, Semi-Supervised Learning 

Modul 2 fokussiert sich auf die Verarbeitung von Bilddaten mit Deep Learning. Neben der Einführung in wichtige Grundlagen von numpy zur Behandlung von Bildern wird die Multi-Label Klassifizierung erörtert und vorgestellt. Es wird zudem die Object Detection mit Bounding Boxes behandelt, um auf Bildern Objekte mithilfe von rechteckigen Bounding Boxes zu erkennen und zu klassifizieren. Danach wird die semantische Segmentierung anschaulich erläutert, welche beispielsweise im autonomen Fahren Anwendung findet.

An Tag 2 liegt der Fokus auf dem Training von neuronalen Netzen mit wenigen / unzureichenden Daten, was in der Realität oft der Fall ist. Es wird die Daten-Augmentierung, d.h. die künstliche Vergrößerung des Datensatzes durch Verzehrung der bisherigen Trainingsdaten sowie das Fine-Tuning / Transfer Learning, d.h. das Verwenden von neuronalen Netzen, die auf anderen Datensätzen vortrainiert wurden, vorgestellt. Zudem wird ein Schwerpunkt das Thema Uncertainty Estimation sein, um eine bessere Einschätzung der Klassifizierungswahrscheinlichkeit zu erhalten. Modul 2 wird durch Semi-Supervised Learning, einer Lernmethode, in der neben gelabelten Daten auch ungelabelte Daten verwendet werden, abgeschlossen.

Tag 3

• Rückblick auf Modul 1 und Einführung in Modul 2 
  • Besprechung der selbstständig bearbeiteten Vertiefungsübung aus Modul 1
• Einführung in numpy zur Arbeit mit Bilddaten
  • Ein numpy Array und dessen Attribute
  • Arrays erstellen und mit Daten befüllen (bzw. mit Zufallszahlen)
  • Mathematische Operationen mit Numpy
• Multi-Label Klassifizierung
  • Multi-Hot Encoding
  • Sigmoid Aktivierungsfunktion
  • Binary Crossentropy
• Objekt-Detektion mit Bounding Boxes
  • Mean-Squared-Error und Cross-Entropy Loss
  • Trainingsgüte: intersection over union (IoU)
• Semantische Segmentierung
  • Cross-Entropy Loss und mean IoU
  • U-Net (bekannte Netzwerkarchitektur für Segmentierung)
  • Up-Convolution

Tag 4

• Training bei wenig Daten und Fine-Tuning
  • Data Augmentation zur Erweiterung des Datensatzes im Training
  • Code von vortrainierten Netzwerk-Architekturen verwenden
  • Fine-Tuning: Netzwerke für seine Aufgabe adaptieren
• Uncertainty Estimation
  • Arten von Uncertainty (Aleatoric, Epistemic)
  • Überblick von Methoden zur Bestimmung der Uncertainty
  • Berechnung von Netzwerkunsicherheit mit Ensembles und MC Dropout
• Semi-Supervised Learning
  • Überblick über Arten des Semi-Supervised Learnings
  • Implementierung eines Semi-Supervised Algorithmus für die Bildklassifizierung

Modul 3
Deep Learning mit Sequenzdaten: Text und Zeitreihen – Vorbereitung der Daten und bekannte Architekturen (RNN; LSTM). Grundlagen vom Natural Language Processing (NLP)

In Modul 3 werden die Grundlagen von Deep Learning-Sequenzmodellen vermittelt. Modelle wie Rekurrente Neuronale Netze (RNNs) und ihre Erweiterungen spielen eine wichtige Rolle in der Verarbeitung natürlicher Sprache, dem Natural Language Processing (NLP), und in anderen Bereichen. Viele industrielle und wissenschaftliche Daten müssen als Zeitreihendaten im Deep Learning Kontext speziell gehandhabt werden. Den Rahmen des Moduls bietet die Sprachverarbeitung. Hierbei wird die Vorverarbeitung von Textdaten für Deep Learning Modelle beleuchtet und anhand einer Sentimentanalyse die Textklassifikation vorgestellt. Zum Abschluss werden die komplexen Sequence-to-sequence-Modelle anhand einer Übersetzungsanwendung praktisch umgesetzt. Für die Bearbeitung von Zeitreihen werden in diesem Modul außerdem die grundlegenden Besonderheiten erläutert, die für die Deep Learning Modelle beachtet werden müssen.

Ein weiter Themenschwerpunkt ist die Recurrent Neural Network (RNN) Architektur. Es wird aufgezeigt, wie ein RNN aufgebaut ist und wie dieser Schritt für Schritt in Keras umgesetzt werden kann. Zudem wird ein Einblick in die Erweiterungen, das LSTM (Long Short Term Memory) und die GRU (Gated Recurrent Unit) gegeben. In der Praxis kommt oft eine Mischung aus traditionellen und modernen Verfahren zum Einsatz. Hierbei werden auch die leistungsstarken Algorithmen, wie Facebook Prophet und Amazon‘s DeepAR Algorithmus behandelt und analysiert.

Tag 5

• Rückblick auf Modul 2 und Einführung in Modul 3 
  • Besprechung der selbstständig bearbeiteten Vertiefungsübung aus Modul 2
• Vorverarbeitung und Klassifizierung von Textdaten (NLP)
  • Text-Vectorization (vom Text über den Token zur Zahl)
  • Word Embeddings (GloVe, Word2Vec)
  • Code-Beispiel: Klassifizierung von Film-Bewertungen (Sentimentanalyse)
• Grundlage Sequenzdaten
  • Aufbau von Sequenzdaten und ihre klassische Modellierung: ARIMA und exponential smoothing
  • Anwendungen und Visualisierungen von Sequenzdaten
  • Code-Beispiel: Vergleich von Vorhersagen
• Klassifizierung, Clustering, Anomalieerkennung: Umsetzung im Machine Learning Context
  • Rollendes Fenster vs. unsortierte/unstrukturierte Daten: Feature Extraktion für Zeitreihen und Kontextfeatures
  • Traditionelles Machine Learning (Bsp: Random Forest) vs Deep Learning (MLP)
  • Code-Beispiel: Raumbelegungserkennung

Tag 6

• Recurrent Neural Network (RNN)
  • Struktur und Typen eines RNNs
  • Vanishing gradient Problem und die RNN-Erweiterungen: LSTM und GRU
  • Code-Beispiel: Anwendung von RNN auf Sequenzdaten
• Praxis von Zeitreihenmodellierung: Die Mischung macht‘s
  • Additives Regressionsmodell mit Facebook’s Prophet
  • Auto-regressives RNN: Amazon’s DeepAR
  • Code-Beispiel: Predictive Maintenance
• Sequence-to-squence (NLP Beispiel)
  • Encoder-Decoder Modelle
  • Einblick in Attention-Modelle, Transformers und BERT
  • Code-Beispiel: Maschinelles Übersetzen Deutsch-Englisch

Modul 4
Deployment & Strategien zur Anwendung im Unternehmenskontext – Web Applikation streamlit für Deployment, exemplarische Anwendungen im Deep Learning, Handlungsempfehlung für den unmittelbaren Einsatz im Unternehmen

Modul 4 fokussiert sich an Tag 1 auf das Deployment der trainierten Algorithmen mit streamlit. Hierbei werden, basierend auf trainierten Modellen des Lehrgangs, diese in eine streamlit Applikation eingebunden. Das Framework streamlit eignet sich zur leichten und schnellen Erstellung von Web Applikationen. Ziel ist es, die Funktionalitäten kennen zu lernen, um eine eigene Webapp erstellen zu können, so dass auch unerfahrene Benutzer Zugang zu den trainierten Netzen und dessen Output haben. Hierbei werden insbesondere die Möglichkeiten der Datenvisualisierung behandelt. 

Am zweiten Tag wird ein Ausblick auf weitere Anwendungsmöglichkeiten im Deep Learning gegeben. Es wird ein spezieller Case des Unsupervised Learning behandelt. Dabei werden mit den Algorithmen UMAP und HDBSCAN ungelabelte Bilder geclustert, um exemplarisch die automatische Sortierung von Bildern zu veranschaulichen. Zudem werden weitere open source Deep Learning Anwendungen mit Code vorgestellt, welche bei Bedarf für die eigene Nutzung übernommen werden können. 

Der Lehrgang schließt mit einer umfassenden Q&A-Session ab, um offene Fragen und Problemstellungen, auch aus Ihrer Praxis, zu diskutieren. Es findet eine Auswertung der Übungsaufgaben und des Lehrgangs statt. Es wird zudem ein Ausblick auf zukünftige Entwicklung gegeben. 

Tag 7

• Rückblick auf Modul 3 und Einführung in Modul 4
  • Besprechung der selbstständig bearbeiteten Vertiefungsübung aus Modul 3
• Webapps mit streamlit
  • Einführung in Streamlit
  • Überblick über Widgets und Funktionalitäten
  • Buttons zur interaktiven Eingabe erzeugen
• Datenvisualisierung mit streamlit 
  • Einlesen von Daten
  • Visuelle Darstellung von Daten
  • Überblick von verschiedenen Plots für ein interaktives Dashboard
  • Bildverarbeitung (Filter, Rotation, Cropping)
• Trainieren neuronaler Netze on the fly 
  • Interaktives Ändern von Parametern im Training und Visualisierung der Effekte 
  • Anwendung: Nutzung trainierter Netze für die Klassifizierung von Bildern 
  • Grenzen von streamlit

Tag 8

• Unsupervised Learning
  • Erläuterung von UMAP und HDBSCAN
  • Anwendung auf das Clustern von ungelabelten Bildern
• Deep Learning Anwendungen mit verschiedenen Datentypen
  • Bekannte Beispiele mit open source code
  • Umsetzung und einführende Erklärung zum selbstständigen Weiterlernen
• Klärung offener Fragen und Feedback
  • Rückblick auf den Zertifikatslehrgang
  • Feedback der Teilnehmenden und der Trainer