Machine Learning Operations (MLOps)

Wer bisher nur wenig mit der Operationalisierung von ML-Projekten zu tun gehabt hat, erhält in diesem Workshop den Überblick und eine praxisorientierte Einführung. Kernthemen sind dabei:

• Versionierung und Verwaltung von Daten, Experimenten und Modellen: Wie kann ich meine Daten und Modelle effektiv verwalten, ohne den Überblick über meine Änderungen zu verlieren?
• Orchestrierung der verschiedenen Teilprozesse einer ML-Pipeline: Wie kann ich effizient meine Daten aufbereiten, mein Modell trainieren und Vorhersagen treffen – und das immer wieder von vorne?
• MLOps-Praktiken für Continuous Delivery: Wie bekomme ich mein Modell in Produktion, und das regelmäßig, automatisch und zuverlässig?

Monitoring produktiver ML-Anwendungen: Funktioniert mein Modell auch in der echten Welt oder muss ich es nachjustieren?
Für die Umsetzung in den Hands-on-Übungen kommen verbreitete Werkzeuge wie dvc, mlflow, dagster, FastAPI und ONNX zum Einsatz. Aber auch weitere populäre Werkzeuge wie beispielsweise Airflow, Kubeflow sowie die Angebote der großen Cloud-Anbieter werden in Bezug auf die Fragestellungen eingeordnet.

Im Seminar werden Ihnen praktische Lösungsstrategien vermittelt, um die Herausforderungen im Bereich des maschinellen Lernens zu bewältigen und die passenden Tools effektiv einzusetzen. Sie werden lernen, wie Sie Lösungen für die verschiedenen Probleme in diesem Umfeld finden und einschätzen können, welche Tools Ihnen dabei helfen können.

TECHNISCHE ANFORDERUNGEN

Docker & Docker-Compose in aktueller Version, optimalerweise mit Admin-Rechten auf dem Rechner.
Docker-Images für den Workshop sowie eine Anleitung zur (kurzen) Einrichtung werden rechtzeitig vor dem Workshop bereitgestellt. Die Einrichtung sollte vor dem Workshop durchgeführt werden.

Das Seminar ist konzipiert für Teilnehmende, die sich bereits mit Data Science beschäftigt haben und nach Impulsen für eine effektivere Projektarbeit suchen. Python-Kenntnisse werden vorausgesetzt, sind aber nicht essentiell.

Mittwoch, 20. und Donnerstag, 21. November 2024
jeweils von 9.00 bis 16.30 Uhr, inkl. Pausen

MLOps - Warum überhaupt?

• Rollenverteilungen und Erwartungen in Data-Science-Projekten
• Abgrenzung zu DevOps

Datenversionierung

• Grundlagen und Vorteile von Code- und Datenversionierung
• Einführung in DVC
• Übung: Datenversionierung mit DVC
• Übung: Experiment Tracking mit DVC

Data Pipeline Orchestration

• Grundlagen und Vorteile von Datenpipelines
•  Einführung in Dagster
• Übung: Asset Jobs mit Dagster
• Übung: Op Jobs mit Dagster

Experiment Tracking

• Grundlagen und Vorteile von Experiment Tracking
• Experiment Tracking mit MLFlow
• Übung: Experiment Tracking mit MLFlow
• Übung: Model Management mit MLFlow

Continuous Integration und Deployment für Machine Learning

• Einführung in CI/CD, Abgrenzung von CI/CD für Code
• Was können wir alles testen?
• Varianten von CI/CD für ML-Produkte
• Showcase: Github Actions und CML

Deployment und Serving

• Grundlagen von ML Deployments
• Unterscheidung Batch Inferenz zu Live Inferenz
• Deployments on-premises oder in der Cloud
• Datenvorverarbeitung im Deployment
• Einführung in Open Neural Network Exchange (ONNX)
• Übung: FastAPI und ONNX

Monitoring

• Einführung und Vorteile von Monitoring
• Showcase: Monitoring mit evidently.ai

Exkurs: Besonderheiten von großen Sprachmodellen

• Unterschiede von self-hosted zu managed Large Language Models
• Skalierbarkeit und Performance-Optimierung
• Showcase: companyGPT

Zusammenfassung und Nächste Schritte