Phase 2: Der Profi-Shaker

Automatisierung des Workflows mit Kubeflow Pipelines.

1.

Notebook → Components: Jupyter-Code in 6 KFP-Komponenten aufteilen.

2.

Component Definition: Klare Interfaces mit `@dsl.component` schaffen.

3.

Pipeline Assembly: Komponenten via Python-DSL orchestrieren.

4.

YAML Generation: Pipeline zu einer nativen Kubernetes-Ressource kompilieren.

5.

Automated Execution: Pipeline im Kubeflow Dashboard ausführen & überwachen.

Automatisierte Pipeline

Datenaufbereitung → Modell-Setup → Rewards → Training → Evaluierung → LoRA-Publishing

Vorteile der Automatisierung

  • Reproduzierbarkeit: Versionierte Komponenten & Container-Isolation.
  • Automatisierung: Git-Trigger & parallele Experimente.
  • Skalierbarkeit: Natives GPU-Management auf Kubernetes.