← Alle Projekte

Vorausschauende Instandhaltung aus zwölf Beobachtungen (M.Sc.-Projektarbeit)

Projektarbeit im Fach Deep Learning, die die Restnutzungsdauer eines Motors aus Temperaturwerten vorhersagt, mit gruppierter Kreuzvalidierung gegen Data Leakage. Das klare Ergebnis ist, dass ein lineares Modell mit vier Parametern so gut war wie das neuronale Netz.

  • Python
  • TensorFlow
  • Keras
  • scikit-learn
  • NumPy
  • pandas
  • SciPy
  • Jupyter

Kurz gefasst

  • Aufgabe: die Restnutzungsdauer eines Motors, also seine verbleibenden Betriebsstunden, aus den Temperaturen seiner drei Segmente vorhersagen, in einem fiktiven Szenario aus der Lehrveranstaltung
  • Herausforderung: nur zwölf Beobachtungen, bestehend aus sechs Mustern, die je zweimal gemessen wurden. Ein Modell kann deshalb schon genau wirken, nur weil es ein Muster wiedererkennt, das es bereits gesehen hat.
  • Ergebnis: Mit einer Validierung, die Data Leakage verhindert, war das beste neuronale Netz auf etwa vier Betriebsstunden genau, gleichauf mit einer linearen Regression mit vier Parametern. Modelle, die auf den Rohbildern trainiert wurden, schnitten bei unbekannten Mustern deutlich schlechter ab.

Die Daten

Die benotete Projektarbeit der Lehrveranstaltung Machine Learning & Deep Learning in meinem M.Sc.-Studium. Der Datensatz ist ein einziges Bild mit zwölf Motoren, deren Segmente jeweils nach Temperatur eingefärbt und mit der verbleibenden Stundenzahl von 3 bis 100 beschriftet sind. Die Temperaturen werden per Code aus dem Bild gelesen statt von Hand abgetippt: Jedes Segment wird lokalisiert und seine Farbe in einem wahrnehmungsgerechten Farbraum mit der Kalibrierskala abgeglichen, und die extrahierten Werte wurden gegen eine unabhängig abgelesene Referenz geprüft.

Zuerst die Bewertung

  • Gruppierte Kreuzvalidierung: Jeder Fold hält ein Muster zurück, sodass beide Messungen davon immer gemeinsam getestet werden. Eine zufällige Aufteilung würde in etwa drei von vier Fällen den Zwilling jedes Testmotors in den Trainingsdaten lassen, und das ist nichts anderes als Data Leakage.
  • Keine Abkürzung über Kennungen: Die Zeilen- und Muster-IDs korrelieren fast perfekt mit dem Zielwert, deshalb erreichen nur Temperaturmerkmale überhaupt ein Modell.
  • Eine Rauschuntergrenze: Die beiden Messungen eines Musters haben identische Eingaben, aber leicht unterschiedliche Labels, deshalb kann kein Modell im Mittel näher als 1,25 Stunden herankommen. Jedes Ergebnis wird an dieser Untergrenze gemessen.
  • Eine Obergrenze für manche Modellfamilien: Wird ein Randmuster zurückgehalten, liegt sein Label jenseits aller Trainingslabels. Nearest-Neighbour-Modelle, Entscheidungsbäume und Netze mit beschränkten Ausgaben können nicht über diesen Bereich hinaus vorhersagen, was sie schon vor dem Training deckelt.

Modelle

  • Netz für Tabellendaten: aus dieser Obergrenze heraus entworfen statt aus Gewohnheit. Ein kleines Netz mit beschränkten Aktivierungen kann allein nicht extrapolieren, deshalb läuft es neben einem linearen Zweig, mit starker Regularisierung auf dem nichtlinearen Teil. Es hat vierundvierzig Parameter, bewusst wenige für zwölf Beobachtungen.
  • Bildmodelle: ein Convolutional Network, direkt auf den Motorbildern trainiert, und Transfer Learning von einem eingefrorenen vortrainierten Netz, um zu prüfen, ob gelernte Merkmale die extrahierten Temperaturen ersetzen können.
  • Baselines: Mittelwertvorhersage, lineare und Ridge-Regression, nächste Nachbarn und ein Entscheidungsbaum, alle über ein gemeinsames Bewertungsmodul ausgewertet, damit kein Notebook eine andere Aufteilung verwenden konnte.

Ergebnisse

Wer für jeden Motor den Durchschnitt vorhersagt, liegt um etwa 35 Stunden daneben. Das beste Netz lag um etwa vier daneben, gleichauf mit der linearen Regression mit vier Parametern: Der Abstand zwischen beiden war kleiner als die Schwankung des Netzes über verschiedene Zufalls-Seeds. Die Regularisierung, die das Netz gut machte, war genau die, die seinen nichtlinearen Zweig abschaltete. Auf diesen Daten reicht also ein lineares Modell.

Das Convolutional Network kam nahe an die tabellarischen Modelle heran, wenn der Zwilling eines Musters in den Trainingsdaten lag, und war um ein Mehrfaches schlechter, wenn das Muster wirklich unbekannt war; weder mehr Kapazität noch Transfer Learning schlossen diese Lücke. Die Bildmodelle überschätzten zudem kurze Restnutzungsdauern, und das ist für eine Wartungsentscheidung die gefährliche Richtung.

Reproduzierbarkeit

  • Seeds und deterministische Operationen werden an einer Stelle gesetzt, und zwei Läufe liefern identische Vorhersagen. Ein Lauf mit anderem Seed muss abweichen und tut es auch, sodass die Prüfung fehlschlagen kann.
  • Das letzte Notebook baut vier Modelle von Grund auf neu und reproduziert die gespeicherten Ergebnisse exakt.

Grenzen

Zwölf Beobachtungen von sechs Mustern sind keine Grundlage für ein echtes Wartungssystem. Jedes zurückgehaltene Muster liegt jenseits des Bereichs, den die Trainingsdaten abdecken, deshalb misst jede berichtete Zahl eine Extrapolation. Das Szenario ist fiktiv: Es zeigt ein Bewertungsverfahren, kein Modell, dem man einen echten Motor anvertrauen sollte.