Brusttumoren klassifizieren: kostensensitive Schwellenwahl

Die Einordnung von Tumorgewebe stützt sich auf quantitative Zellmerkmale, die einzeln mehrdeutig sind und erst in Kombination aussagekräftig werden. Das ist eine Aufgabe für überwachte Lernverfahren – aber eine, bei der die reine Trefferquote in die Irre führt.

Denn die beiden möglichen Fehler sind nicht gleich viel wert. Einen gutartigen Befund fälschlich als bösartig einzuordnen, verursacht eine unnötige Nachuntersuchung. Einen bösartigen Befund fälschlich als gutartig einzuordnen, kann eine Behandlung verzögern. Ein Modell, das beide Fehler gleich behandelt, ist in diesem Kontext nicht brauchbar, egal wie hoch seine Genauigkeit ist.

Zwei Datensätze des Krankenhauses Wisconsin mit 570 und 700 Fällen.

Datensatz 1 – Merkmale auf Zellebene. Je Aufnahme wurden zehn Zellmerkmale erfasst, jeweils als Mittelwert, Standardfehler und als „worst“-Wert, also dem Mittelwert der drei größten Ausprägungen.

Datensatz 2 – Zellattribute und Mitosestadien. Einzelwerte von eins bis zehn je Attribut, ergänzt um das Mitosestadium.

Beide Datensätze lagen als numerische Merkmale vor; Bildverarbeitung war nicht Teil des Projekts.

Herausforderung: In beiden Datensätzen war die Verteilung zwischen gutartigen und bösartigen Fällen ungleich. Bei ungleicher Klassenverteilung wirkt Genauigkeit als Kennzahl schmeichelhaft – ein Modell, das schlicht immer die häufigere Klasse vorhersagt, erreicht bereits hohe Werte. Das war der Grund, die Auswertung nicht bei der Genauigkeit zu belassen.

Zwei überwachte Verfahren im direkten Vergleich. Da die Zielklassen bekannt waren, kamen Random Forest und logistische Regression zum Einsatz: das eine leistungsfähig bei nichtlinearen Zusammenhängen, das andere transparent und gut interpretierbar. Die Genauigkeit diente als gemeinsame Vergleichsgröße zwischen beiden.

Merkmalsbedeutung auswerten. Über den Random Forest haben wir für beide Datensätze bestimmt, welche Variablen die Vorhersage tragen.

Entscheidungsschwelle kostensensitiv setzen. Die Konfusionsmatrizen wurden auf Basis eines optimierten F1-Scores gespeichert. Die Schwelle, ab der eine Vorhersage als positiv gilt, haben wir auf 0,475 und 0,25 gesetzt – deutlich unter dem Standardwert von 0,5. Damit ordnet das Modell im Zweifel eher als bösartig ein und nimmt Fehlalarme in Kauf, um übersehene bösartige Befunde zu vermeiden.

Umsetzung in Dataiku. Der Ablauf von der Datenaufbereitung bis zum Modellvergleich blieb dokumentiert und reproduzierbar.

Random Forest: 99,7 % und 99,3 % Genauigkeit. Logistische Regression: 99,6 % auf beiden Datensätzen. Bei diesen gut untersuchten Datensätzen sind solche Werte erwartbar – interessanter sind die beiden Befunde aus der Merkmalsanalyse:

• Im ersten Datensatz waren die „worst“-Werte entscheidend, also die Mittelwerte der drei größten Ausprägungen je Merkmal. Nicht der Durchschnitt einer Probe trägt die Vorhersage, sondern ihre Extremwerte – fachlich plausibel, weil die auffälligsten Zellen die Einordnung bestimmen.
• Im zweiten Datensatz spielte das Mitosestadium für die Vorhersage keine Rolle. Ein bemerkenswertes Ergebnis, weil es einem als naheliegend geltenden Merkmal die Relevanz abspricht – und ein Beispiel dafür, warum Merkmalsanalyse in solche Projekte gehört und nicht als Zusatz behandelt wird.

Dazu kommt der Effekt der Schwellenwahl: Weil beide Fehlerarten unterschiedlich schwer wiegen, ist eine Schwelle unterhalb von 0,5 nicht eine Verschlechterung der Kennzahl, sondern eine bewusste Entscheidung zugunsten der klinisch teureren Fehlerart.

Der Aufbau – konkurrierende Modelle, ausgewiesene Merkmalsbedeutung, kostensensitiv gesetzte Entscheidungsschwelle, dokumentierter Ablauf – ist die Arbeitsweise, die wir in Assay-Auswertung, Toxizitätsvorhersage und Kandidatenpriorisierung anwenden. Wo die beiden möglichen Fehler unterschiedlich viel kosten, ist die Schwellenwahl die eigentliche fachliche Entscheidung, nicht die Modellwahl.

Bei tabellarischen Daten dieser Größe ist der Referenzpunkt inzwischen ein anderer: Tabellarische Foundation Models wie TabPFN und seine Nachfolger übertreffen auf Datensätzen bis wenige zehntausend Beobachtungen die klassischen Gradient-Boosting-Verfahren, und wenige hundert bis tausend Fälle im medizinischen Kontext sind ihr Kernsegment. Ein Gradient-Boosting-Baseline behalten wir dennoch als Kontrolle, weil der Prior dieser Modelle bei hohem Anteil fehlender Werte an Genauigkeit und Kalibrierung verliert.

Gestiegen sind vor allem die Sorgfaltsanforderungen: kalibrierte Wahrscheinlichkeiten statt bloßer Klassen, Conformal Prediction für Unsicherheitsintervalle je Einzelfall, SHAP statt der eingebauten Wichtigkeitsmaße eines Random Forest, die bei korrelierten Merkmalen verzerren, Auswertung getrennt nach Subgruppen und Berichterstattung nach TRIPOD+AI. Und die Einordnung von Anfang an: Ein Modell, das diagnostische Entscheidungen stützt, fällt unter IVDR und unter die Hochrisiko-Anforderungen des EU AI Act.