Dieser Beitrag wurde gemeinsam mit Khaled Thabit, Meriem Boughrara und Mohamed Desouky von Property Finder verfasst.
Das IngenieurtEAM von Property Finder, einer digitalen Immobilienanwendung, stellte fest, dass 96,8 Prozent der Bewertungsetiketten direkt aus den Vorhersagen eines einzelnen Modells übernommen worden waren und nicht von menschlichen Experten überprüft wurden. Die wahre Situation wurde systematisch zu Gunsten des bestehenden Modells verzerrt, sodass alle Alternativen als unterlegene erscheinen. Die Etiketten enthielten auch Fehler, aber der Voreingenommenheit war es, die eine objektive Vergleichung der Modelle verhinderte. Sie erkannten dies, als sie ihre Vision-AI-Arbeitslast auf eine kosteneffizientere Lösung in Amazon Bedrock umstellen wollten.
Der Property Finder verarbeitet täglich Zehntausende von Immobilienbildern im Nahen Osten und Nordafrika (MENA). Ihr System bewertet 11 Qualitätsmerkmale pro Bild. Dazu gehören die Wassermarkierung erkennen, die Raumklassifizierung, der Zustand der Möbel, die Bildqualität und Bauindikatoren. Das entspricht Tausenden neuer Immobilienanzeigen, von denen jede durchschnittlich 15 Bilder enthält. Alle benötigen eine Qualitätsbewertung, bevor sie online veröffentlicht werden.
Der Property Finder benötigte eine kosteneffizientere Lösung. Doch im Vergleich zu diesen Etiketten war jede Alternative benachteiligt.
Der schwierigste Teil war, ein besseres Modell zu finden. Es wurde dabei erkannt, dass die eigentliche Bewertungsmethode des Unternehmens der Hindernis war.
In diesem Artikel teilen wir mit, wie Property Finder die Bewertungsbias identifizierte, eine unvoreingenommene Grundwahrheit aufbaute und durch evolutionäre Prompt-Optimierung den richtigen Modelltyp auf Amazon Bedrock auswählte, wodurch eine höhere Genauigkeit bei 86 Prozent geringeren Kosten erreicht wurde. Wir erläutern die Methodik und Beispiele für Iterationen, mit Lektionen, die Sie auf Ihre eigenen Arbeitslasten anwenden können.
Die folgende Abbildung zeigt den Optimierungszyklus des Prompts, den Property Finder und das Team des AWS Generative AI Innovation Center zur iterativen Verbesserung der Klassifizierungsgenauigkeit auf Amazon Bedrock verwendeten.
Abbildung 1: Architektur des Prompt-Optimierung-Schleifen
Das Diagramm zeigt den iterativen Prompt-Optimierungsschleifen. Eine Eigenschaftbild wird von Amazon Bedrock verarbeitet, welches die vorhergesagten Attribute in JSON-Format ausgibt. Während der Optimierung werden diese Vorhersagen mit Micro F1 gegen das von Experten annotierte Entwicklungsset mit 256 Bildern bewertet. Die Fehleranalyse untersucht anschließend fehlgeschlagene Bilder und identifiziert visuelle Muster, die für die nächste Prompt-Version berücksichtigt werden. Der Loop lief von v0 bis v27. AI-Assistenten halfen dabei, die Anweisungen zu verbessern, und die späteren Versionen nutzten automatische Optimierung.
Ihre Bewertung könnte falsch sein
Viele Teams stoßen auf dieses Szenario. Wenn man Vision-Modelle vergleichen will, baut man ein Bewertungsdatenset auf. Die häufigste Methode, Labels zu erhalten, ist es, das aktuelle Modell zu nutzen und deren Ausgaben als Grundwahrheiten zu betrachten. Das Modell läuft bereits in der Produktion und niemand hat Beschwerden geäußert – daher müssen die Labels ausreichend gut sein.
Aber das führt zu einer Kreislaufbewertung, bei der jede Alternative nach dem Grad ihrer Übereinstimmung mit dem Verhalten des Amtsinhabers beurteilt wird, nicht nach der tatsächlichen Richtigkeit.
Das Evaluationsdatenset von Property Finder hatte genau dieses Problem. Von ihren gesetzten Beispielen stammten 96,8 Prozent direkt aus den Vorhersagen des bestehenden Vision-Linguamodells (VLM), anstatt von unabhängiger menschlicher Überprüfung. Jedes alternative Modell war strukturell benachteiligt, bevor ein einzelnes Bild überhaupt verarbeitet wurde.
Bestätigt wurden die Schwere der versteckten Fehler. Bei der Extraktion des Watermarktexts gab es Charakterseitige Fehler, die als korrekt markiert wurden, einschließlich halluzinierten Markennamen und fehlender Zeichen. Die Bildklassifizierung zwang dazu, dass auf Bilder mit mehreren Raumtypen einzige Etiketten angewendet wurden.
Im restlichen 3,2 Prozent der menschlich markierten Beispiele haben die Annotatoren Kategorien hinzugefügt, die nicht in der ursprünglichen Spezifikation vorhanden waren – beispielsweise erschien Office, wo es in dem Prompt keine solche Beschreibung gab. Eine Vergleichstestung eines Modells verliert ihre Gültigkeit, wenn das Antwortwortbuch vom Modell erstellt wurde, das man ersetzen will.
Baugrundwahrheit, auf die man vertrauen kann
Um den Kreislauf zu durchbrechen, benötigen Sie menschliche Experten mit echtem Fachwissen, die unabhängig frische Anmerkungen machen. Keine Referenz auf die Ausgaben des vorherigen Modells. Kein Zugang zu dem, was das aktuelle System vorhergesagt hat.
Datenbankumfang
Die Teammitglieder von Property Finder haben 356 Bilder aus den Vereinigten Arabischen Emiraten sowie eine separate Sammlung von Bildern aus Ägypten handgezeichnet. Das Team wählte diese Bilder aus unbeschrifteten Produktverzeichnissen in repräsentativen Industriebereichen aus. Dieser Artikel berichtet über die Ergebnisse bezüglich der Bilder aus den Vereinigten Arabischen Emiraten. Die Bilder aus Ägypten wurden als Überprüfung für 230 Bilder in verschiedenen Regionen verwendet und werden hier nicht berichtet. Die ersten 256 Bilder aus den Vereinigten Arabischen Emiraten bildeten die Entwicklungsbasis für die Annotierung. Das Bewertungsset für den Endmodellvergleich umfasst alle 356 Bilder, dazu kommen 100 Bilder, die nach der Entwicklungsphase annotiert wurden. Eine Gruppe von 356 Bildern ist etwa ausreichend, um moderate Unterschiede zwischen den Modellen zu erkennen. Für einzelne Attribute gibt es seltene Klassen mit weniger Beispielen, sodass kleinere Unterschiede in diesen Attributen möglicherweise nicht erkennbar sind.
Expertenanmerkung
Ein Strategie- und Analysenexperte annotierte alle Bilder. Sie verfügten über spezialisierte Kenntnisse bezüglich der Qualitätsstandards für Immobilienlistungen. Das Team des AWS Generative AI Innovation Center führte systematische Qualitätsprüfungen durch, die mit speziellen Klärungssitzungen durchgeführt wurden. Diese Prüfungen lösten unklare Fälle und sorgten dafür, dass die Beschriftung im gesamten Datensatz konsistent blieb.
Mehrfachlabel-Übergang
Eigentumsimmergemälde zeigen häufig mehrere Räume durch Türöffnungen oder zeigen überlappende Qualitätsmerkmale. Der Wechsel von einer einzelnen Beschreibung zu einer mehrfachen Beschreibung reduzierte eine wichtige Quelle künstlicher Unklarheit.
Ein Flurfoto, das ein Schlafzimmer durch eine Türöffnung zeigt, ist tatsächlich beides. Nachdem Sie mehrere Beschreibungen zulassen, misst man, welche Erkenntnisse der Modell die richtig machen, anstatt ihn für vernünftige sekundäre Vorhersagen zu bestrafen.
Eine hybrische Vorgehensweise könnte diese Methode ergänzen: Modelle aus verschiedenen Familien zeigen kandidierte Labele und Unstimmigkeiten auf, und menschliche Experten entscheiden über jeden Fall, sodass die Modelausgabe nicht direkt als Label verwendet wird. Dies würde die Annotierungsbelastung für die zukünftige Erweiterung des Datensatzes reduzieren.
Metrikauswahl
Micro F1 diente als Hauptmetrik, da sie jede Vorhersage gleichwertig bewertet, was dem Geschäftsziel der Gesamtheitlich korrekten Beschreibung entspricht. Macro F1 wurde ebenfalls berichtet, da Micro F1 von häufigen Klassen dominiert wird und das schwache Leistungsniveau bei seltenen Attributen verbergen kann. Die Per-Label-Präzision und Recall halfen dabei, spezifische Fehlermuster zu identifizieren. Der Per-Sample-Intersection-über-Union-IoU misst, wie eng die vorhergesehenen Beschreibungen jedes Bilds den Beschreibungen der Experten übereinstimmten. Die neun einzelnen Attribute wie Rotation oder Watermarkerkennung haben jeweils eine richtige Antwort pro Bild. Das AWS-Team hat sie außerdem mit einer exakten Genauigkeit bewertet, also mit der Anzahl der Bilder, bei denen die Antwort dem Expertenattribut entspricht.
Optimierung des Prompts als Reinforcement Learning
Mit einer unvoreingenommenen Bewertung kann man mit der Verbesserung beginnen. Man kann nichts verbessern, was nicht richtig gemessen werden kann.
Die Optimierung folgt einem Loop, der dem Reinforcement-Learning ähnelt. Jede Prompt-Variante wird als Agent betrachtet, der Micro F1-Score als Belohnungssignal und die Fehleranalyse als Gradient für Verbesserungen. Die Idee ähnelt GEPA (Genetic-Pareto reflective prompt evolution), bei der die Komponenten des Prompts mutiert werden, die Fitness bewertet wird, die Überlebenden ausgewählt werden und wiederholt wird. In dieser Prozessweise hat das AWS-Team die meisten Versionen durch Fehleranalyse verbessert, wobei AI-Assistenten fehlgeschlagene Bilder überprüfen und Änderungen vorschlagen.
MIPROv2, ein automatisiertes Prompt-Optimierungssystem aus der DSPy-Bibliothek, ergänzte diesen manuellen Prozess für die Fotoklassifizierungsaufgabe in v27.
Wo es angefangen hat
Der erste Prompt (v0) verwendete generische Klassifizierungsanweisungen, die hier zur Veranschaulichung vereinfacht wurden:
Klassifizieren Sie dieses Bild in eine der folgenden Kategorien: Wohnzimmer, Küche, Schlafzimmer, Badezimmer…
Das proprietäre Modell A, das Produktionsstandard von Property Finder, erzielte auf der 256-Bild-Entwicklungseinheit eine Micro F1-Wertung von 0,55. Es wurde die Version v22 verwendet, eine Anleitung, die für die Modelfamilie optimiert wurde. Die Werte vor v21 basierten auf der früheren einzelnen-Label-Setup und sind nicht direkt vergleichbar.
Schritt für Schritt
Das AWS-Team testete frühe Versionen an mehreren Kandidatenmodellen und fügte eine strukturierte Ausgabenformierung sowie Definitionen für Attribute hinzu.
Die am besten lehrreiche Lösung kam aus der Analyse von Fehlern auf Bildebene. In den frühen Einzellabel-Versionen klassifizierte das Modell konsequent die durch Türen sichtbaren Räume als sekundäre Raumtypen. Das Team des AWS Generative AI Innovation Center fügte explizite Anweisungen hinzu, um sie nach dem Raum zu klassifizieren, der den größten Teil des Rahmens ausmacht. Die spätere Wende zu mehrteiligen Labels ließ den Hauptraum weiterhin als Label erhalten und ermöglichte es, die durch Türen sichtbaren Räume als zusätzliche Labels zu verwenden.
Die regionale Anpassung führte zum nächsten Vorteil. In einigen Regionen enthalten die Fotolisten dekorative arabische Textüberlagerungen, die keine Watermark sind. Die Regeln für diesen Text beseitigten eine ganze Kategorie falscher Ergebnisse.
Der v21-Prompt änderte die Bildklassifizierung und die Raumkategorie in eine mehrlabelige Ausgabe und wurde zum gemeinsamen Startprompt für alle Modelle. Mit ihm erreichte Llama 4 Maverick 17B Instruct von Meta einen Micro F1-Wert von 0,75 auf der Entwicklungsmenge. Daraufhin passte das AWS-Team den Prompt jedes Modells separat an. Für dieses Modell zielte v24 auf eine Überschätzung des Raumgrößen, die Behandlung mehrerer Labels und das Ausgabeformat ab. Dann kam v25, eine automatisch optimierte Version, und konzentrierte sich zunächst auf die wichtigen Aufgaben. Im v27 passte MIPROv2 die Aufgabe der Bildklassifizierung neu, und der Micro F1-Wert des Modells bei dieser Aufgabe erreichte 0,76.
Wo es endete
Der finale Prompt, v27_PF, enthält die v27-plus-Regeln, die Property Finder für Renderungen, Bilder mit Randen oder Rahmen sowie Korridore hinzugefügt hat. Wie v27 behält er auch hier die arabischen Textregeln und die Anleitungen zum Ausgabeformat bei. Ein Normalisierungsschritt nach jedem Modellaufruf kümmert sich um die verbleibenden Formatunterschiede.
Mit v27_PF erreichte das Llama 4 Maverick 17B Instruct in der 356-Bild-Evaluationsmenge eine Micro F1 von 0,80, während das proprietäre Modell A mit v22 0,56 erreichte. Die Evaluationsmenge umfasst die 256 Entwicklungsbilder, und die Prompts beider Modelle wurden auf diesen Bildern angepasst. Daher sind diese Ergebnisse optimistisch.
Der Wechsel vom proprietären Modell A auf Llama 4 Maverick 17B Instruct, jeweils mit einem separaten angepassten Prompt, erhöhte den Micro F1-Wert auf der Entwicklungsmenge von 0,55 auf 0,81. Das ist ein relativer Zuwachs von 47 Prozent. Allein die Anpassung des Prompts auf Llama 4 Maverick 17B Instruct erhöhte ihn mit dem gemeinsamen v21-Prompt von 0,75 auf 0,81 mit v27.
Lernfelder aus gescheiterten Ansätzen
Nicht alles ist gelungen. Der 2-bucket Ansatz brachte die Watermark-Attribute und die anderen Attribute in zwei separaten API-Anfragen. Dies führte zu keiner bedeutenden Genauigkeitssteigerung. Die Erkennung von Boxed-Bildern sank ebenfalls stark. Ohne die Watermark-Attribute im selben Prompt erkannten die Modelle die Watermark-Überlagerungen als Bildränder.
Die generischen Anweisungen haben auch ohne die Verwendung des jeweiligen Modells versagt. Immobilienbilder weisen zu viel spezifische Domäne auf, um eine allgemeine Anleitung zu erhalten.
Ergebnisse: Kosten, Genauigkeit und Geschwindigkeit
Das Team des AWS Generative AI Innovation Center bewertete mehrere Modelle auf Amazon Bedrock mit einem unvoreingenommenen Bewertungsrahmen. Alle Modelle begannen mit dem gemeinsamen Prompt v21 und wurden anschließend für ihre Modellfamilie im Entwicklungsdatensatz angepasst. Das proprietäre Modell A erhielt eine Anpassungssitzung v22. Llama 4 Maverick 17B Instruct erhielt mehrere Anpassungen von v24 bis v27, zusätzlich zu den Edge-Case-Regeln von Property Finder, weshalb es mehr Anpassungsaufwand benötigte. Die endgültige Vergleichung gegen das proprietäre Modell A wurde mit der 356-Bildbewertungsmenge durchgeführt. Property Finder wählte Llama 4 Maverick 17B Instruct für die Produktionslasten aufgrund der Genauigkeit aller 11 Attribute und der Kosteneffizienz. Für die Verfügbarkeit der Modelle nach Region siehe Unterstützte Modelle nach AWS-Region in Amazon Bedrock.
Die folgende Tabelle zeigt die exakte Übereinstimmungsrate von Llama 4 Maverick 17B Instruct (v27_PF) für jeden einzelnen Attribut, der in der 356-Bild-Evaluationsmenge bewertet wurde. Sie erreichte 90 Prozent oder mehr bei sechs der neun Attribute und übertraf alle 11 Attribute das proprietäre Modell A. Bei der Bildklassifizierung, bei der jeweils mehrere Labels pro Bild möglich sind, erzielten beide Modelle die gleiche Ergebnis.
| Attribut | Genauigkeit bei exaktem Ersatz |
| Rotation erkennung | 100% |
| Personenerkennung | 97% |
| Kastenbild-Detektion | 97% |
| Wasserzeichenerkennung | 94% |
| Render-Detektion | 93% |
| Ausgestatteter Zustand | 91% |
| Raum in Bau | 81% |
| Raumgröße | 65% |
| Extraktion des Wassermarke-Textes | 55% |
Kosten pro 1.000 Bilder
Der Property Finder erfasst tausende von Bildern pro Tag, daher ist der Kosten pro Bild wichtig. Das Llama 4 Maverick 17B Instruct ist ein kosteneffizientes offenes Gewicht-Modell, und der Pipeline erhält alle Attribute eines Bilds in einer einzigen Anfrage.
| Ergebnis | Wert |
| geschätzter Kostenaufwand pro 1.000 Bilder | $2.35 |
| Kostensenkung im Vergleich zur vorherigen Einrichtung von Property Finder | 86% |
Diese Zahlen sind Schätzungen für Dezember 2025 in der US-East-Region (Ohio). Die Angabe für das Llama 4 Maverick 17B Instruct-System setzt voraus, dass pro Bild 9.000 Eingabetoken und 200 Ausgabetoken verwendet werden, basierend auf der ursprünglichen Kostenanalyse mit zwei Anrufen pro Bild. Ein einziger Anruf mit dem Produktionsprompt enthält etwa 7.500–8.000 Eingabetoken, daher handelt es sich dabei um eine obere Schätzung. Der Wert von 86 Prozent vergleicht die Kostenangabe der Kostenanalyse für die vorherige Konfiguration von Property Finder, die den v21-Prompt verwendete. Die Genauigkeitsvergleiche nutzten v22, das von v21 angepasst wurde, sodass die Kosten möglicherweise unterschiedlich sein könnten. Für die aktuellen Preise siehe Amazon Bedrock-Preise.
Inferenzgeschwindigkeit
Der Property Finder führt diesen optimierten Prozess im Produktionsbetrieb durch, wobei tausende von Bildern täglich mit Llama 4 Maverick 17B Instruct auf Amazon Bedrock verarbeitet werden. Bei der eigenen Überwachung hat der Property Finder eine Reduzierung der Inferenzlatenz um 40–60 Prozent gegenüber dem vorherigen Setup festgestellt.
Anwenden Sie dies auf Ihre Arbeitslasten
Beginnen Sie damit, die Evaluationsbeschreibungen zu überprüfen. Wenn sie aus den Vorhersagen des Modells stammen und nicht von menschlichen Experten, dann haben Sie das gleiche Bias-Problem, das Property Finder festgestellt hat.
Erstellen Sie eine Grundwahrheit für Domain-Experten für einige hundert repräsentative Beispiele und halten Sie eine separate Test-Spalte bereit, die Sie nie zur Justierung verwenden. Verwenden Sie multi-label-Metriken, wenn Ihre Klassifizierungsaufgabe überlappende Attribute umfasst. Iterieren Sie anschließend mit Prompts durch Analyse von Bildfehlern, wobei jede Iteration als eine Generation in einem evolutionären Optimierungsschleife betrachtet wird.
Wenn Sie einen solchen Pipeline einrichten, fügen Sie verantwortungsvolle AI-Steuerungen hinzu. Beispielsweise können Sie Amazon Bedrock Guardrails verwenden, um Inhaltsrichtlinien durchzusetzen und unangemessene Modellausgaben zu filtern. Die Attributevorhersagen in dieser Pipeline kommen ohne kalibrierte Zuverlässigkeitsbewertung, daher verwenden Sie ein praktisches Signal, um Bilder für menschliche Überprüfung auszuwählen. Modelunstimmigkeit ist ein solches Signal. Wenn zwei Modelle unterschiedliche Antworten zu einem Attribut geben, ist das Bild oft mehrdeutig. Die Verwendung eines zweiten Modells auf jedem Bild erhöht die Kosten, daher können Sie mit einer Probe beginnen. Überprüfen Sie, wie oft das Signal echte Fehler im Entwicklungsdatensatz erkennt, bevor Sie darauf vertrauen.
Schlussfolgerung
In diesem Beitrag haben wir erklärt, wie Property Finder die Bewertungsbias identifiziert, eine unvoreingenommene Grundwahrheit aufbaut und durch evolutionäre Prompt-Optimierung eine bessere Genauigkeit bei geringerem Aufwand durch Model Selektion auf Amazon Bedrock erreicht.
Drei Elemente müssen zusammenkommen, um dieses Ergebnis zu erzielen: eine unvoreingenommene Bewertung, um ehrlich zu messen, Flexibilität bei der Bewertung und beim Wechsel zwischen verschiedenen Modellfamilien ohne Neubewertung, sowie sorgfältig entwickelte Anweisungen, die auf den jeweiligen Bereich zugeschnitten sind. Amazon Bedrock bot die Grundlage. Es gab dem Property Finder Zugang zu mehreren Modellfamilien über eine einzige API, erwarb die AWS-Verwaltungs- und Sicherheitsmaßnahmen sowie die Möglichkeit, neue Modelle, sobald sie verfügbar sind, ohne ihre Infrastruktur zu ändern, zu adoptieren.
Um mit der Bewertung und Auswahl von Modellen auf Amazon Bedrock zu beginnen, besuchen Sie die Amazon Bedrock-Dokumentation. Wenn Sie Vision-Arbeitslasten in großem Maßstab verarbeiten und Unterstützung bei der Erstellung eines unvoreingenommenen Bewertungsrahmens benötigen, wenden Sie sich an das AWS Generative AI Innovation Center.
Teilen Sie Ihre Erfahrungen mit der Bewertung von Modellen und der Optimierung von Prompts in den Kommentaren.
Danksagungen
Zu den weiteren Mitwirkenden von AWS gehören Yousuf Albannai, Amine Sehili, Thomas Ounnas, Aris Tsakpinis, Rafik Soliman, Nikhil Ulhas Pandit und Sneh Sharma.