Bling Food Photo Estimate Benchmark-Protokoll

Was der Benchmark antwortet

Die Einheit ist eine unabhängige Mahlzeit, die anhand eines gefrorenen Bling-Produkts für Verbraucherjournale bewertet wird. Es handelt sich nicht um eine klinische Validierung und kann keine Diagnose, Behandlung, Medikamentendosierung oder individuelle Ernährungsberatung unterstützen.

• Wie weit sind First-Pass-Energie- und Makronährstoffschätzungen von dokumentierten Referenzwerten entfernt?
• Wie oft fallen Schätzungen innerhalb vorab festgelegter Fehlerbereiche?
• Welche Essenskontexte und visuell verborgenen Zutaten sind mit größeren Fehlern verbunden?
• Wie sehr verändert ein strukturierter Benutzerkorrekturschritt den Fehler, ohne dass die Laborgenauigkeit impliziert wird?

Probe und Sammlung

Eine allgemeine Benchmark-Veröffentlichung erfordert einen Logistikpiloten mit 100 Mahlzeiten, gefolgt von mindestens 1.000 unabhängigen Bewertungsmahlzeiten, die nach dem Einfrieren des Produkts und des Protokolls gesammelt werden. Mindestens 200 Bewertungsmahlzeiten verbleiben im bestätigenden Holdout, jeder gemeldete Primärkontext enthält mindestens 50 Mahlzeiten und die Sammlung umfasst mindestens drei Veranstaltungsorte oder Haushaltsquellen über mehrere Menüzyklen hinweg.

Das Wort ist ein Veröffentlichungsschutz und kein Anspruch auf statistische Aussagekraft. Der Pilot wird niemals in die Hauptauswertung einbezogen und die erreichte Genauigkeit des Konfidenzintervalls wird gemeldet.

Entwicklungs-, Pilot- und Evaluierungspartitionen sind nach Restaurant, Mahlzeit, Rezeptherkunft, Restaurant oder Veranstaltungsort und nahezu doppelter Bildgruppe isoliert. Die endgültigen Auswertungsbilder sind neu, nicht öffentlich und können nicht umgehend angepasst werden, bevor das Protokoll und das System eingefroren werden.

Zwei komplementäre Verteilungen

• Eine Stichprobe zur natürlichen Verwendung, die die beobachtete Produktverkehrsverteilung beibehält
• Eine ausgewogene Stressprobe aus den Bereichen Küche, Energie- und Portionsbereiche, Einzelgerichte gegenüber gemischten Gerichten, hausgemachte gegenüber Restaurant- oder abgepackten Lebensmitteln, Getränke, Soßen, versteckte Zutaten, Okklusion, Licht, Winkel, Behälter und kontrastarme Zubereitungen

Vorab deklarierte Essenskontexte

• einzelnes sichtbares Element
• hausgemachtes gemischtes Gericht
• Restaurant oder Essen zum Mitnehmen
• verpackte oder gebrandete Lebensmittel
• Suppe, Getränk oder andere unauffällige Zubereitung

Inklusion

• Eine vollständige Mahlzeit oder ein Lebensmittel, das vor dem Verzehr fotografiert wird
• Eine dokumentierte Referenzmethode und essbare Menge
• Eine eingefrorene Produktversion und ein mit einem Zeitstempel versehenes First-Pass-Ergebnis
• Zustimmungs- und Anonymisierungsstatus werden vor jeder Bildveröffentlichung aufgezeichnet

Ausschluss

• Fehlende Referenzmenge oder nicht überprüfbare Nährwertquelle
• Teilmahlzeiten, es sei denn, der verzehrte Anteil wird gemessen
• Bilder, die Personen oder nicht verwandte persönliche Informationen enthalten
• Post-hoc-Entfernung, weil eine Schätzung schlecht abgeschnitten hat

Wie Referenzwerte aufgebaut werden

Beginnen Sie mit einer tarierten Platte oder einem tarierten Behälter. Erfassen Sie jede Zutat oder jede gesperrte Rezeptzugabe separat, das Waagenmodell, das Kalibrierungsdatum und die Kalibrierungsmasse, die Unsicherheit der Waage, die essbare Gewichtszunahme, das endgültige Nachwiegen, den Zubereitungsstatus, die Rezeptrevision, Reste und entsorgtes Öl oder jede Flüssigkeit.

1. Abgewogene essbare Zutaten plus gemessene Ausbeute an gekochtem Rezept
2. Genaue Nährwertangaben auf der Packung und verzehrtes Portionsgewicht
3. Offizieller Restaurant-Ernährungsnachweis, abgestimmt auf den bestellten Artikel und die bestellte Portion

USDA FoodData Central-Datensätze enthalten die FDC-Kennung, den Datentyp, das Zugriffsdatum und das Veröffentlichungs- oder Aktualisierungsdatum. Es wird eine Quelle ausgewählt, die zur Form und Zubereitung des Lebensmittels passt, nicht nur zum nächstgelegenen Namen.

Die Gesamtnährstoffmengen der Zutaten werden nach dem essbaren Gewicht und dem gemessenen Ertrag des fertigen Rezepts skaliert. Jeder Retentions- oder Ertragsfaktor muss seine Quelle und Version benennen.

Zwei qualifizierte Ernährungsgutachter ordnen unabhängig voneinander die Inhaltsstoffe den Zusammensetzungsaufzeichnungen zu; Ein dritter Gutachter klärt Meinungsverschiedenheiten. Teilmengen mit hohem Öl-, hohem Wasser- und Saucengehalt sowie markenvariablen Teilmengen erhalten eine doppelte Zubereitung oder Laboranalyse, um den Fehler der Referenzmethode zu quantifizieren.

Referenzunsicherheit, Ersetzungen, Reste und nicht verfügbare Werte bleiben explizite Felder; Sie werden nicht stillschweigend in die exakte Wahrheit umgewandelt.

Registrierung und unveränderliches Einfrieren

Registrieren Sie das Protokoll und den statistischen Analyseplan, bevor Sie Bewertungsetiketten freischalten.

Die öffentliche Veröffentlichung muss den Registrierungsdatensatz, den Zeitstempel, den Protokolldatei-Hash, den Image-Manifest-Hash, die Referenzdatenversion, den Produktaufbau, die Modellkonfiguration, die Eingabeaufforderungs-Hashes, die Parser-Version, die primären Ergebnisse, Ränder, Ausschlüsse, Regeln für fehlende Daten, den Untergruppenplan und die Präzisionsanalyse der Stichprobengröße benennen.

Jede Abweichung von der eingefrorenen Registrierung wird aufgezählt, datiert, begründet und aus dem Bestätigungsergebnis herausgehalten, wenn sie das Ergebnis verfälschen könnte.

Foto- und Kostenvoranschlagserfassung

Die primäre Analyse verwendet ein gewöhnliches Verbraucherfoto. Zusätzliche Aufrufe werden separat erfasst und können nicht in das Primärergebnis eingemischt werden.

• Geräteklasse
• Kameraansicht und Entfernungsband
• Lichtverhältnisse
• Teller- oder Behältertyp
• ob eine Skalenreferenz sichtbar ist
• Mahlzeitenkontext und Sichtbarkeit der Zubereitung

Öffentliche Bilder müssen eine ausdrückliche Veröffentlichungserlaubnis haben, dürfen keine personenbezogenen oder nicht verwandten persönlichen Informationen enthalten und entfernbare Metadaten müssen entfernt sein.

Zwei Ergebnisse, nie vermischt

1. Schätzung nur für Fotos im ersten Durchgang
2. Schätzung nach der Überprüfung nach den vorab deklarierten Korrekturaufforderungen

Die strukturierte Überprüfung beschränkt sich auf Lebensmittelidentität, Portion, Speisefett oder Soße, fehlende Beilagen oder Getränke und den Datenbankabgleich. Erstdurchgangs- und korrigierte Ergebnisse bleiben getrennt.

Das primäre Ergebnis ist die erste Reaktion, die über den realen Produktpfad erzeugt wird. Wiederholte Aufrufe werden nur für eine vorregistrierte Teilmenge ausgeführt, um die stochastische Ausgabe und Fehlerkonsistenz zu quantifizieren. Es wird kein Lauf ausgewählt, da er am besten abgeschnitten hat.

Wenn ein kommerzielles Modell nicht an einen unveränderlichen Snapshot angeheftet werden kann, muss im Bericht angegeben werden, dass eine exakte Reproduktion nicht garantiert ist und zeitgestempelte Rohantworten sowie alle verfügbaren Aufrufeinstellungen erhalten bleiben.

Ergebnisse und statistische Analyse

Berichten Sie zweiseitige 95 %-Konfidenzintervalle unter Verwendung von 10.000 Meal-Cluster-Bootstrap-Resamples. Alle Fotos und Kostenvoranschläge einer Mahlzeit bleiben im gleichen Resample.

Veröffentlichen Sie Mittelwert, Median, Interquartilbereich und gegebenenfalls die vollständige empirische Verteilung; Verlassen Sie sich nicht auf einen Durchschnitt.

Prüfen Sie den Fehler anhand der Referenzgröße, bevor Sie feste Bland-Altman-Grenzwerte anwenden. Wenn sich die Varianz wesentlich mit der Energie der Mahlzeit ändert, verwenden Sie ein vorab registriertes Log-Verhältnis oder eine regressionsbasierte Analyse der Grenzwerte der Übereinstimmung.

Jeder System- oder Phasenvergleich verwendet mahlzeitenpaarige Bootstrap-Differenzintervalle. Für Gleichwertigkeit oder Nichtunterlegenheit ist vor dem Öffnen der Etiketten eine eingefrorene Marge erforderlich; ein nichtsignifikanter Unterschied wird niemals als äquivalent bezeichnet.

Die beiden co-primären Ergebnisse werden vor der Analyse angegeben. Bestätigende Sekundär- oder Untergruppenansprüche nutzen ein eingefrorenes hierarchisches oder False-Discovery-Rate-Verfahren; Alle anderen Subgruppenanalysen werden als explorativ bezeichnet.

Schutzmaßnahmen gegen ein schmeichelhaftes Ergebnis

• Erkennungsgenauigkeit wird nicht als Ernährungsgenauigkeit angegeben.
• Fehlende oder fehlgeschlagene Schätzungen gelten als Fehlschläge und werden gesondert gemeldet; sie werden nicht fallen gelassen.
• Makroprozentsatzfehler werden nicht berechnet, wenn der Referenzwert zu nahe bei Null liegt.
• Es wird kein einzelner universeller Genauigkeitsprozentsatz außerhalb der eingefrorenen Probe, Version und Referenzmethode verwendet.
• Korrelation wird nicht als Übereinstimmung oder Genauigkeit behandelt.
• Kein Schwellenwert wird als Branchen- oder Regulierungsstandard beschrieben, es sei denn, eine genannte Behörde definiert ihn tatsächlich.

Gemeldete Schichten

• Mahlzeitkontext
• Sichtbarkeit der Inhaltsstoffe
• Einzelgericht versus gemischtes Gericht
• hausgemacht versus im Restaurant oder verpackt
• Fotozustand
• Küche nur, wenn die Schicht die Veröffentlichungsfläche erreicht
• Region und Preisspanne
• Kamera und Lichtverhältnisse
• Hautton nur, wenn ein an die Hand oder an eine Person angrenzender Ausschnitt mit ausdrücklicher Zustimmung beibehalten wird

Veröffentlichen Sie eine Flusszählung von gesammelten Mahlzeiten zu analysierten Mahlzeiten, alle Ausschlussgründe, nicht verfügbare Schätzungen und fehlende Referenznährstoffe.

Fehlertaxonomie

• Fehler bei der Lebensmittelidentität
• Portions- oder Volumenfehler
• versteckter Öl-, Soßen-, Zucker- oder Zubereitungsfehler
• Fehler bei der Marken- oder Rezeptannahme
• Analysefehler bei Einheit oder strukturierter Ausgabe
• nicht unterstützte Zutatenvervollständigung
• grobe Unter- oder Überschätzung
• unangemessene medizinische oder krankheitsbezogene Beratung
• Datenschutz

11 Tore vor einer Schlagzeile

1. Registrieren Sie das Protokoll, den statistischen Analyseplan, das Beobachtungsschema, die Analysecodeversion und die Inhalts-Hashes öffentlich vorab, bevor Sie Bewertungsetiketten öffnen.
2. Einfrieren des Produktaufbaus, des genauen Modell- oder Lieferanten-Snapshots, der Eingabeaufforderungen, der Bildpipeline, des Parsers, der Region, der Aufrufeinstellungen und der Freigabe der Lebensmittelzusammensetzung; Kombinieren Sie keine wesentlich unterschiedlichen Versionen in einem Schlagzeilenergebnis.
3. Vervollständigen Sie das separate Pilotprojekt, die 1.000-Mahlzeiten-Bewertungsuntergrenze, die 200-Mahlzeiten-Bestätigungsunterbrechung, die Quellenvielfaltsregel und jede gemeldete Stratum-Untergrenze; andernfalls kennzeichnen Sie die Veröffentlichung als reine Pilotversion ohne allgemeinen Benchmark-Anspruch.
4. Vollständig rückverfolgbare Wiege-, Rezeptertrags- und Aufbewahrungsaufzeichnungen, unabhängige Nährwertprüfung mit Beurteilung und quantifizierte Referenzunsicherheit.
5. Erklären Sie jede gesammelte Mahlzeit, jede fehlgeschlagene Schätzung, jeden Ausschluss, jede Korrektur und jeden nicht verfügbaren Nährstoff.
6. Melden Sie Konfidenzintervalle für co-primäre Ergebnisse, Bland-Altman-Bias und Grenzen der Übereinstimmung, grobe Fehler, fehlgeschlagene Ergebnisse sowie vorab festgelegte Stress- und Untergruppenergebnisse.
7. Überprüfen Sie die Partitionsisolation und dokumentieren Sie den Nachweis, dass Bewertungsbilder, Rezeptlinien, Veranstaltungsorte und Beinahe-Duplikate für eine sofortige Optimierung oder Ergebnisauswahl nicht verfügbar waren.
8. Veröffentlichen Sie anonymisierte Daten auf Zeilenebene, sofern die Einwilligung dies zulässt, das Datenwörterbuch, den Analysecode, Prüfsummen und ein versioniertes Änderungsprotokoll.
9. Vollständige Einwilligung, EXIF- und GPS-Entfernung, Überprüfung von Personen und sensiblen Hintergründen, Aufbewahrungs- und Löschkontrollen, Zugriffsüberprüfung und Überprüfung der Datennutzung durch Modelllieferanten.
10. Veröffentlichen Sie einen Golden Sentinel-Satz, ändern Sie Auslöser, Überwachungsrhythmen, Alarmschwellenwerte und die Bedingungen, die einen Genauigkeitsanspruch pausieren oder zurückziehen.
11. Behalten Sie Schlussfolgerungen im Verbraucherjournal bei, benennen Sie Fehlermöglichkeiten und lehnen Sie klinische, universelle oder kausal unbegründete Behauptungen ab.

Maschinenlesbares Protokoll

Die menschenlesbare Seite und die maschinenlesbaren Dateien stammen aus derselben versionierten Quelle. Ein zukünftiger Datensatz erhält erst dann ein Datensatz-Markup, wenn tatsächlich Daten auf Zeilenebene und herunterladbare Verteilungen vorhanden sind.

• Protokoll JSON
• Beobachtungs-JSON-Schema
• BibTeX-Zitat

Es werden Standards verwendet – und nicht beansprucht

GRRAS- und Bland-Altman-Berichte bilden das direkte Rückgrat der Vereinbarungsstudie. TRIPOD-LLM und ausgewählte TRIPOD+AI-Transparenzelemente steuern Modell-, Eingabeaufforderungs-, Daten-, Konfidenzintervall-, Untergruppen-, Fehler- und Open-Science-Berichte. NIST AI RMF und sein generatives AI-Profil regeln Versions-, Lieferanten-, Datenschutz-, Abweichungs-, Vorfall- und Außerbetriebnahmekontrollen. USDA FoodData Central und Nutrition5k informieren über die Herkunft und den Erwerb von Referenzen.

Dies ist keine Studie zur diagnostischen Genauigkeit, keine klinische Vorhersagemodellstudie, keine randomisierte Intervention oder klinische Entscheidungsunterstützungsbewertung. Es wird daher kein Anspruch auf STARD-AI-, TRIPOD+AI-, CONSORT-AI-, SPIRIT-AI- oder DECIDE-AI-Konformität erhoben.

Quellenbuch

Standards und Referenzmethoden

1. Richtlinien für Reporting Reliability and Agreement Studies (GRRAS)Journal of Clinical Epidemiology / EQUATOR-Netzwerk
2. Bland-Altman-Methoden zur Vereinbarungsanalyse: eine Überprüfung der BerichtsstandardsInternational Journal of Nursing Studies Advances
3. TRIPOD-LLM-Berichtsrichtlinie für Studien mit großen SprachmodellenNaturmedizin
4. TRIPOD+AI-Erklärung: Aktualisierte Leitlinien für die Berichterstattung über klinische VorhersagemodelleDas BMJ
5. FoodData Central DatendokumentationUSDA
6. Nutrition5k: Auf dem Weg zum automatischen Ernährungsverständnis von generischen LebensmittelnIEEE/CVF CVPR
7. Risikomanagement-Framework für künstliche Intelligenz 1.0NIST
8. Risikomanagement-Framework für künstliche Intelligenz: Profil für generative künstliche IntelligenzNIST
9. Allgemeines Wohlbefinden: Richtlinie für Geräte mit geringem RisikoUSA Lebensmittel- und Arzneimittelbehörde
10. Einhaltung der FTC-Regel zur Meldung von GesundheitsverstößenUSA Federal Trade Commission
11. Datensatz strukturierte DatenGoogle Search Central

Korrekturen und Protokollherausforderungen sind willkommen unter team@bling.best.