Bling Benchmarkprotocol voor voedselfotoschatting

Wat de benchmark zal antwoorden

De eenheid is een onafhankelijke maaltijd, geëvalueerd op een bevroren Bling-product dat is gebouwd voor consumentenjournaals. Het is geen klinische validatie en kan geen diagnose, behandeling, medicatiedosering of geïndividualiseerd voedingsadvies ondersteunen.

• Hoe ver liggen de first-pass schattingen van energie en macronutriënten van gedocumenteerde referentiewaarden?
• Hoe vaak vallen schattingen binnen vooraf aangegeven foutenmarges?
• Welke maaltijdcontexten en visueel verborgen ingrediënten worden geassocieerd met grotere fouten?
• In hoeverre verandert een gestructureerde gebruikerscorrectiestap de fout zonder laboratoriumprecisie te impliceren?

Monster en verzameling

Voor een algemene benchmarkrelease is een logistieke pilot van 100 maaltijden nodig, gevolgd door ten minste 1.000 onafhankelijke evaluatiemaaltijden die worden verzameld nadat het product en het protocol zijn ingevroren. Er bevinden zich nog minstens 200 evaluatiemaaltijden in de bevestigende holdout, elke gerapporteerde primaire context bevat minstens 50 maaltijden, en de verzameling omvat minstens drie locaties of huishoudelijke bronnen over meerdere menucycli.

De vloer is een publicatiewaarborg, geen aanspraak op statistische kracht. De pilot wordt nooit samengevoegd in de hoofdevaluatie en de bereikte nauwkeurigheid van het betrouwbaarheidsinterval wordt gerapporteerd.

De ontwikkelings-, pilot- en evaluatiepartities zijn gescheiden op basis van diner, maaltijd, receptlijn, restaurant of locatie en bijna dubbele afbeeldingsgroepen. De definitieve evaluatiebeelden zijn nieuw, niet-openbaar en niet beschikbaar voor snelle afstemming voordat het protocol en het systeem worden bevroren.

Twee complementaire distributies

• Een voorbeeld voor natuurlijk gebruik dat de waargenomen verdeling van het productverkeer behoudt
• Een uitgebalanceerd stressmonster dat gerechten, energie- en portiebanden omvat, enkelvoudige versus gemengde gerechten, thuis versus restaurant of verpakt voedsel, dranken, sauzen, verborgen ingrediënten, occlusie, licht, hoek, container en bereidingen met laag contrast

Vooraf aangegeven maaltijdcontexten

• enkel zichtbaar item
• huisgemaakte gemengde schotel
• restaurant of afhaalmaaltijd
• verpakt voedsel of merkvoedsel
• soep, drank of andere slecht zichtbare bereiding

Inclusie

• Een complete maaltijd of voedselproduct gefotografeerd vóór consumptie
• Een gedocumenteerde referentiemethode en eetbare hoeveelheid
• Een bevroren productversie en een first-pass-resultaat met tijdstempel
• Toestemmings- en de-identificatiestatus vastgelegd vóór enige beeldrelease

Uitsluiting

• Ontbrekende referentiehoeveelheid of niet-verifieerbare voedingsbron
• Gedeeltelijke maaltijden, tenzij de geconsumeerde fractie wordt gemeten
• Afbeeldingen met mensen of niet-gerelateerde persoonlijke informatie
• Post-hoc verwijdering omdat een schatting slecht presteerde

Hoe referentiewaarden worden opgebouwd

Begin van een getarreerde plaat of container. Registreer elk ingrediënt of de vergrendelde recepttoevoeging afzonderlijk, het schaalmodel, de kalibratiedatum en -massa, de schaalonzekerheid, de toename van het eetbare gewicht, de uiteindelijke herweging, de bereidingsstatus, de herziening van het recept, de restjes en de weggegooide olie of vloeistof.

1. Gewogen eetbare ingrediënten plus gemeten opbrengst van gekookte recepten
2. Exact pakket Nutrition Facts-label en geconsumeerd portiegewicht
3. Officieel voedingsrapport van het restaurant komt overeen met het bestelde artikel en de bestelde portie

USDA FoodData Central-records bevatten de FDC-identificatie, het gegevenstype, de toegangsdatum en de release- of updatedatum. Er wordt een bron gekozen die past bij de vorm en bereiding van het voedsel, en niet alleen bij de dichtstbijzijnde naam.

De totalen van de voedingsstoffen van de ingrediënten worden geschaald op basis van het eetbare gewicht en de gemeten opbrengst van het voltooide recept. Elke retentie- of opbrengstfactor moet de bron en versie vermelden.

Twee gekwalificeerde voedingsrecensenten matchen onafhankelijk ingrediënten met samenstellingsgegevens; een derde recensent lost meningsverschillen op. Subsets met veel olie, veel water, sauszwaar en merkvariabele subsets ontvangen dubbele voorbereiding of laboratoriumanalyse om fouten in de referentiemethode te kwantificeren.

Referentieonzekerheid, vervangingen, restjes en niet-beschikbare waarden blijven expliciete velden; ze worden niet stilletjes omgezet in de exacte waarheid.

Registratie en onveranderlijke bevriezing

Registreer het protocol en het statistische analyseplan voordat u evaluatielabels ontgrendelt.

De openbare release moet het registratierecord, de tijdstempel, de hash van het protocolbestand, de hash van het afbeeldingsmanifest, de versie van de referentiegegevens, de productopbouw, de modelconfiguratie, de prompt-hashes, de parserversie, de primaire uitkomsten, marges, uitsluitingen, regels voor ontbrekende gegevens, subgroepplan en precisieanalyse op steekproefgrootte vermelden.

Elke afwijking van de bevroren registratie wordt opgesomd, gedateerd, gerechtvaardigd en buiten het bevestigende resultaat gehouden als dit de uitkomst zou kunnen beïnvloeden.

Foto en schatting vastleggen

De primaire analyse maakt gebruik van één gewone consumentenfoto. Extra weergaven worden afzonderlijk vastgelegd en kunnen niet in het primaire resultaat worden opgenomen.

• apparaatklasse
• camerabeeld en afstandsband
• lichtomstandigheden
• plaat- of containertype
• of er een schaalreferentie zichtbaar is
• maaltijdcontext en zichtbaarheid van de bereiding

Openbare afbeeldingen moeten expliciete publicatietoestemming hebben, mogen geen persoon of niet-gerelateerde persoonlijke informatie bevatten en de verwijderbare metagegevens moeten zijn verwijderd.

Twee resultaten, nooit gemengd

1. eerste schatting voor alleen foto's
2. schatting na beoordeling na de vooraf aangegeven correctieverzoeken

De gestructureerde beoordeling is beperkt tot de identiteit van het voedsel, de portie, het bakvet of de saus, ontbrekende bijgerechten of drankjes en de databasematch. First-pass en gecorrigeerde resultaten blijven gescheiden.

Het primaire resultaat is de eerste reactie die via het echte producttraject wordt geproduceerd. Herhaalde oproepen worden alleen uitgevoerd op een vooraf geregistreerde subset om de stochastische uitvoer en de consistentie van fouten te kwantificeren; er wordt geen run geselecteerd omdat deze het beste scoorde.

Als een commercieel model niet aan een onveranderlijke momentopname kan worden vastgemaakt, moet in het rapport worden aangegeven dat exacte reproductie niet gegarandeerd is en dat de onbewerkte antwoorden met tijdstempel plus alle beschikbare aanroepinstellingen behouden blijven.

Uitkomsten en statistische analyse

Rapporteer tweezijdige betrouwbaarheidsintervallen van 95% met behulp van 10.000 bootstrap-resamples van maaltijdclusters. Alle foto's en schattingsfasen van één maaltijd blijven in dezelfde steekproef.

Publiceer waar nodig het gemiddelde, de mediaan, het interkwartielbereik en de volledige empirische verdeling; vertrouw niet op één gemiddelde.

Inspecteer de fout ten opzichte van de referentiegrootte voordat u vaste Bland-Altman-limieten toepast. Als de variantie aanzienlijk verandert met de maaltijdenergie, gebruik dan een vooraf geregistreerde log-ratio of op regressie gebaseerde analyse van de grenzen van overeenstemming.

Elke systeem- of fasevergelijking maakt gebruik van maaltijd-gepaarde bootstrap-verschilintervallen. Gelijkwaardigheid of non-inferioriteit vereist een bevroren marge voordat de etiketten worden geopend; een niet-significant verschil wordt nooit gelijkwaardig genoemd.

De twee co-primaire uitkomsten worden vóór analyse aangegeven. Bevestigende secundaire of subgroepclaims maken gebruik van een bevroren hiërarchische procedure of procedure voor het percentage valse ontdekkingen; alle andere subgroepanalyses worden verkennend genoemd.

Vangrails tegen een flatterend resultaat

• Herkenningsnauwkeurigheid wordt niet gerapporteerd als voedingsnauwkeurigheid.
• Ontbrekende of mislukte schattingen gelden als mislukkingen en worden afzonderlijk gerapporteerd; ze worden niet verwijderd.
• Macropercentagefouten worden niet berekend als de referentiewaarde te dicht bij nul ligt.
• Er wordt geen enkel universeel nauwkeurigheidspercentage gebruikt buiten het bevroren monster, de versie en de referentiemethode.
• Correlatie wordt niet beschouwd als overeenstemming of nauwkeurigheid.
• Er wordt geen enkele drempel beschreven als een industrie- of regelgevingsnorm, tenzij een aangehaalde autoriteit deze daadwerkelijk definieert.

Gerapporteerde strata

• maaltijdcontext
• zichtbaarheid van de ingrediënten
• enkel item versus gemengd gerecht
• huisgemaakt versus restaurant of verpakt
• fotoconditie
• keuken alleen als de laag de publicatievloer bereikt
• regio en prijsklasse
• camera en lichtomstandigheden
• huidskleur alleen wanneer een hand of een aangrenzend gewas wordt behouden met uitdrukkelijke toestemming

Publiceer een stroomtelling van verzamelde maaltijden naar geanalyseerde maaltijden, met alle uitsluitingsredenen, niet-beschikbare schattingen en ontbrekende referentievoedingsstoffen.

Fouttaxonomie

• voedselidentiteitsfout
• gedeelte- of volumefout
• verborgen olie-, saus-, suiker- of bereidingsfout
• fout bij aanname merk of recept
• parsefout van eenheid of gestructureerde uitvoer
• niet-ondersteunde voltooiing van ingrediënten
• bruto onder- of overschatting
• ongepast medisch of ziekteadvies
• blootstelling aan privacy

11 poort voor een kop

1. Registreer het protocol, het statistische analyseplan, het observatieschema, de versie van de analysecode en de inhoudshashes vooraf publiekelijk voordat u evaluatielabels opent.
2. Bevries de productopbouw, het exacte model of de momentopname van de leverancier, aanwijzingen, beeldpijplijn, parser, regio, aanroepinstellingen en vrijgave van de voedselsamenstelling; combineer geen wezenlijk verschillende versies in één kopresultaat.
3. Voltooi de afzonderlijke pilot, evaluatievloer van 1.000 maaltijden, bevestigende uitstel van 200 maaltijden, brondiversiteitsregel en elke gerapporteerde stratumvloer; label anders de release als pilot-only zonder algemene benchmarkclaim.
4. Volledige traceerbare gegevens over wegen, receptopbrengst en retentie, onafhankelijke voedingsbeoordeling met beoordeling en gekwantificeerde referentieonzekerheid.
5. Rekening voor elke ingezamelde maaltijd, mislukte schatting, uitsluiting, correctie en niet-beschikbare voedingsstof.
6. Rapporteer betrouwbaarheidsintervallen voor co-primaire resultaten, Bland-Altman bias en grenzen van overeenstemming, grove fouten, mislukte resultaten en vooraf gespecificeerde stress- en subgroepresultaten.
7. Verifieer de partitie-isolatie en documenteer het bewijs dat evaluatiebeelden, receptlijnen, locaties en bijna duplicaten niet beschikbaar waren voor snelle afstemming of resultaatselectie.
8. Publiceer geanonimiseerde gegevens op rijniveau waar toestemming dit toelaat, de data dictionary, analysecode, checksums en een versiewijzigingslogboek.
9. Volledige toestemming, EXIF- en GPS-verwijdering, screening van personen en gevoelige achtergronden, controles op het bewaren en verwijderen, toegangscontrole en beoordeling van gegevensgebruik door modelleveranciers.
10. Publiceer een gouden schildwachtset, verander triggers, controleer de cadans, waarschuwingsdrempels en de omstandigheden die een nauwkeurigheidsclaim pauzeren of intrekken.
11. Houd conclusies bij in consumentenjournaals, benoem faalwijzen en verwerp klinische, universele of causaal niet-ondersteunde claims.

Machineleesbaar protocol

De voor mensen leesbare pagina en machineleesbare bestanden zijn afkomstig van dezelfde bronversie. Een toekomstige dataset ontvangt alleen dataset-opmaak nadat er daadwerkelijk gegevens op rijniveau en downloadbare distributies bestaan.

• Protocol-JSON
• Observatie JSON-schema
• BibTeX-citaat

Gebruikte normen – en niet geclaimd

GRRAS- en Bland-Altman-rapportage vormen de ruggengraat van het directe onderzoek naar overeenkomsten. TRIPOD-LLM en geselecteerde TRIPOD+AI-transparantie-items regelen model-, prompt-, data-, betrouwbaarheidsinterval-, subgroep-, fout- en open-wetenschappelijke rapportage. NIST AI RMF en zijn generatieve AI-profiel regelen de controles op versie, leverancier, privacy, drift, incidenten en pensionering. USDA FoodData Central en Nutrition5k informeren over de herkomst en verwerving van referenties.

Dit is geen onderzoek naar de diagnostische accuraatheid, een onderzoek naar een klinisch voorspellingsmodel, een gerandomiseerde interventie of een klinische beslissingsondersteunende evaluatie. Het claimt daarom geen naleving van STARD-AI, TRIPOD+AI, CONSORT-AI, SPIRIT-AI of DECIDE-AI.

Brongrootboek

Normen en referentiemethoden

1. Richtlijnen voor het rapporteren van betrouwbaarheid en overeenstemmingsstudies (GRRAS)Journal of Clinical Epidemiology / EQUATOR-netwerk
2. Bland-Altman-methoden voor overeenkomstanalyse: een overzicht van rapportagestandaardenInternational Journal of Nursing Studies Vooruitgang
3. TRIPOD-LLM-rapportagerichtlijn voor onderzoeken met grote taalmodellenNatuurgeneeskunde
4. TRIPOD+AI-verklaring: bijgewerkte richtlijnen voor het rapporteren van klinische voorspellingsmodellenDe BMJ
5. FoodData Central-gegevensdocumentatieUSDA
6. Nutrition5k: naar automatisch voedingsinzicht in generieke voedingIEEE/CVF CVPR
7. Risicobeheerkader voor kunstmatige intelligentie 1.0NIST
8. Risicobeheerkader voor kunstmatige intelligentie: profiel voor generatieve kunstmatige intelligentieNIST
9. Algemeen welzijn: beleid voor apparaten met een laag risicoVS Voedsel- en Geneesmiddelenadministratie
10. Voldoen aan de FTC-meldingsregel voor inbreuken op de gezondheidVS Federale Handelscommissie
11. Dataset gestructureerde gegevensGoogle Zoeken Centraal

Correcties en protocoluitdagingen zijn welkom op team@bling.best.