Bling 食品写真推定ベンチマーク プロトコル

ベンチマークの答えは何ですか

このユニットは独立した食事であり、消費者のジャーナリング用に構築された冷凍 Bling 製品で評価されています。これは臨床検証ではなく、診断、治療、投薬、または個別の栄養アドバイスをサポートするものではありません。

• 初回通過エネルギーと主要栄養素の推定値は、文書化された基準値からどの程度離れていますか?
• 推定値が事前に宣言された誤差範囲内に収まる頻度はどれくらいですか?
• どの食事の状況と視覚的に隠された食材がより大きな誤差と関連していますか?
• 実験室の精度を示唆せずに、構造化されたユーザー修正ステップによって誤差はどの程度変化しますか?

サンプルとコレクション

一般的なベンチマークのリリースには、100 食の物流パイロットが必要で、その後、製品とプロトコールを冷凍した後に少なくとも 1,000 食の独立した評価食を収集する必要があります。少なくとも 200 の評価用食事が確認ホールドアウトに残されており、報告されたすべての主要な状況には少なくとも 50 の食事が含まれており、収集は複数のメニュー サイクルにわたって少なくとも 3 つの会場または家庭の情報源にまたがっています。

フロアは出版物の安全対策であり、統計的権威を主張するものではありません。パイロットはヘッドライン評価にプールされることはなく、達成された信頼区間の精度が報告されます。

開発、パイロット、および評価のパーティションは、ダイナー、食事、レシピ系統、レストランまたは会場、およびほぼ重複する画像グループごとに分離されます。最終評価イメージは新しく、非公開であり、プロトコルとシステムがフリーズする前に迅速に調整することはできません。

2 つの相補的な分布

• 観察された製品トラフィック分布を保存する自然使用サンプル
• 料理、エネルギーとポーションバンド、単品料理と混合料理、家庭料理とレストランまたは加工食品、飲料、ソース、隠し材料、遮蔽、光、角度、容器、および低コントラストの調理に及ぶバランスのとれたストレスサンプル

事前に宣言された食事のコンテキスト

• 単一の表示アイテム
• 家庭料理のミックスディッシュ
• レストランまたはテイクアウトの食事
• 包装食品またはブランド食品
• スープ、飲み物、その他の目立ちにくい調理物

包含

• 摂取前に撮影された完全な食事または食品
• 文書化された参照方法と食用量
• 凍結された製品バージョンとタイムスタンプ付きの初回パス結果
• 画像公開前に記録された同意および匿名化ステータス

除外

• 基準量が不足している、または栄養源が検証できない
• 消費された部分が測定されない限り、部分的な食事
• 人物または無関係の個人情報を含む画像
• 推定のパフォーマンスが悪かったため事後削除

基準値の構築方法

風袋を量った皿または容器から始めます。各成分またはロックされたレシピの追加、スケールモデル、校正日と質量、スケールの不確かさ、食用重量の増分、最終の再計量、準備状態、レシピの改訂、残り物、および廃棄された油または液体を個別に記録します。

1. 計量された食用材料と、測定された調理レシピの収量
2. 正確なパッケージの栄養成分表示と摂取量
3. 注文した品目と分量に一致するレストランの公式栄養記録

USDA FoodData Central レコードには、FDC 識別子、データ型、アクセス日、リリースまたは更新日が含まれます。ソースは、単に最も近い名前ではなく、食品の形式や調理法に合わせて選択されます。

材料の栄養素の合計は、可食重量と測定された完成レシピの収量によって評価されます。保持要素または歩留まり要素には、そのソースとバージョンを指定する必要があります。

2 人の資格のある栄養審査員が独立して成分と組成記録を照合します。 3 人目の査読者が意見の相違を解決します。油分が多く、水分が多く、ソースが多く、ブランドが異なるサブセットについては、二重の調製または実験室分析を受けて、基準方法の誤差を定量化します。

参照の不確実性、置換、残り物、および利用できない値は明示的なフィールドのままです。それらは黙って正確な真実に変換されるわけではありません。

登録と不変フリーズ

評価ラベルのロックを解除する前に、プロトコルと統計解析計画を登録してください。

公開リリースでは、登録レコード、タイムスタンプ、プロトコル ファイル ハッシュ、イメージ マニフェスト ハッシュ、参照データ バージョン、製品ビルド、モデル構成、プロンプト ハッシュ、パーサー バージョン、主要結果、マージン、除外、欠損データ ルール、サブグループ計画、およびサンプルサイズの精度分析に名前を付ける必要があります。

凍結された登録からの逸脱はすべて列挙され、日付が付けられ、正当化され、結果に偏りをもたらす可能性がある場合には確認結果から除外されます。

写真と推定値のキャプチャ

一次分析では、一般的な消費者の写真 1 枚が使用されます。追加のビューは個別に記録され、主な結果に混合することはできません。

• デバイスクラス
• カメラビューと距離バンド
• 照明状態
• プレートまたはコンテナのタイプ
• スケール参照が表示されるかどうか
• 食事の状況と準備の可視性

公開画像には明示的な公開許可が必要で、人物や無関係の個人情報が含まれておらず、削除可能なメタデータが削除されている必要があります。

2 つの結果が得られますが、ブレンドされることはありません

1. 初回写真のみの推定値
2. 事前に宣言された修正プロンプト後のレビュー後の推定値

構造化されたレビューは、食品の同一性、部分、調理用脂肪またはソース、不足しているサイドまたはドリンク、およびデータベースの一致に限定されます。最初のパスと修正された結果は分離されたままになります。

主な結果は、実際の製品パスを通じて生成される最初の応答です。繰り返しの呼び出しは、確率的出力と失敗の一貫性を定量化するために、事前に登録されたサブセットに対してのみ実行されます。得点が最も高かったため、ランは選択されません。

商用モデルを不変スナップショットに固定できない場合、レポートでは正確な再現が保証されていないことを示し、タイムスタンプ付きの生の応答と利用可能なすべての呼び出し設定を保存する必要があります。

結果と統計分析

10,000 個の食事クラスターのブートストラップ再サンプルを使用して、両側 95% 信頼区間をレポートします。 1 回の食事のすべての写真と推定段階は、同じリサンプル内に残ります。

必要に応じて、平均値、中央値、四分位範囲、および完全な経験的分布を公開します。 1 つの平均に依存しないでください。

固定の Bland-Altman 制限を適用する前に、基準の大きさに対する誤差を検査します。食事エネルギーによって分散が大幅に変化する場合は、事前に登録された対数比または回帰ベースの一致限度分析を使用します。

すべてのシステムまたはステージの比較では、食事ペアのブートストラップ差間隔が使用されます。同等か非劣性かを判断するには、ラベルを開く前にマージンを凍結する必要があります。有意でない差は同等とは決して呼ばれません。

2 つの共主結果は分析前に宣言されます。二次的またはサブグループの確認的主張では、凍結された階層的手順または誤検出率手順が使用されます。他のすべてのサブグループ分析は探索的とラベル付けされています。

お世辞の結果に対するガードレール

• 認識精度は栄養精度として報告されません。
• 推定の欠落または失敗は失敗としてカウントされ、個別に報告されます。それらはドロップされません。
• 基準値がゼロに近すぎる場合、マクロ パーセンテージ エラーは計算されません。
• 凍結されたサンプル、バージョン、参照方法以外では、単一の普遍的な精度パーセンテージは使用されません。
• 相関関係は一致または正確さとして扱われません。
• 引用された権威者が実際に定義しない限り、しきい値は業界標準または規制標準として説明されません。

報告された層

• 食事の状況
• 成分の可視性
• 単品料理と混合料理
• 家庭料理とレストランまたはパッケージ化されたもの
• 写真の状態
• 料理は、層が出版フロアに出会ったときにのみ登場します
• 地域と価格帯
• カメラと照明の状態
• 肌の色は、手または人の近くにある作物が明示的な同意を得て保持されている場合にのみ適用されます

収集された食事から分析された食事までのフローカウント、すべての除外理由、入手できない推定値、欠落している参照栄養素を公表します。

障害分類法

• 食品の同一性エラー
• 部分またはボリュームのエラー
• 隠れた油、ソース、砂糖、または準備ミス
• ブランドまたはレシピの仮定エラー
• ユニットまたは構造化出力解析エラー
• サポートされていない成分の完了
• 大幅な過小評価または過大評価
• 不適切な医学的または病気に関するアドバイス
• プライバシーの暴露

11 ゲート

1. 評価ラベルを開く前に、プロトコル、統計解析計画、観測スキーマ、解析コードのバージョン、コンテンツ ハッシュを公開で事前登録します。
2. 製品ビルド、正確なモデルまたはサプライヤーのスナップショット、プロンプト、イメージ パイプライン、パーサー、領域、呼び出し設定、および食品成分リリースを凍結します。 1 つの見出し結果に実質的に異なるバージョンを組み合わせないでください。
3. 個別のパイロット、1,000 食の評価フロア、200 食の確認ホールドアウト、ソース多様性ルール、および報告されたすべての階層フロアを完了します。それ以外の場合は、一般的なベンチマークを主張しないリリース パイロットのみのラベルを付けます。
4. 完全な追跡可能な計量、レシピの収量と保存記録、裁定付きの独立した栄養レビュー、および定量化された参照の不確実性。
5. 収集されたすべての食事、失敗した推定、除外、修正、および利用できない栄養素を考慮します。
6. 共主結果の信頼区間、ブランド・アルトマンバイアスと一致限界、総誤差、失敗した出力、事前に指定されたストレスとサブグループの結果を報告します。
7. パーティションの分離を検証し、評価イメージ、レシピ系統、会場、およびほぼ重複が迅速な調整や結果の選択に利用できなかったという証拠を文書化します。
8. 同意が許可されている場合、匿名化された行レベルのデータ、データ ディクショナリ、分析コード、チェックサム、およびバージョン管理された変更ログを公開します。
9. 完全な同意、EXIF と GPS の削除、人物と機密性の高い背景のスクリーニング、保持と削除の管理、アクセスのレビュー、モデルとサプライヤーのデータ使用のレビュー。
10. ゴールデン センチネル セット、変更トリガー、モニタリング ケイデンス、アラートしきい値、精度の主張を一時停止または撤回する条件を公開します。
11. 結論は消費者ジャーナリングの範囲内に留め、失敗モードに名前を付け、臨床的、普遍的、または因果関係が裏付けられていない主張を拒否します。

機械可読プロトコル

人間が読めるページと機械が読めるファイルは、同じバージョンのソースから取得されています。将来のデータセットは、行レベルのデータとダウンロード可能なディストリビューションが実際に存在した後にのみデータセット マークアップを受け取ります。

• プロトコル JSON
• 観察JSONスキーマ
• BibTeX 引用

使用されている標準、しかし主張されていない

GRRAS と Bland-Altman の報告は、直接の合意研究のバックボーンを形成しています。 TRIPOD-LLM および選択された TRIPOD+AI の透明性項目は、モデル、プロンプト、データ、信頼区間、サブグループ、失敗、およびオープンサイエンスのレポートを管理します。 NIST AI RMF とその生成 AI プロファイルは、バージョン、サプライヤー、プライバシー、ドリフト、インシデント、および廃棄の制御を管理します。 USDA FoodData Central および Nutrition5k は、参照の出所と取得を通知します。

これは、診断精度研究、臨床予測モデル研究、ランダム化介入、または臨床意思決定支援評価ではありません。したがって、STARD-AI、TRIPOD+AI、CONSORT-AI、SPIRIT-AI、または DECIDE-AI への準拠を主張するものではありません。

ソース元帳

規格と参照方法

1. 信頼性と合意調査の報告に関するガイドライン (GRRAS)臨床疫学ジャーナル / EQUATOR Network
2. ブランド・アルトマンによる一致分析手法: 報告基準の見直し看護研究の国際ジャーナルの進歩
3. 大規模言語モデルを使用した研究のための TRIPOD-LLM レポート ガイドライン自然医学
4. TRIPOD+AI ステートメント: 臨床予測モデルの報告に関するガイダンスを更新BMJ
5. FoodData Central データ ドキュメントUSDA
6. Nutrition5k: 一般食品の栄養学の自動理解に向けてIEEE/CVF CVPR
7. 人工知能リスク管理フレームワーク 1.0NIST
8. 人工知能リスク管理フレームワーク: 生成人工知能プロファイルNIST
9. 一般的なウェルネス: 低リスクのデバイスに関するポリシー米国食品医薬品局
10. FTC の健康侵害通知規則の遵守米国連邦取引委員会
11. データセットの構造化データGoogle 検索セントラル

修正やプロトコルへの異議申し立ては、team@bling.best まで受け付けています。