Bling 餐食照片营养估算基准研究方案
一个版本化的、可重复的协议,用于根据称重或记录的参考值评估食物照片卡路里和大量营养素的估计值。
- 状态
- 仅限协议 - 无结果
- 版本
- 1.0.0
- 已发布
- 最后评论
当前状态
尚未发布任何性能结果。此页面会在结果表存在之前冻结规则。基准测试将回答什么
该单元是独立膳食,在用于消费者日记的冷冻 Bling 产品构建上进行评估。它不是临床验证,不能支持诊断、治疗、药物剂量或个性化营养建议。
- 首次能量和常量营养素估算值与记录的参考值相差多远?
- 估计值落在预先声明的误差范围内的频率有多少?
- 哪些用餐环境和视觉上隐藏的成分与较大的误差相关?
- 在不暗示实验室精度的情况下,结构化用户校正步骤会改变多少误差?
样本和收藏
通用基准发布需要进行 100 份餐食的物流试点,然后在产品和方案冻结后收集至少 1,000 份独立评估餐食。确认保留中至少有 200 份评估餐食,每个报告的主要背景至少包含 50 份餐食,并且收集跨越多个菜单周期的至少三个场所或家庭来源。
下限是一种出版保障,而不是统计权力的主张。该试点永远不会合并到标题评估中,并且将报告所达到的置信区间精度。
开发、试点和评估分区按用餐者、膳食、菜谱谱系、餐厅或场所以及近似重复的图像组进行隔离。最终的评估图像是新的、非公开的,并且在协议和系统冻结之前无法进行及时调整。
两个互补分布
- 保留观察到的产品流量分布的自然使用样本
- 平衡压力样本,涵盖美食、能量和份量范围、单一菜肴与混合菜肴、家庭与餐厅或包装食品、饮料、酱汁、隐藏成分、遮挡、光线、角度、容器和低对比度准备工作
预先声明的用餐环境
- 单个可见项目
- 家常拌菜
- 餐厅或外卖
- 包装或品牌食品
- 汤、饮料或其他低能见度制剂
包含
- 食用前拍摄的完整膳食或食物
- 记录的参考方法和食用量
- 冻结的产品版本和带时间戳的首次通过结果
- 在任何图像发布之前记录的同意和去识别化状态
排除
- 缺少参考数量或无法验证的营养来源
- 部分膳食,除非测量了消耗的部分
- 包含人物或不相关个人信息的图像
- 事后删除,因为估计表现不佳
如何建立参考值
从称皮重的板或容器开始。分别记录每种成分或锁定的配方添加量、秤模型、校准日期和质量、秤不确定度、可食用重量增量、最终重新称重、制备状态、配方修订、剩菜和废弃的油或液体。
- 称重可食用成分加上测量的熟菜产量
- 精确包装营养成分标签和消耗份量
- 与订购的食品和份量相匹配的官方餐厅营养记录
USDA FoodData Central 记录将包括 FDC 标识符、数据类型、访问日期以及发布或更新日期。选择来源是为了匹配食物的形式和准备,而不仅仅是最接近的名称。
成分营养总量按可食用重量和测量的成品食谱产量进行缩放。任何保留或产量因子都必须注明其来源和版本。
两名合格的营养审核员独立地将成分与成分记录进行匹配;第三位评审员解决分歧。高油、高水、酱料重和品牌可变的子集接受重复制备或实验室分析,以量化参考方法误差。
参考不确定性、替代、剩余和不可用值仍然是显式字段;它们并没有默默地转化为确切的真理。
注册和不可变冻结
在解锁评估标签之前注册协议和统计分析计划。
公开发布必须命名注册记录、时间戳、协议文件哈希、图像清单哈希、参考数据版本、产品构建、模型配置、提示哈希、解析器版本、主要结果、边际、排除、缺失数据规则、子组计划和样本量精度分析。
对冻结注册的每一次偏离都会被列举、注明日期、证明合理,并且当它可能使结果产生偏差时,将其排除在确认结果之外。
照片和估计捕获
初步分析使用一张普通消费者照片。其他视图单独记录,不能混合到主要结果中。
- 设备类别
- 相机视图和距离范围
- 照明条件
- 盘子或容器类型
- 比例参考是否可见
- 膳食背景和准备可见性
公共图像必须具有明确的发布许可,不包含任何人或不相关的个人信息,并且删除了可移动的元数据。
两个结果,从未混合
- 仅通过照片估计
- 预先声明的更正提示后的审后估计
结构化审查仅限于食品特性、份量、烹饪油脂或酱汁、缺少的配菜或饮料以及数据库匹配。首次通过和校正的结果保持分开。
主要结果是通过真实产品路径产生的第一个响应。重复调用仅在预先注册的子集上运行,以量化随机输出和故障一致性;没有选择任何跑步,因为它得分最高。
当商业模型无法固定到不可变快照时,报告必须说明无法保证精确复制,并保留带时间戳的原始响应以及每个可用的调用设置。
结果和统计分析
横向滑动即可查看每一列
| 等级 | 预先宣布的结果 |
|---|---|
| 主导航 | meal-level absolute energy error in kilocalories; proportion within ±20% of reference energy |
| 中学 | signed energy error (bias); median absolute energy error; root mean squared energy error; aggregate energy wAPE: sum of absolute errors divided by sum of reference energy; proportions within ±10% and ±30%; gross error proportion above ±50%; Bland–Altman 95% limits of agreement, with confidence intervals for bias and both limits; absolute protein, carbohydrate, and fat error in grams; protein, carbohydrate, and fat bias and aggregate wAPE; visible major-component recall; change from first-pass to post-review error; unavailable, refused, unparseable, and unsupported-completion rates |
使用 10,000 个膳食簇引导重采样报告两侧 95% 置信区间。一顿饭的所有照片和估计阶段都保持在相同的重新采样中。
在适当的情况下发布平均值、中位数、四分位距和完整的经验分布;不要依赖一个平均值。
在应用固定的 Bland-Altman 极限之前检查参考震级的误差。如果方差随膳食能量发生重大变化,请使用预先注册的对数比或基于回归的一致性限制分析。
任何系统或阶段比较都使用膳食配对引导差异区间。等效性或非劣效性要求在打开标签之前冻结边际;不显着的差异永远不会被称为等效。
在分析之前声明两个共同主要结果。确认性次要或亚组索赔使用冻结的分层或错误发现率程序;所有其他亚组分析都被标记为探索性的。
防止令人愉悦的结果的护栏
- 识别准确性不作为营养准确性报告。
- 缺失或失败的估计算作失败并单独报告;它们不会被丢弃。
- 当参考值太接近零时,不会计算宏观百分比误差。
- 除了冷冻样本、版本和参考方法之外,不使用任何单一的通用准确度百分比。
- 相关性不被视为一致性或准确性。
- 除非引用的权威机构实际定义了阈值,否则不会将阈值描述为行业或监管标准。
报告地层
- 用餐环境
- 成分可见性
- 单一菜肴与混合菜肴
- 家常菜与餐厅或包装食品
- 照片条件
- 仅当阶层与出版层相遇时的美食
- 地区和价格范围
- 相机和照明条件
- 肤色仅当在明确同意的情况下保留手或人附近的作物时
发布从收集的膳食到分析的膳食的流量计数、每个排除原因、不可用的估计和缺失的参考营养素。
故障分类
- 食品身份错误
- 部分或体积错误
- 隐藏的油、酱、糖或准备错误
- 品牌或配方假设错误
- 单元或结构化输出解析错误
- 不支持的成分完成
- 严重低估或高估
- 不适当的医疗或疾病建议
- 隐私暴露
11 标题前的大门
- 在开放评估标签之前公开预注册协议、统计分析计划、观察模式、分析代码版本和内容哈希。
- 冻结产品构建、精确模型或供应商快照、提示、图像管道、解析器、区域、调用设置和食品成分发布;不要将实质上不同的版本合并到一个标题结果中。
- 完成单独试点、1,000餐评估底线、200餐确认性保留、来源多样性规则和每个报告的底线;否则,将发布标记为仅试点,没有一般基准声明。
- 完整的可追溯称重、配方产量和保留记录、带有裁决的独立营养审查以及量化的参考不确定性。
- 记录每份收集的膳食、失败的估计、排除、纠正和不可用的营养素。
- 报告共同主要结果的置信区间、Bland-Altman 偏差和一致性限制、严重错误、失败的输出以及预先指定的压力和亚组结果。
- 验证分区隔离并记录评估图像、配方谱系、场所和近似重复无法用于即时调整或结果选择的证据。
- 在同意的情况下发布去标识化的行级数据、数据字典、分析代码、校验和以及版本化更改日志。
- 完全同意、EXIF 和 GPS 删除、人员和敏感背景筛选、保留和删除控制、访问审查以及模型供应商数据使用审查。
- 发布黄金哨兵集、更改触发器、监控节奏、警报阈值以及暂停或撤回准确性声明的条件。
- 在消费者日记中保留结论,命名失败模式,并拒绝临床、普遍或因果上不受支持的主张。
机器可读协议
人类可读的页面和机器可读的文件来自相同版本的源。仅当行级数据和可下载分布实际存在后,未来的数据集才会收到数据集标记。
使用但未声明的标准
GRRAS 和 Bland-Altman 报告构成了直接协议研究的支柱。 TRIPOD-LLM 和选定的 TRIPOD+AI 透明度项目管理模型、提示、数据、置信区间、子组、失败和开放科学报告。 NIST AI RMF 及其生成式 AI 配置文件管理版本、供应商、隐私、漂移、事件和退役控制。 USDA FoodData Central 和 Nutrition5k 告知参考来源和获取。
这不是诊断准确性研究、临床预测模型研究、随机干预或临床决策支持评估。因此,它并不声称符合 STARD-AI、TRIPOD+AI、CONSORT-AI、SPIRIT-AI 或 DECIDE-AI 合规性。
来源分类帐
标准和参考方法
- 报告可靠性和一致性研究指南 (GRRAS)临床流行病学杂志/EQUATOR网络
- 布兰德-奥特曼协议分析方法:报告标准审查国际护理研究进展杂志
- TRIPOD-LLM 使用大型语言模型的研究报告指南自然医学
- TRIPOD+AI声明:报告临床预测模型的更新指南英国医学杂志
- FoodData Central数据文档USDA
- Nutrition5k:实现对通用食品的自动营养理解IEEE/CVF CVPR
- 人工智能风险管理框架1.0NIST
- 人工智能风险管理框架:生成人工智能概况NIST
- 一般健康:低风险设备政策美国食品药品监督管理局
- 遵守 FTC 的健康违规通知规则美国联邦贸易委员会
- 数据集结构化数据Google 搜索中心
欢迎更正和协议质疑 team@bling.best。