Bling Протокол оценки фотографий продуктов питания
Вариантный, воспроизводимый протокол для оценки калорийности пищевых продуктов и содержания макронутриентов на основе взвешенных или документированных эталонных значений.
- Статус
- Только протокол — результатов нет
- Версия
- 1.0.0
- Опубликовано
- Последний обзор
Текущий статус
Результаты производительности не опубликованы. На этой странице правила замораживаются до того, как появится таблица результатов.На что ответит тест
Это самостоятельное блюдо, оцененное на основе замороженного продукта Bling для ведения потребительского журнала. Это не клиническая проверка и не может служить подтверждением диагноза, лечения, дозировки лекарств или индивидуальных рекомендаций по питанию.
- Насколько далеки оценки энергии и макронутриентов при первом проходе от документально подтвержденных эталонных значений?
- Как часто оценки попадают в заранее объявленный диапазон погрешностей?
- Какие блюда и визуально скрытые ингредиенты вызывают большую ошибку?
- Насколько структурированная пользовательская коррекция меняет ошибку, не предполагая при этом лабораторной точности?
Образец и коллекция
Общий эталонный выпуск требует пилотного логистического проекта на 100 обедов, за которым следует не менее 1000 независимых оценочных приемов пищи, собранных после заморозки продукта и протокола. По меньшей мере 200 оценочных обедов остаются в подтверждающем блоке, каждый зарегистрированный основной контекст содержит не менее 50 приемов пищи, а сбор данных охватывает как минимум три заведения или источника домашнего хозяйства в рамках нескольких циклов меню.
Правила – это гарантия публикации, а не претензия на статистическую власть. Пилотный проект никогда не включается в общую оценку, и о достигнутой точности доверительного интервала будет сообщено.
Разделы разработки, пилотной версии и оценки разделены по закусочной, еде, рецепту, ресторану или месту проведения, а также по почти повторяющимся группам изображений. Окончательные оценочные изображения являются новыми, закрытыми для общественности и недоступными для быстрой настройки до заморозки протокола и системы.
Два взаимодополняющих дистрибутива
- Образец естественного использования, сохраняющий наблюдаемое распределение трафика продуктов.
- Сбалансированная стрессовая выборка, охватывающая кухню, энергетические и порционные диапазоны, отдельные блюда и смешанные блюда, домашнюю и ресторанную или упакованную еду, напитки, соусы, скрытые ингредиенты, окклюзию, свет, угол, контейнер и низкоконтрастные блюда.
Предварительно объявленные контексты приема пищи
- один видимый элемент
- домашнее блюдо
- ресторан или еда на вынос
- упакованные или фирменные продукты питания
- суп, напиток или другой малозаметный продукт
Включение
- Полный обед или продукт, сфотографированный перед употреблением.
- Документированный эталонный метод и съедобное количество
- Замороженная версия продукта и результат первого прохода с отметкой времени
- Согласие и статус деидентификации записаны до публикации любого изображения
Исключение
- Отсутствует эталонное количество или не поддающийся проверке источник питания
- Неполный прием пищи, если не измеряется потребляемая доля
- Изображения, содержащие людей или несвязанную личную информацию
- Последующее удаление, так как оценка выполнена неудовлетворительно.
Как строятся эталонные значения
Начинайте с тарированной тарелки или контейнера. Записывайте каждый ингредиент или добавление заблокированного рецепта отдельно, модель весов, дату и массу калибровки, погрешность весов, приращение съедобного веса, окончательное повторное взвешивание, состояние приготовления, пересмотр рецепта, остатки и выброшенное масло или жидкость.
- Взвешенные съедобные ингредиенты плюс измеренный выход приготовленных рецептов
- Точные данные о пищевой ценности на упаковке и вес потребляемой порции
- Официальные данные о питании ресторана соответствуют заказанному товару и порции
USDA Записи FoodData Central будут включать идентификатор FDC, тип данных, дату доступа, а также дату выпуска или обновления. Источник выбирается в соответствии с формой и приготовлением пищи, а не просто по ближайшему названию.
Общее количество питательных веществ в ингредиентах рассчитывается по съедобному весу и измеренному выходу готового рецепта. Любой коэффициент удержания или доходности должен указывать свой источник и версию.
Два квалифицированных эксперта по питанию независимо сопоставляют ингредиенты с записями о составе; третий рецензент разрешает разногласия. Подгруппы с высоким содержанием масла, с высоким содержанием воды, с высоким содержанием соуса и с переменным брендом получают дублированную подготовку или лабораторный анализ для количественной оценки ошибки эталонного метода.
Неопределенность ссылок, замены, остатки и недоступные значения остаются явными полями; они не преобразуются молча в точную истину.
Регистрация и неизменяемая блокировка
Зарегистрируйте протокол и план статистического анализа, прежде чем разблокировать оценочные метки.
В общедоступном выпуске должны быть указаны регистрационная запись, временная метка, хеш файла протокола, хеш манифеста изображения, версия справочных данных, сборка продукта, конфигурация модели, хэши подсказок, версия парсера, основные результаты, поля, исключения, правила отсутствия данных, план подгруппы и анализ точности размера выборки.
Каждое отклонение от замороженной регистрации перечисляется, датируется, обосновывается и не включается в подтверждающий результат, если это может исказить результат.
Фото и смета
При первичном анализе используется одна обычная потребительская фотография. Дополнительные просмотры записываются отдельно и не могут быть смешаны с основным результатом.
- класс устройства
- вид камеры и диапазон расстояний
- условия освещения
- тип пластины или контейнера
- видна ли ссылка на масштаб
- контекст еды и видимость приготовления
Общедоступные изображения должны иметь явное разрешение на публикацию, не содержать никакой личной или несвязанной личной информации и иметь удаленные метаданные.
Два результата, никогда не смешивавшиеся
- первая оценка только для фотографий
- оценка после проверки после предварительно объявленных запросов на исправление
Структурированный обзор ограничивается идентичностью продуктов питания, порциями, кулинарным жиром или соусом, недостающими гарнирами или напитками, а также совпадением в базе данных. Результаты первого прохода и исправленные результаты остаются отдельными.
Основной результат — это первый ответ, полученный на реальном пути продукта. Повторные вызовы выполняются только для заранее зарегистрированного подмножества для количественной оценки стохастических выходных данных и согласованности отказов; ни один пробег не выбран, поскольку он набрал больше всего очков.
Если коммерческую модель невозможно прикрепить к неизменяемому моментальному снимку, в отчете должно быть указано, что точное воспроизведение не гарантировано, и сохранены необработанные ответы с отметкой времени, а также все доступные настройки вызова.
Результаты и статистический анализ
Проведите пальцем вбок, чтобы увидеть каждый столбец
| Уровень | Предварительно объявленные результаты |
|---|---|
| Основная навигация | meal-level absolute energy error in kilocalories; proportion within ±20% of reference energy |
| Вторичный | signed energy error (bias); median absolute energy error; root mean squared energy error; aggregate energy wAPE: sum of absolute errors divided by sum of reference energy; proportions within ±10% and ±30%; gross error proportion above ±50%; Bland–Altman 95% limits of agreement, with confidence intervals for bias and both limits; absolute protein, carbohydrate, and fat error in grams; protein, carbohydrate, and fat bias and aggregate wAPE; visible major-component recall; change from first-pass to post-review error; unavailable, refused, unparseable, and unsupported-completion rates |
Составьте отчет о двусторонних 95% доверительных интервалах, используя 10 000 повторных выборок бутстреп-кластеров еды. Все фотографии и этапы оценки одного приема пищи остаются в одной и той же выборке.
Публикуйте среднее значение, медиану, межквартильный размах и полное эмпирическое распределение, где это необходимо; не полагайтесь на одно среднее значение.
Проверьте погрешность в сравнении с эталонной величиной, прежде чем применять фиксированные пределы Бланда – Альтмана. Если дисперсия существенно меняется в зависимости от калорийности приема пищи, используйте предварительно зарегистрированный логарифмический коэффициент или анализ пределов согласия на основе регрессии.
Любое сравнение систем или стадий использует интервалы разности бутстрап-пары для приема пищи. Для обеспечения эквивалентности или не меньшей эффективности необходимо заморозить запас до открытия этикетки; незначительная разница никогда не называется эквивалентной.
Два основных исхода объявляются перед анализом. В подтверждающих вторичных заявлениях или заявлениях подгруппы используется замороженная иерархическая процедура или процедура определения уровня ложного обнаружения; все остальные анализы подгрупп обозначены как исследовательские.
Защита от лестных результатов
- Точность распознавания не учитывается как точность питания.
- Отсутствующие или неверные оценки считаются неудачными и сообщаются отдельно; они не сбрасываются.
- Процентные ошибки макроса не рассчитываются, если опорное значение слишком близко к нулю.
- Ни один универсальный процент точности не используется, кроме замороженного образца, версии и эталонного метода.
- Корреляция не рассматривается как согласие или точность.
- Ни один порог не описывается как отраслевой или нормативный стандарт, если его фактически не определяет указанный орган.
Зарегистрированные слои
- контекст еды
- видимость ингредиентов
- один предмет или смешанное блюдо
- домашнее приготовление по сравнению с ресторанным или упакованным
- состояние фотографии
- кухня только тогда, когда слой соответствует полу публикации
- регион и ценовой диапазон
- камера и состояние освещения
- тон кожи только в том случае, если кадр, прилегающий к руке или человеку, сохраняется с явного согласия
Опубликуйте количество потоков от собранных блюд до анализируемых, указав каждую причину исключения, недоступные оценки и отсутствующие эталонные питательные вещества.
Таксономия неудач
- ошибка идентификации продукта питания
- ошибка части или тома
- скрытое масло, соус, сахар или ошибка приготовления
- Ошибка в предположении о марке или рецепте
- ошибка анализа модуля или структурированного вывода
- заполнение неподдерживаемого ингредиента
- значительно занижена или завышена
- неправильный совет по поводу здоровья или заболевания
- нарушение конфиденциальности
11 ворота перед заголовком
- Прежде чем открывать ярлыки оценки, публично зарегистрируйте протокол, план статистического анализа, схему наблюдения, версию кода анализа и хэши контента.
- Заморозить сборку продукта, точный снимок модели или поставщика, подсказки, конвейер изображений, анализатор, регион, настройки вызова и выпуск состава продуктов питания; не объединяйте существенно разные версии в одном заголовке.
- Выполните отдельный пилотный проект, оценочный уровень на 1000 приемов пищи, подтверждающий перерыв на 200 приемов пищи, правило разнообразия источников и все зарегистрированные минимальные уровни; в противном случае отметьте выпуск как «только пилотный» без каких-либо общих заявлений о тестировании.
- Полные отслеживаемые записи о взвешивании, выходе рецептов и хранении, независимая оценка питания с вынесением решения и количественная оценка эталонной неопределенности.
- Учитывайте каждый собранный прием пищи, неверную оценку, исключение, исправление и недоступное питательное вещество.
- Сообщите о доверительных интервалах для первичных результатов, предвзятости Бланда-Альтмана и границах согласия, грубых ошибках, неудавшихся результатах, а также заранее заданных результатах стресса и подгрупп.
- Проверьте изоляцию разделов и задокументируйте доказательства того, что оценочные изображения, линии рецептов, места проведения и близкие дубликаты были недоступны для быстрой настройки или выбора результатов.
- Публикуйте обезличенные данные на уровне строк, если это разрешено согласием, словарь данных, код анализа, контрольные суммы и журнал изменений с поддержкой версий.
- Полное согласие, удаление EXIF и GPS, проверка личности и конфиденциальной информации, контроль хранения и удаления, проверка доступа и проверка использования данных поставщика модели.
- Опубликуйте золотой набор дозорных, измените триггеры, отслеживайте частоту кадров, пороговые значения оповещений и условия, при которых приостанавливаются или отменяются заявления о точности.
- Сохраняйте выводы в журналах для потребителей, называйте способы отказа и отвергайте клинические, универсальные или причинно-необоснованные утверждения.
Машиночитаемый протокол
Читаемая человеком страница и машиночитаемые файлы взяты из одного и того же версионного источника. Будущий набор данных получит разметку набора данных только после того, как данные на уровне строк и загружаемые дистрибутивы действительно существуют.
Используются стандарты, но не заявлены
GRRAS и отчеты Бланда-Альтмана образуют прямую основу исследования соглашений. TRIPOD-LLM и отдельные элементы прозрачности TRIPOD+AI управляют моделью, подсказкой, данными, доверительным интервалом, подгруппой, сбоем и открытой научной отчетностью. NIST AI RMF и его генеративный профиль AI управляют контролем версий, поставщиков, конфиденциальности, дрейфа, инцидентов и вывода из эксплуатации. USDA FoodData Central и Nutrition5k сообщают о происхождении и приобретении эталонных продуктов.
Это не исследование диагностической точности, исследование модели клинического прогнозирования, рандомизированное вмешательство или оценка для принятия клинических решений. Поэтому он не претендует на соответствие стандартам STARD-AI, TRIPOD+AI, CONSORT-AI, SPIRIT-AI или DECIDE-AI.
Исходный реестр
Стандарты и эталонные методы
- Руководство по исследованию надежности отчетности и согласованности (GRRAS)Журнал клинической эпидемиологии / Сеть EQUATOR
- Методы Бланда – Альтмана для анализа соглашений: обзор стандартов отчетностиМеждународный журнал достижений в области сестринского дела
- Руководство по составлению отчетов TRIPOD-LLM для исследований с использованием больших языковых моделейПриродная медицина
- Заявление TRIPOD+AI: обновленное руководство по отчетности о моделях клинического прогнозированияБМЖ
- Документация данных FoodData CentralUSDA
- Nutrition5k: К автоматическому пониманию питательной ценности непатентованных продуктов питанияIEEE/CVF CVPR
- Система управления рисками искусственного интеллекта 1.0NIST
- Система управления рисками искусственного интеллекта: профиль генеративного искусственного интеллектаNIST
- Общее благополучие: политика в отношении устройств с низким уровнем рискаСША Управление по контролю за продуктами и лекарствами
- Соблюдение правил Федеральной торговой комиссии по уведомлению о нарушениях здоровьяСША Федеральная торговая комиссия
- Структурированные данные набора данныхЦентр поиска Google
Исправления и замечания по протоколу приветствуются по адресу team@bling.best.