Как сравнивать оценки ИИ-анализа лица по разным шкалам

Чтобы сравнить отчёты ИИ-анализа лица с разными шкалами оценок, не нужно переводить каждый результат в проценты и считать их равнозначными. Сначала сопоставьте то, что оценивается: поры с порами, симметрию с симметрией, а общую оценку фотографии — с общей оценкой того же типа. Затем проверьте направление шкалы, её тип, референтную группу и условия съёмки. Если чего-то из этого не хватает, сравнивайте текстовые выводы, а не числа.

Разные числа могут измерять разные вещи

Смысл оценки определяется её описанием, а не верхней границей шкалы. Оценка чистоты кожи 76/100, оценка привлекательности 7.6/10 и 76-й перцентиль могут описывать три не связанных между собой результата. Первая может обобщать видимую текстуру кожи и пятна. Вторая — предсказывать оценки людей. Третий лишь показывает положение результата внутри референтной группы.

В статье, представленной на FAccT в 2021 году, Jacobs и Wallach отмечали, что системы ИИ часто судят о ненаблюдаемом понятии, или конструкте, по косвенным наблюдаемым признакам. Интерпретация может оказаться ошибочной, если само понятие и его рабочее определение не совпадают. «Гармоничность лица», «здоровье кожи» и «готовность к фото» не становятся взаимозаменяемыми только потому, что каждое из них выражено одним числом.

Прежде чем сравнивать сервисы, запишите рядом с каждой оценкой её полное название. Если вы ещё выбираете сервис, наше сравнение сервисов ИИ-анализа лица по функциям разделяет инструменты для оценки внешности, кожи, геометрии лица, отслеживания изменений и подбора образа. Это руководство пригодится, когда отчёты уже у вас.

Определите тип шкалы, прежде чем что-либо считать

Пять обозначений, которые похожи лишь на первый взгляд

Результат	Что означает число	Когда сравнение обоснованно
Оценка с заданными границами, например 0–100	Положение на шкале, рассчитанное по собственной формуле сервиса	Только если совпадают конструкт, направление шкалы, её крайние значения, веса показателей и версия
Оценка или уровень	Упорядоченная категория	Сравнивайте категории, а не величину разницы между ними
Перцентиль	Место внутри указанной референтной группы	Только при одинаковой когорте и модели оценки
Уверенность	Насколько сервис доверяет этому результату согласно собственному определению	Используйте её для оценки достоверности результата, но никогда — как оценку качества лица
Соотношение физических размеров	Соотношение двух видимых расстояний	Только при одинаковых опорных точках и сопоставимых условиях съёмки

В статье 1946 года в Science S. S. Stevens разграничил порядковые шкалы, которые сохраняют порядок значений, и интервальные шкалы, для которых также необходимы содержательно равные интервалы. Переход от «удовлетворительно» к «хорошо» может не равняться переходу от «хорошо» к «отлично». Если обозначить эти уровни числами 2, 3 и 4, проблема не исчезнет.

Как сравнивать отчёты ИИ-анализа лица с разными шкалами оценок

1. Сопоставьте конструкты. Сравнивайте один и тот же указанный показатель и читайте его определение. «Оценка кожи» может объединять поры, пятна и морщины, тогда как другой отчёт учитывает только несовершенства.
2. Сопоставьте направление шкал. Одни сервисы дают более высокую оценку за чистоту кожи, другие оценивают выраженность проблем. Отметьте, что означает более высокое значение: лучше, хуже, достовернее или распространённее.
3. Сопоставьте базу сравнения. Для перцентиля нужны название когорты и версия модели оценки. 80-й перцентиль среди пользователей, самостоятельно выбравших приложение, — не то же самое, что 80-й перцентиль среди всех взрослых.
4. Сопоставьте исходные данные. Используйте один и тот же неотредактированный файл, если оба сервиса это позволяют. В противном случае обеспечьте одинаковые камеру, расстояние, свет, ракурс, выражение лица и уход за внешностью.
5. Ищите проверенную таблицу соответствия шкал. Без парных данных по одним и тем же изображениям формула пересчёта лишь совмещает крайние значения шкал.

В статье 2004 года в Applied Psychological Measurement Neil Dorans разграничивает выравнивание оценок, менее строгое установление соответствия и прогнозирование. Настоящая взаимозаменяемость требует концептуальных и статистических доказательств. Если разработчики не публикуют таблицу соответствия, построенную на парных отчётах, простая арифметика её не создаст.

Условный пример: 78/100, 2/5 и 72-й перцентиль

Это вымышленная ситуация, а не тест какого-либо продукта.

Три отчёта по одной фотографии

Отчёт	Показанный результат	Правильное прочтение	Что можно сравнивать
A	Чистота кожи: 78/100; чем выше, тем лучше	Сводная оценка в заданных пределах с нераскрытыми весами показателей	Конкретные наблюдения о коже, а не итоговую оценку
B	Выраженность несовершенств: 2/5; чем выше, тем хуже	Уровень выраженности проблемы на порядковой шкале	Вывод о низкой приоритетности проблемы, а не пересчитанную оценку
C	Чистота кожи: 72-й перцентиль среди сканов в приложении	Относительное место в когорте, сформированной самостоятельным выбором пользователей	Место только внутри указанной когорты

Даже если в отчёте B значения 1 и 5 определены как крайние точки шкалы с равными интервалами, при изменении направления шкалы оценка 2/5 превращается в 75/100 этого диапазона: 100 × [1 − (2 − 1)/(5 − 1)]. Это не делает её эквивалентной оценке из отчёта A. Такой пересчёт лишь задаёт отображаемым диапазонам одно направление.

Полезный общий вывод гораздо уже: оба отчёта относят видимые несовершенства к уровням ниже тех, что вызывают большую обеспокоенность. Нельзя утверждать, что оценки совпадают с точностью до трёх баллов, усреднять их до 76.5 или считать перцентиль третьей оценкой. Ориентируйтесь на общий вывод о приоритетности проблемы, а затем изучите исходные фотографии.

Проверяйте согласованность, а не только корреляцию

Статья Bland и Altman 1986 года в Lancet показала, почему корреляция может вводить в заблуждение при сравнении методов. Два сервиса могут сходным образом ранжировать набор лиц, при этом один будет всегда выдавать более высокие значения. Заявление о высокой корреляции не доказывает, что их оценки взаимозаменяемы.

Статья касалась клинических измерений, а не бьюти-сервисов. Но это статистическое разграничение применимо и тогда, когда два метода заявляют, что измеряют один и тот же признак.

• Сильные доказательства: проверка по указанному эталону, результаты проверки согласованности парных измерений и диапазоны погрешности.
• Полезные доказательства: повторяемость результатов на одних и тех же файлах, результаты по подгруппам и зафиксированная версия модели.
• Слабые доказательства: формулировка «на основе ИИ», дополнительные знаки после запятой, большой обучающий набор без результатов тестирования или одна лишь корреляция.

В документе NIST AI Risk Management Framework 2023 года валидность и надёжность рассматриваются как свойства, которые нужно проверять в соответствующих условиях. Ищите описание задачи, выборки, эталона для сравнения, показателя ошибки и условий съёмки. «Точность 95%» мало что значит, если разработчик не объясняет, что считалось правильным результатом.

Сначала сделайте фотографии сопоставимыми

Разные шкалы — лишь половина проблемы. В статье 2011 года в Cognition Jenkins и коллеги сообщили, что обычные фотографии одного человека могут сильно различаться. В некоторых тестах эта вариативность превышала различия между людьми. В четырёх экспериментах исследовались распознавание лиц и оценки привлекательности, а не потребительские приложения для анализа лица.

Roelofs и коллеги проверили влияние освещения в двух экспериментах, описанных в Ophthalmic Plastic and Reconstructive Surgery в 2022 году. В каждом использовались фотографии десяти участников, а всего в исследовании собрали 22,000 оценок. При верхнем освещении оценки привлекательности были ниже, чем при расположении источника света под углом 45 градусов над лицом. Сама по себе экспозиция не меняла оценки.

Небольшое число участников ограничивает возможность обобщать этот результат. Тем не менее эксперименты показывают, что направление света меняет информацию, которую получает оценивающий человек или модель.

• При сравнении сервисов используйте один и тот же исходный файл.
• Если сервис требует сделать снимок в реальном времени, обеспечьте одинаковые камеру, расстояние, кадрирование, ракурс и свет.
• Отключите бьюти-фильтры, изменение освещения в портретном режиме и автоматическую ретушь.
• Не смешивайте снимки с разным макияжем, растительностью на лице или причёской, если только вы не изучаете именно это изменение.

Если после повторного снимка в сопоставимых условиях сервис меняет категорию результата, прочитайте наше руководство о том, почему меняются результаты ИИ-анализа лица, прежде чем доверять такой динамике.

Что делать, если два отчёта расходятся

Как проверить расхождения на практике

Что вы видите	Вероятное объяснение	Следующий шаг	Какой вывод делать нельзя
Один и тот же признак получает противоположные оценки	Различаются определения, направление шкалы, веса показателей или фотографии	Изучите оба метода и приведите исходные данные к одинаковым условиям	Более низкое число обязательно ошибочно
Категория совпадает, но числа различаются	Разные шкалы отображения или калибровка	Сохраните общий качественный вывод	Численная разница имеет смысл
Перцентиль противоречит исходной оценке	Место в когорте и оценка по формуле отвечают на разные вопросы	Указывайте их отдельно	Перцентиль равен процентной оценке качества
Уверенность низкая	Сервис сомневается в этом конкретном результате	Исправьте условия съёмки или не учитывайте этот результат	Сам признак плох
Геометрические показатели расходятся	Различаются выбор опорных точек, поза или перспектива	Используйте одно и то же изображение и проверьте, какие выводы позволяют делать пропорции лица, измеренные по фото	Хотя бы один отчёт точно измерил анатомию

Выбирайте результат, который поможет принять ваше решение

Для ухода за внешностью устойчивое наблюдение о конкретном признаке обычно полезнее, чем меняющаяся итоговая оценка. Видимый блеск, заметность пор или то, как волосы обрамляют лицо, могут подсказать, какое обратимое изменение стоит попробовать. Оценка привлекательности не может диагностировать состояние кожи или подсказать, какое средство использовать.

Если хотите получить ещё одну оценку, попробуйте ИИ-сканирование лица, которое отдельно оценивает видимые признаки состояния кожи, симметрию и то, как волосы обрамляют лицо. В методологии GlowUp Face платная оценка Photo-Ready Score определяется как сводный показатель готовности к фото на основе этих областей. Результаты находятся в диапазоне от 42 до 96, но это не оценка привлекательности и не место в рейтинге среди населения.

Для одного и того же файла GlowUp Face выдаёт одинаковые результаты. При сравнении снимков за разные даты сопоставимость условий по-прежнему важна. Бесплатный предварительный просмотр показывает лишь часть отчёта и требует указать электронную почту; один платёж открывает один полный отчёт. Подписки и автоматической истории прогресса нет. Выберите другой метод, если вам нужны ежедневное отслеживание, push-уведомления или оценка для сравнения с друзьями.