AIは顔から感情を読み取れる？研究結果からわかること

AIは顔から感情を読み取れるのでしょうか。信頼できるほど正確には読み取れません。AIは目に見える顔の動きを分類できますが、1枚の写真から気持ちを確かめることはできません。笑顔が「幸せ」というラベルに当てはまっても、実際には礼儀や緊張、自撮り用に作った表情を反映していることがあります。感情スコアは内面の状態の測定値ではなく、表情についての推測として受け止めてください。

感情認識AIが実際に測定しているもの

処理はピクセルから始まります。ソフトウェアが顔の特徴点を見つけ、眉、目、鼻、口の周囲のパターンを測定します。分類器はそのパターンをラベル付きの例と比較し、「幸せ」「怒り」「ニュートラル」などのカテゴリーを選びます。

そのカテゴリーが示すのは、見た目の一致です。気持ちがわかるわけではありません。「幸せ82%」のような結果は、通常、モデルの確信度や類似度のスコアを表します。あなたが幸せだと感じている確率が82%という意味ではありません。

動画なら時間とともに変わる動きを捉えられますが、自撮り写真は一瞬を切り取ったものです。どちらにも、その場の状況すべてや、あなたの考え、撮影の直前に起きたことまでは含まれていません。

「高精度」という主張が、別の問いへの答えになっていることがある理由

感情認識モデルには、学習とテストに使う「正解」が必要です。その答えは、表情を作るよう指示した内容や、観察者が付けたラベル、参加者に見せた画像に基づいていることがあります。こうしたラベルは表情の分類に役立つ場合があります。ただし、本人が感じている感情を直接測定したものではありません。

Sabrina Stöckliらは、2018年にBehavior Research Methodsに掲載された研究で、2つの自動分析システムを検証しました。まず、3つの顔画像データベースにある標準化された表情を、システムに分類させました。次に、感情を呼び起こす画像を見ている110人の参加者を分析しました。

精度は感情の種類やデータベースによって異なりました。どちらのシステムも、より自然な表情より、標準化された典型的な表情のほうがうまく分類できました。この差は重要です。美容アプリで使う自撮り写真は、研究用に入念に表情を作った画像よりも、普段の顔に近いからです。

モデルはデータセット上で高得点を出しても、あなたの実際の状態を捉えられないことがあります。ラベルをうまく学習しただけかもしれません。そのラベル自体が、気持ちの代わりとしては不十分な場合があります。

顔は手がかりですが、感情との対応は固定ではありません

Lisa Feldman Barrett、Ralph Adolphsらは、2019年にPsychological Science in the Public Interestで、これまでの研究結果を検討しました。人は幸せなときに笑顔になり、怒っているときにしかめ面になる頻度が、偶然から予想されるよりも高いのは確かです。ただし、同じ顔のパターンでも、人や状況、文化によって異なることを伝える場合があります。

口をきゅっと結ぶ表情は、怒り、集中、痛み、笑いをこらえようとしていることを示しているかもしれません。ニュートラルに見える顔でも、本人は穏やかな気分かもしれませんし、不安や喜びを感じているかもしれません。画像だけでは判断できません。

状況によって、表情から受け取る感情は変わります

Hillel Aviezer、Yaacov Trope、Alexander Todorovは、2012年にScienceで、現実の場面で生じた強い感情の表情を検証しました。顔だけを切り出して見せると、見る人はポジティブな状況とネガティブな状況を区別するのに苦労しました。判断を分けたのは体から得られる手がかりでした。顔に組み合わせる体を入れ替えると、同じ顔に対する判断が変わりました。

顔の周囲ぎりぎりで画像を切り抜くAIモデルでは、そうした情報が失われます。口や目を正しく読み取れても、感情について誤った解釈につながることがあります。

文化によって表情の読み取り方は変わります

Rachael Jackらは、西洋と東アジアの観察者30人が思い描く、6つの感情カテゴリーの表情を再構成しました。2012年にProceedings of the National Academy of Sciencesに掲載された研究では、2つのグループで異なるパターンが見られました。

参加者数は少なく、課題には日常のやり取りではなく、生成した顔画像が使われていました。それでも、顔と感情の対応が世界共通で1つに決まっているという前提が適切でない理由を示しています。学習データ、ラベル、テストの対象者のすべてが重要です。

AIによる感情分析の結果の読み方

説明用の例：よくある感情分析の出力をどう解釈するか

ツールの出力	裏付けられる可能性があること	確かめられないこと	次に取るとよい行動
「幸せ：82%」	あなたの顔が、学習済みの笑顔に似たパターンに一致しました。	あなたが幸せだと感じている確率が82%であること。	本人の内面の気持ちではなく、目に見える表情を説明してください。
「ニュートラル」	モデルが、ほかのラベルに当てはまる強い手がかりをあまり見つけられませんでした。	あなたが穏やかであること、退屈していること、正直であること、関心を失っていること。	状況を踏まえるか、本人に尋ねてください。動機を推測しないでください。
「怒り」	あなたの眉、目、口が、ラベル付きの例に似ていました。	あなたが怒っていること、敵意を持っていること、危険な人物であること。	目を細めていないか、集中していないかを確かめ、照明や周囲の状況も確認してください。
撮り直した後に別のラベルが付く	入力またはモデルの反応が変わりました。	あなたの感情の状態が変わったこと。	ポーズと照明をそろえてください。それでもラベルが変わるなら、その結果をもとに行動しないでください。

この表は編集部による解釈の手引きで、妥当性が検証されたテストではありません。カテゴリーのラベルが、あなたの心の状態についての断定に変わるのを防ぐためのものです。

美容向け顔スキャンが、より正直に測定できること

写真を使うツールは、見た目の比率、左右対称性、表情、肌の細部、身だしなみの整え方など、目に見える特徴を説明できます。こうした結果も、カメラとの距離、角度、照明、画質に左右されます。あくまで写真についての観察結果です。

頬骨や何も表情を作っていないときの顔から、性格、正直さ、ストレス、診断、内面の感情を確定することはできません。こうした主張は、ピクセルを説明する範囲を越え、原因を推測するものです。

対象を絞った分析を試したいなら、写真で目に見える特徴に注目する顔スキャンを使ってみてください。結果は、あなたがどんな人かを示す事実ではなく、自分で確かめるための手がかりとして使ってください。アップロードした2枚の写真で結果が食い違う場合は、写真によって顔分析の結果が変わる理由のガイドで、入力画像による主な影響を説明しています。

ラベルを信頼する前に確認したい5つの質問

1. システムが検出したのは何ですか？ 顔の動きについての主張は、外からはわからない感情の状態についての主張より明確です。
2. 「正解」は誰が提供しましたか？ 自己申告、観察者のラベル、表情を作る指示、あるいは明示された別の判定対象を確認してください。
3. テストは自然な条件で行われましたか？ スタジオで作った表情での精度が、普段の自撮りにも当てはまるとは限りません。
4. 誰が対象でしたか？ 限られた1つの集団での結果だけでは、すべての人に同じ精度が出るとは証明できません。
5. 間違っていたら、どうなりますか？ 顔だけから付けられた感情ラベルで、正直さ、心の健康、安全性、意図を判断しないでください。

プライバシーは、分析の妥当性とは別の問題です。根拠の弱い推測でも、機微な顔データを扱うことがあります。アップロードする前に、美容アプリでの顔写真のプライバシーチェックリストで、保存期間、削除、共有に関する規約を確認してください。

AIは本心からの笑顔や嘘を見抜けますか？

笑顔に関連する動きを検出できる場合はあります。ただし、なぜその動きをしたのかは確認できません。「本心からの」という言葉は、表情の形だけでなく、その背後にある状態や動機を指します。

同じ限界があるため、顔だけを使った嘘の検出もできません。緊張しているからといって不正直だとは証明できず、落ち着いているからといって本当のことを言っているとも証明できません。確信度の高いラベルでも、状況の情報が足りないことや、判定対象が不確かなことは補えません。