與人類一樣，AI也學會了“察言觀色”

有研究表明，人類在相似的社會環境下表達情感的面部表情幾乎是相同的。如果一個人皺眉、嘟嘴、臉色漲紅，你一定知道TA是在生氣，現在AI同樣能夠“看穿”這一點。

情感分析一直是AI的重點研究方向，它分為文字識別、語音識別、視覺識別三種主要途徑，後者也就是面部表情的分析。

最近這項研究又有了新的進展。在識別生氣，憤怒、開心、悲傷等情緒特徵的基礎上，AI或許能夠更進一步追蹤面部情緒變化的全過程。

近日，三星人人工智慧研究院（Samsung AI）聯合倫敦帝國理工學院（Imperial College London）在《自然機器智慧》期刊發表了一篇名為《自然狀態下人臉連續性效價和喚醒水平估計》的論文。

在論文中，研究人員稱他們開發了一種基於深度神經網路的AI系統，該系統可以透過分析日常環境下拍攝的影象\影片，高精度地估計人臉面部的情緒效價和情緒喚醒。

這意味著AI系統不僅能夠快速、實時且精準地監測面部情緒，同時還能呈現不同情緒所達到的程度。

用深度神經網路識別面部表情

上述提到的情緒效價（ Valence ）和情緒喚醒（Arousal），是心理學專家用來評估人類情緒的專業術語。

其中，前者描述了一個人對於某事物的感興趣或排斥的程度。後者是指一個人對外界刺激重新產生反應的程度，比如是微笑，大笑，狂笑，還是歇斯底里的笑。

在大部分人眼中，透過看臉評估情緒效價和喚醒是很容易的，但對於機器來說卻是一項艱難的挑戰。

在全世界範圍內，眾多科研機構和人員都在開發基於深度神經網路的模型，以根據人們的面部表情預測情緒，然而，到目前為止所開發的大多數模型僅能夠檢測出憤怒、快樂、悲傷等主要情緒狀態，而不是人類情感中更微妙的情緒特徵。

而本次研究提出的深度神經網路模型能夠在識別8種基本面部情緒之上，進一步評估情緒的效能水平（積極狀態 or 消極狀態）以及喚醒水平（激動 or 平靜）。

如研究人員在論文中寫道，“長期以來我們一直致力於研究面部情感分析，一般來說，情感的離散類別有限，無法覆蓋人類每天表現出的所有情緒範圍，因此，我們把注意力轉移到更普遍的情感維度上，即效價和喚醒。”

他們將該模型在三個具有挑戰性的資料集上進行了測試，效果如下：

如我們所見，在連續性狀態下，模型能夠精準識別面部情緒，並實時反映其情緒所達到的程度，如藍色條越高代表越憤怒。

黃色條的高度代表悲傷的程度。

研究人員介紹，該模型主要是透過特定五官來分析面部表情，如一個人的嘴唇、鼻子、眼睛等，這使得它能夠把注意力集中在與估計效價和喚醒水平最相關的區域，並實現分析人臉在自然狀態下的情緒特徵。

另外，該AI模型還能夠在8種常見的面部情緒中，給出更精確的監測定位（如右下角）。

研究人員稱，該模型能夠在給定的面部影象上，準確地、連續性地估計情緒效價和喚醒，是因其經過了有註釋的影象資料集的訓練，這些影象包含了有關效價和喚醒的資訊。

同時在演算法方面，為了提高模型在任務中的效能，他們使用了離散情緒類別作為輔助標籤，以提供額外監督；為了防止在網路訓練過程中出現過擬合問題，採用了隨機過程、抖動正則化相結合的方法。

當然除了關鍵演算法，構建機器學習系統還需要一個基本要素：合適的資料集。以上Demo的訓練資料集為AFEW-VA和SEWA，它們是研究團隊專門自建的可用於訓練情緒識別的深層神經網路的資料集。

研究人員說：“我們建立AFEW-VA資料集，目的是要驗證在自然條件下模型的有效性，而不是受控於實驗室條件下的有效性。因此該資料集包含的內容均來自真實世界所拍攝的影象和影片。”

在最初的評估中，深度神經網路模型能夠在自然條件下拍攝的人臉影象中達到前所未有的準確度，而且在AffectNet和SEWA資料集上進行測試時，它所表現的效能與人工標註基本能夠達到一致性。

研究人員說：“我們的神經網路在兩個資料集上的表現優於專家註釋之間的一致性。”，這意味著如果將神經網路視為另一個人工註釋者，那麼它與人類註釋者之間的一致性至少與其他人類註釋者之間的一致性相同，這樣的結果是非常顯著的。”

更重要的是，除了效能表現良好外，採用深度學習更易於操作和退推廣，因為它的預測是基於普通相機拍攝的影象和影片，例如它可以用於市場分析，或創造更具互動性的機器人。

論文的最後，研究人員強調，無論是情緒型別識別的精度度，還是反映不同情緒的變化過程，該AI模型要優於所有現有的方法。

看到這裡有同學可能會好奇，AI為什麼要達到如此高的情緒識別度？

有哪些潛在應用場景

其實，面部情感分析的目的是讓計算機更好地理解人的情緒狀態，從而建立更友好的人機互動過程。

在現實環境中，它在智慧駕駛、新零售、臨床醫療等諸多領域都有著廣泛的應用場景，也正是這些領域對AI識別人類情緒的能力提出了更高的要求。

例如在智慧駕駛領域，AI對駕駛員的表情識別是提升智慧汽車安全性和舒適性的關鍵因素。比如當系統推薦了一首駕駛員或乘客不喜歡的音樂時，透過分析車內人員的面部表情，系統便可自動“切歌”。

或者在新零售領域，商家可以採用表情識別技術分析顧客情緒，瞭解他們對不同商品的喜好程度，以此推薦適合的廣告，實現精準營銷等等。

隨著人工智慧技術和相關學科的飛速發展，人們對自動化和人機互動的需求日益強烈，表情識別作為計算機理解人類情感的基礎，相關研究成果也有了很大的進展，不過，總體而言仍處於實驗室探索階段，距離大規模場景落地還有很長的一段距離。

另外，據有關研究表明，人類的面部表情至少有21種，除了高興、悲傷、憤怒、厭惡等8種常見情緒外，還有13種可別區分的複合表情。那麼你覺得未來AI真的能看懂人類複雜的情緒變化嗎？