視障者也能沉浸式玩游戲了,網(wǎng)易AI技術助力無障礙環(huán)境建設
近日,由網(wǎng)易游戲用戶體驗中心設計的《AI Eyes: Enhancing Visual Accessibility Using AI》(游戲自適應視障模式:AI助力視覺無障礙設計,以下簡稱“AI Eyes”)獲得“設計界的奧斯卡”2024年iF設計獎。該方案運用網(wǎng)易互娛AI Lab等提供的AI圖像識別與語音技術,跟蹤游戲畫面的變化,主動播報新生成的信息,使視障人士能夠從圖像、模型和場景等多個維度感知、理解和體驗游戲。
這也是全球首個運用AI技術為視障玩家提供無障礙游戲的交互設計,讓視障人士從“聽游戲”到真正沉浸式玩游戲。接下來,該方案將在網(wǎng)易游戲多款產(chǎn)品中探索應用落地,讓視障人群也能跟健全人一樣享受社交娛樂的快樂。
3億視障人士被忽視的娛樂需求,視障人士也可成“吃雞”高手
視障人士是如何打游戲的?
目前全世界的盲人及中重度視障人群超過3億人,無障礙的交互設計逐漸成為國際對網(wǎng)絡應用、電子游戲的基礎要求。但相關數(shù)據(jù)報告顯示,受視力的局限再加上很多游戲應用并沒有進行無障礙優(yōu)化,絕大多數(shù)的游戲視障者很難參與到游戲中。他們有的只能用“文本朗讀”功能“聽游戲”,通過聲音在想象的世界里馳騁。即使市面上有專門針對盲人玩家定制的小型游戲,但玩法種類有局限性、體量小,視障人士無法跟健全人一樣體驗更高質(zhì)量、最熱門的游戲。
“我們不能假想他們不喜歡玩,而將他們拒之門外?!本W(wǎng)易游戲用戶體驗中心相關團隊在無障礙研究中發(fā)現(xiàn),殘障人士跟健全人士在娛樂上的需求是沒有區(qū)別的,游戲是他們對外社交的橋梁,借助游戲,能幫助視障人士更好地融入社會。甚至,視障群體在一些游戲品類中還有更大的興趣和優(yōu)勢。比如因為聽覺靈敏,聽聲辯位是他們的樂趣,所以在射擊、槍戰(zhàn)類游戲非常擅長,甚至比健全玩家還厲害。
因此,隨著AI生成技術涌現(xiàn),網(wǎng)易游戲用戶體驗中心團隊決定探索解決這一痛點,通過使用AI圖像識別、AI文本釋義、AI語音播報等技術,為游戲提供通用、低成本、易操作的是視障人士交互方案。
行業(yè)首創(chuàng)AI Eyes交互方案,從機械地聽文本朗讀到沉浸式體驗
什么樣的方案能為視障群體搭建一個平等的場景,讓他們也可以與正常人一樣進行娛樂社交?
網(wǎng)易游戲用戶體驗中心團隊設計研發(fā)的AI Eyes ,基于圖像識別、AI文本語義生成和AI語音生成技術,一旦識別到視障玩家在界面上的點觸、劃動交互,AI將會執(zhí)行畫面解釋,講述畫面上局部的內(nèi)容。游戲中精彩的場景畫面、角色、服飾、物品均可以實時呈現(xiàn)給視障玩家,提升了對游戲畫面的感知范圍,讓視障玩家能夠更全面的了解游戲畫面內(nèi)容。
不僅如此,AI Eyes能實時感應游戲內(nèi)環(huán)境、事件、角色動作等情況,AI感應后對相關實時變化內(nèi)容進行自主播報,視障玩家能夠第一時間了解游戲內(nèi)容變化信息,從而提高游玩的沉浸感,包括天氣、彈窗UI、角色待機動作等……
研發(fā)團隊主設計師羅丹舉例說道:“假設你看不到這個屏幕上的任何東西,但我并不想告訴你,這里有一個種植按鈕。而是告訴你——這里是一個油畫風格的場景,是你的家園,這里有一個簡單的庇護所,一方田地。你的寵物在圍著你轉(zhuǎn)圈。田地里是枯萎的植物,界面上有一個澆水按鈕和種植按鈕。又比如在《蛋仔派對》中,其他玩家可以舉著視障玩家探索和感受樂園的溫暖。”
另外還值得注意的是,AI Eyes符合視障用戶交互習慣,在用戶端操作與當前主流的“talkback”“旁白模式”等盲人交互模式無太大區(qū)別,因此視障群體能以通用、習慣的交互方式使用。
據(jù)介紹,該AI輔助無障礙游戲交互方案具有跨國際、跨游戲類型的普適性,既適用于如經(jīng)營建造、RPG等以圖像、場景氛圍表現(xiàn)為主的游戲,又適用于2D游戲等以界面控件為主要形態(tài)的游戲,還能適用于以圖像分享為主的流媒體網(wǎng)站。接下來,該方案將在網(wǎng)易游戲多款產(chǎn)品中探索應用落地。