oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

“眸思”與復(fù)旦自然語(yǔ)言處理實(shí)驗(yàn)室開發(fā)的MOSS同音，但和基于文本的MOSS不同，它能夠理解并識(shí)別圖片內(nèi)容，致力于成為視障者的一雙“眸”。
oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

團(tuán)隊(duì)從基于GPT3.5的文本模型轉(zhuǎn)向圍繞GPT4-v復(fù)現(xiàn)多模態(tài)大模型，對(duì)模型中的核心關(guān)鍵點(diǎn)開展研究，致力于提升單項(xiàng)任務(wù)的準(zhǔn)確率和大模型的強(qiáng)化學(xué)習(xí)。在基于幾億張圖片訓(xùn)練出的“眸思”大模型基礎(chǔ)上，針對(duì)視障者提出的各類需求，團(tuán)隊(duì)使用上萬(wàn)張圖片進(jìn)行特殊樣本訓(xùn)練，使“眸思”具備能夠適配更多場(chǎng)景的能力。oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

據(jù)了解，基于“眸思”的“聽見世界”APP針對(duì)視障者日常生活需求，設(shè)計(jì)了3種模式：街道行走模式，“眸思”可以細(xì)致掃描道路情況并提示潛在風(fēng)險(xiǎn)，陪伴視障者安全通行；自由問(wèn)答模式，不論是博物館、藝術(shù)館，還是公園，“眸思”能夠捕捉四周景象的每個(gè)細(xì)節(jié)，用聲音構(gòu)建豐富的生活場(chǎng)景。oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

預(yù)計(jì)今年3月，“聽見世界”APP將完成第一輪測(cè)試，在我國(guó)一、二線城市和地區(qū)同步開啟試點(diǎn)，根據(jù)算力部署情況進(jìn)行推廣。更多模式也正在開發(fā)中，比如閱讀模式，服務(wù)盲人朋友點(diǎn)菜、讀書等場(chǎng)景，解說(shuō)模式，承擔(dān)無(wú)障礙電影解說(shuō)員的工作。oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

圖片均來(lái)源于計(jì)算機(jī)科學(xué)技術(shù)學(xué)院

今年上半年，團(tuán)隊(duì)將結(jié)合AR升級(jí)APP內(nèi)的定位精度細(xì)化至亞米級(jí)別；下半年，團(tuán)隊(duì)希望將“眸思”升級(jí)到基于視頻的判斷。復(fù)旦大學(xué)自然語(yǔ)言實(shí)驗(yàn)室教授張奇表示：“人工智能發(fā)展日新月異，科技應(yīng)該要改變更多人的生活，希望‘眸思’能夠幫助視障人士走出家門，讓他們可以嘗試更多工作，為人生書寫更多可能?！?span style="display:none">oxb即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com