“大模型需要訓(xùn)練大量的數(shù)據(jù)，因此需要很大的算力。”在日前召開的首屆“AI Tech Day（人工智能科技日）”峰會(huì)上，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民介紹，自去年12月份以來，大模型需要的AI芯片漲價(jià)一倍，國外芯片“一卡難求”，盡管國內(nèi)也有數(shù)十家公司在AI芯片研制和生產(chǎn)方面取得了很大進(jìn)步，但國產(chǎn)芯片卻尚未受到市場的廣泛青睞。
一邊是大模型快速發(fā)展帶來的算力緊張問題，一邊是國產(chǎn)AI芯片面臨“用戶不愛用”的局面。對此，與會(huì)專家呼吁，解決算力難題，應(yīng)重塑大模型算力生態(tài)，助力國產(chǎn)AI芯片系統(tǒng)練好“內(nèi)功”。
加強(qiáng)底層研發(fā)，提升國產(chǎn)AI芯片“包容力”
“如果原來基于國外芯片編寫的軟件，能夠很容易移植到我們的國產(chǎn)芯片系統(tǒng)上來，用戶就會(huì)感覺到國產(chǎn)芯片好用。”鄭緯民表示，但目前國產(chǎn)芯片由于生態(tài)建設(shè)不完備，在大模型訓(xùn)練相關(guān)軟件“移植”方面表現(xiàn)不太順暢，因此需要進(jìn)一步加強(qiáng)底層研發(fā)，做好包括編程框架、并行加速、通信庫在內(nèi)的支撐軟件研發(fā)工作。
“為了發(fā)展AI芯片的生態(tài)體系，一些國際大企業(yè)甚至可以放棄一些高利潤的項(xiàng)目和方案。”英博數(shù)科CEO周韡韡表示，營造生態(tài)需要發(fā)動(dòng)整個(gè)行業(yè)的創(chuàng)新力量，例如國際企業(yè)曾通過主動(dòng)開源部分軟件的底層代碼、讓利給基于芯片的軟件開發(fā)者，從而形成以AI芯片為核心的算力體系。
相較于芯片本身的硬件性能提升，鄭緯民認(rèn)為，通過營造生態(tài)，提升國產(chǎn)AI芯片的“包容力”更加急迫。“如果我們國產(chǎn)芯片的硬件性能是國外性能的60%及以上，但生態(tài)做得非常好，大家也會(huì)喜歡用。”鄭緯民說，但如果算力生態(tài)沒做好，新型軟件跑不起來、軟件移植不順暢，即便硬件性能達(dá)到國外的120%，照樣難以轉(zhuǎn)變?yōu)橛行懔Α?span style="display:none">TJl即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com
為凝聚行業(yè)力量，改變當(dāng)前的大模型算力生態(tài)，英博數(shù)科聯(lián)合百川智能、中國計(jì)算機(jī)學(xué)會(huì)、清華大學(xué)等單位共同成立北京AI創(chuàng)新賦能中心技術(shù)委員會(huì)。技術(shù)委員會(huì)顧問、清華大學(xué)電子工程系教授汪玉表示，“在大模型領(lǐng)域，我們將同時(shí)從軟件側(cè)和硬件側(cè)方面開展聯(lián)合優(yōu)化，在打造通用型人工智能服務(wù)平臺(tái)的同時(shí)，針對高性能計(jì)算領(lǐng)域的智能芯片和高模態(tài)電路推動(dòng)相關(guān)關(guān)鍵技術(shù)的研發(fā)。”
會(huì)議現(xiàn)場 科技日報(bào)記者 張佳星攝
共建基礎(chǔ)生態(tài)，推動(dòng)現(xiàn)有算力融合創(chuàng)新
“算力建設(shè)在大模型興起之前就有，但此前的算力相對而言利用率較低，跟不上現(xiàn)階段大模型對于算力指數(shù)級發(fā)展的需求。”艾瑞咨詢產(chǎn)業(yè)數(shù)字化研究院負(fù)責(zé)人徐樊磊介紹，為提升整體算力效率和滿足差異化需求，應(yīng)建立支撐大模型萬億量級參數(shù)計(jì)算的“智算中心”?？衫靡延懈哔|(zhì)量數(shù)據(jù)中心，通過提升組網(wǎng)能力、協(xié)同能力、軟硬件適配能力等實(shí)現(xiàn)部署。當(dāng)前，“萬卡”級別的智算中心在主要節(jié)點(diǎn)城市發(fā)展起來。
與會(huì)專家認(rèn)為，推動(dòng)現(xiàn)有算力融合創(chuàng)新將進(jìn)一步提升當(dāng)前算力使用效率。
“1萬塊卡（AI芯片）應(yīng)該怎么連？是不是每塊卡和其他9999塊直連？如果這樣，中間的連接將需要1萬乘以9999個(gè)連接卡，成本將非常高。”鄭緯民說，因此，通過最有效的連接支持模型并行、數(shù)據(jù)并行等不同的要求，是融合創(chuàng)新的關(guān)鍵。
大模型背后運(yùn)行的是更加復(fù)雜的網(wǎng)絡(luò)架構(gòu)和智能算法。如何在降本增效的同時(shí)，促進(jìn)大模型算力使用門檻的降低？
“‘云’模式是打通供需不對稱、達(dá)成算力普惠的有效路徑。”周韡韡表示，通過共享、共融集結(jié)現(xiàn)有算力，萬卡平臺(tái)和配備高效網(wǎng)絡(luò)交互機(jī)制的大模型訓(xùn)練與推理平臺(tái)可以為大企業(yè)、小微企業(yè)共用。通過搭載數(shù)據(jù)遷徙、訓(xùn)練數(shù)據(jù)庫等工具，云平臺(tái)等基礎(chǔ)生態(tài)的搭建有望讓算力像水和電一樣隨取隨用。
“大模型需要訓(xùn)練大量的數(shù)據(jù)，因此需要很大的算力。”在日前召開的首屆“AI Tech Day（人工智能科技日）”峰會(huì)上，中國工程院院士、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授鄭緯民介紹，自去年12月份以來，大模型需要的AI芯片漲價(jià)一倍，國外芯片“一卡難求”，盡管國內(nèi)也有數(shù)十家公司在AI芯片研制和生產(chǎn)方面取得了很大進(jìn)步，但國產(chǎn)芯片卻尚未受到市場的廣泛青睞。
一邊是大模型快速發(fā)展帶來的算力緊張問題，一邊是國產(chǎn)AI芯片面臨“用戶不愛用”的局面。對此，與會(huì)專家呼吁，解決算力難題，應(yīng)重塑大模型算力生態(tài)，助力國產(chǎn)AI芯片系統(tǒng)練好“內(nèi)功”。
加強(qiáng)底層研發(fā)，提升國產(chǎn)AI芯片“包容力”
“如果原來基于國外芯片編寫的軟件，能夠很容易移植到我們的國產(chǎn)芯片系統(tǒng)上來，用戶就會(huì)感覺到國產(chǎn)芯片好用。”鄭緯民表示，但目前國產(chǎn)芯片由于生態(tài)建設(shè)不完備，在大模型訓(xùn)練相關(guān)軟件“移植”方面表現(xiàn)不太順暢，因此需要進(jìn)一步加強(qiáng)底層研發(fā)，做好包括編程框架、并行加速、通信庫在內(nèi)的支撐軟件研發(fā)工作。
“為了發(fā)展AI芯片的生態(tài)體系，一些國際大企業(yè)甚至可以放棄一些高利潤的項(xiàng)目和方案。”英博數(shù)科CEO周韡韡表示，營造生態(tài)需要發(fā)動(dòng)整個(gè)行業(yè)的創(chuàng)新力量，例如國際企業(yè)曾通過主動(dòng)開源部分軟件的底層代碼、讓利給基于芯片的軟件開發(fā)者，從而形成以AI芯片為核心的算力體系。
相較于芯片本身的硬件性能提升，鄭緯民認(rèn)為，通過營造生態(tài)，提升國產(chǎn)AI芯片的“包容力”更加急迫。“如果我們國產(chǎn)芯片的硬件性能是國外性能的60%及以上，但生態(tài)做得非常好，大家也會(huì)喜歡用。”鄭緯民說，但如果算力生態(tài)沒做好，新型軟件跑不起來、軟件移植不順暢，即便硬件性能達(dá)到國外的120%，照樣難以轉(zhuǎn)變?yōu)橛行懔Α?span style="display:none">TJl即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com
為凝聚行業(yè)力量，改變當(dāng)前的大模型算力生態(tài)，英博數(shù)科聯(lián)合百川智能、中國計(jì)算機(jī)學(xué)會(huì)、清華大學(xué)等單位共同成立北京AI創(chuàng)新賦能中心技術(shù)委員會(huì)。技術(shù)委員會(huì)顧問、清華大學(xué)電子工程系教授汪玉表示，“在大模型領(lǐng)域，我們將同時(shí)從軟件側(cè)和硬件側(cè)方面開展聯(lián)合優(yōu)化，在打造通用型人工智能服務(wù)平臺(tái)的同時(shí)，針對高性能計(jì)算領(lǐng)域的智能芯片和高模態(tài)電路推動(dòng)相關(guān)關(guān)鍵技術(shù)的研發(fā)。”
會(huì)議現(xiàn)場 科技日報(bào)記者 張佳星攝
共建基礎(chǔ)生態(tài)，推動(dòng)現(xiàn)有算力融合創(chuàng)新
“算力建設(shè)在大模型興起之前就有，但此前的算力相對而言利用率較低，跟不上現(xiàn)階段大模型對于算力指數(shù)級發(fā)展的需求。”艾瑞咨詢產(chǎn)業(yè)數(shù)字化研究院負(fù)責(zé)人徐樊磊介紹，為提升整體算力效率和滿足差異化需求，應(yīng)建立支撐大模型萬億量級參數(shù)計(jì)算的“智算中心”。可利用已有高質(zhì)量數(shù)據(jù)中心，通過提升組網(wǎng)能力、協(xié)同能力、軟硬件適配能力等實(shí)現(xiàn)部署。當(dāng)前，“萬卡”級別的智算中心在主要節(jié)點(diǎn)城市發(fā)展起來。
與會(huì)專家認(rèn)為，推動(dòng)現(xiàn)有算力融合創(chuàng)新將進(jìn)一步提升當(dāng)前算力使用效率。
“1萬塊卡（AI芯片）應(yīng)該怎么連？是不是每塊卡和其他9999塊直連？如果這樣，中間的連接將需要1萬乘以9999個(gè)連接卡，成本將非常高。”鄭緯民說，因此，通過最有效的連接支持模型并行、數(shù)據(jù)并行等不同的要求，是融合創(chuàng)新的關(guān)鍵。
大模型背后運(yùn)行的是更加復(fù)雜的網(wǎng)絡(luò)架構(gòu)和智能算法。如何在降本增效的同時(shí)，促進(jìn)大模型算力使用門檻的降低？
“‘云’模式是打通供需不對稱、達(dá)成算力普惠的有效路徑。”周韡韡表示，通過共享、共融集結(jié)現(xiàn)有算力，萬卡平臺(tái)和配備高效網(wǎng)絡(luò)交互機(jī)制的大模型訓(xùn)練與推理平臺(tái)可以為大企業(yè)、小微企業(yè)共用。通過搭載數(shù)據(jù)遷徙、訓(xùn)練數(shù)據(jù)庫等工具，云平臺(tái)等基礎(chǔ)生態(tài)的搭建有望讓算力像水和電一樣隨取隨用。
本文鏈接：http://www.3ypm.com.cn/news-2-451-0.html大模型興起導(dǎo)致算力緊張？專家呼吁——國產(chǎn)AI芯片系統(tǒng)應(yīng)練好“內(nèi)功”
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請點(diǎn)擊“”按鈕
