2月25日,香港特區(qū)政府重點(diǎn)創(chuàng)科項(xiàng)目“InnoHK創(chuàng)新香港研發(fā)平臺(tái)”(InnoHK)資助的香港生成式人工智能研發(fā)中心(HKGAI)正式發(fā)布業(yè)界首個(gè)基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1,并計(jì)劃將該模型接入自研AI智能對(duì)話應(yīng)用“港話通”(手機(jī)版)、公文寫(xiě)作系統(tǒng)“港文通”(HKPilot)以及其他系統(tǒng),全面支持粵語(yǔ)、英語(yǔ)和普通話。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長(zhǎng)孫東教授表示,人工智能正在引領(lǐng)新一輪技術(shù)革命和產(chǎn)業(yè)變革,在這波以人工智能為代表的科技浪潮中,香港沒(méi)有缺席。他希望香港研發(fā)的大語(yǔ)言模型能夠立足香港,盡快提供給業(yè)界及市民使用,服務(wù)大眾,日后更希望利用這個(gè)平臺(tái)服務(wù)數(shù)以千萬(wàn)的海外華人。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長(zhǎng)孫東教授致辭
同時(shí),孫東教授表示:“HKGAI研發(fā)中心的團(tuán)隊(duì)迅速將DeepSeek完美的底座模型架構(gòu)與HKGAI非常杰出的數(shù)據(jù)處理,微調(diào)和對(duì)齊技術(shù)有機(jī)結(jié)合,從當(dāng)初中心的成立,到今天我們香港自己的大語(yǔ)言模型的推出,歷時(shí)一年半,從無(wú)到有,書(shū)寫(xiě)了獅子山下一個(gè)美好的科創(chuàng)傳奇。”
香港科技大學(xué)首席副校長(zhǎng)、香港生成式人工智能研發(fā)中心主任郭毅可教授表示,在香港特區(qū)政府領(lǐng)導(dǎo)和大力支持下,HKGAI V1通過(guò)深度融合我國(guó)的技術(shù)路徑和香港特有數(shù)據(jù)和地方文化及價(jià)值觀,實(shí)現(xiàn)了我國(guó)人工智能自主創(chuàng)新成果在香港的本土化落地,架設(shè)起我國(guó)人工智能技術(shù)出海的高速通道,為“一國(guó)兩制”制度優(yōu)勢(shì)下香港與內(nèi)地協(xié)同創(chuàng)新的重要案例。
打造“聰明的香港AI對(duì)話助手”
“獅子山精神象征著香港市民自強(qiáng)不息、同舟共濟(jì)的價(jià)值觀。要教授孩子這一精神,可以陪孩子參與集體活動(dòng),如社區(qū)清潔、義賣籌款等……”在HKGAI V1全球首發(fā)發(fā)布會(huì)現(xiàn)場(chǎng),“港話通”正在為一位體驗(yàn)者出謀劃策。
“我們使DeepSeek通過(guò)香港本地化成為‘聰明的香港AI對(duì)話助手’。”郭毅可表示,“我們不僅植入了香港法律條例、政府文書(shū)等大量本地公文數(shù)據(jù),更創(chuàng)新性地使用香港文化數(shù)據(jù)開(kāi)展訓(xùn)練,使模型真正具備‘港式思維’、香港文化,努力實(shí)踐與體現(xiàn)‘一國(guó)兩制’制度優(yōu)勢(shì)?!?/p>
香港科技大學(xué)首席副校長(zhǎng)、香港生成式人工智能研發(fā)中心主任郭毅可教授演講
實(shí)現(xiàn)DeepSeek 671B首次全參數(shù)微調(diào)
“聰明的香港AI對(duì)話助手”迅速上線,離不開(kāi)由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團(tuán)隊(duì)的攻關(guān)突破,也離不開(kāi)香港數(shù)碼港給予大力支持?!拔覀?cè)诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開(kāi)發(fā)流程。”HKGAI預(yù)研部主任韓斯睿教授表示,區(qū)別于常見(jiàn)的輕量級(jí)微調(diào)方案,研發(fā)人員基于本地千卡算力集群,對(duì)模型千億參數(shù)進(jìn)行全參數(shù)監(jiān)督微調(diào),在確保通用智能水平不降級(jí)的前提下,完成模型的本地化,實(shí)現(xiàn)了對(duì)香港語(yǔ)言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。
據(jù)核心技術(shù)人員透露,HKGAI技術(shù)團(tuán)隊(duì)成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘,為國(guó)產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開(kāi)源基座的訓(xùn)練支持缺失是技術(shù)團(tuán)隊(duì)遭遇的首個(gè)“攔路虎”。通過(guò)深入解析核心論文,技術(shù)團(tuán)隊(duì)重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對(duì)數(shù)據(jù)配比這一行業(yè)共性難題,技術(shù)團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn),分析不同數(shù)據(jù)子集對(duì)模型收斂速度和泛化能力的影響,實(shí)現(xiàn)目前的最好效果。針對(duì)671B超大參數(shù)規(guī)模模型,技術(shù)團(tuán)隊(duì)成功在較短時(shí)間內(nèi)攻克高并發(fā)場(chǎng)景下的推理計(jì)算難關(guān)。該框架已形成完整技術(shù)棧,未來(lái)可快速?gòu)?fù)用于其他超大規(guī)模模型訓(xùn)練。
騏驥千里,非一日之功。據(jù)了解,在香港特區(qū)政府,特別是創(chuàng)新科技及工業(yè)局及創(chuàng)新科技署的資助與大力支持下,自2023年10月成立以來(lái),HKGAI肩負(fù)著香港特區(qū)政府應(yīng)對(duì)全球生成式AI浪潮的重任,由香港科技大學(xué)牽頭,聯(lián)合多所高校共同組建,致力于構(gòu)建具有香港本地特色的開(kāi)源大模型,以增強(qiáng)香港在AI浪潮中的全球競(jìng)爭(zhēng)力。“HKGAI過(guò)去一年在算力集成、技術(shù)研發(fā)、應(yīng)用拓展、人才培養(yǎng)等方面的積累,是HKGAI V1得以快速開(kāi)發(fā)和應(yīng)用的重要原因。”郭毅可稱。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長(zhǎng)孫東教授與HKGAI研發(fā)團(tuán)隊(duì)合影留念
發(fā)揮“內(nèi)聯(lián)外通”獨(dú)特優(yōu)勢(shì)
香港“內(nèi)聯(lián)外通”優(yōu)勢(shì)正在AI時(shí)代煥發(fā)新機(jī)。郭毅可表示,依托香港融通中外的獨(dú)特優(yōu)勢(shì),HKGAI V1通過(guò)兩大戰(zhàn)略路徑構(gòu)建科技創(chuàng)新賦能體系:對(duì)內(nèi)開(kāi)展創(chuàng)新協(xié)同,通過(guò)內(nèi)地-香港聯(lián)合實(shí)驗(yàn)室實(shí)現(xiàn)技術(shù)共融,驅(qū)動(dòng)粵港澳大灣區(qū)人工智能產(chǎn)業(yè)鏈能級(jí)躍升,為打造世界級(jí)科創(chuàng)中心注入新動(dòng)能;對(duì)外進(jìn)行國(guó)際化輻射路徑,以香港為支點(diǎn)構(gòu)建海外技術(shù)交流網(wǎng)絡(luò),通過(guò)向海外華人社區(qū)及國(guó)際市場(chǎng)輸出國(guó)際化的AI解決方案,系統(tǒng)提升中國(guó)科技創(chuàng)新標(biāo)準(zhǔn)的全球滲透力。
郭毅可坦言,站在新的歷史節(jié)點(diǎn),HKGAI將在AI數(shù)據(jù)治理、校企協(xié)同人才培養(yǎng)、AI+香港特色產(chǎn)業(yè),如法律、金融、醫(yī)療等重點(diǎn)領(lǐng)域持續(xù)突破?!霸谑澜鏏I發(fā)展的浪潮中,在國(guó)家AI發(fā)展的征途上,我們香港不能缺席,我們既要做攻堅(jiān)尖刀,又可當(dāng)科技試驗(yàn)田。”郭毅可的這番展望,道出了HKGAI科技工作者的共同心聲。
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點(diǎn),亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布,可與本網(wǎng)聯(lián)系,本網(wǎng)視情況可立即將其撤除。