2月25日,香港特區(qū)政府重點(diǎn)創(chuàng)科項(xiàng)目“InnoHK創(chuàng)新香港研發(fā)平臺(tái)”(InnoHK)資助的香港生成式人工智能研發(fā)中心(HKGAI)正式發(fā)布業(yè)界首個(gè)基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1,并計(jì)劃將該模型接入自研AI智能對(duì)話應(yīng)用“港話通”(手機(jī)版)、公文寫作系統(tǒng)“港文通”(HKPilot)以及其他系統(tǒng),全面支持粵語、英語和普通話。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授表示,人工智能正在引領(lǐng)新一輪技術(shù)革命和產(chǎn)業(yè)變革,在這波以人工智能為代表的科技浪潮中,香港沒有缺席。他希望香港研發(fā)的大語言模型能夠立足香港,盡快提供給業(yè)界及市民使用,服務(wù)大眾,日后更希望利用這個(gè)平臺(tái)服務(wù)數(shù)以千萬的海外華人。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授致辭
同時(shí),孫東教授表示:“HKGAI研發(fā)中心的團(tuán)隊(duì)迅速將DeepSeek完美的底座模型架構(gòu)與HKGAI非常杰出的數(shù)據(jù)處理,微調(diào)和對(duì)齊技術(shù)有機(jī)結(jié)合,從當(dāng)初中心的成立,到今天我們香港自己的大語言模型的推出,歷時(shí)一年半,從無到有,書寫了獅子山下一個(gè)美好的科創(chuàng)傳奇?!?/p>
香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授表示,在香港特區(qū)政府領(lǐng)導(dǎo)和大力支持下,HKGAI V1通過深度融合我國的技術(shù)路徑和香港特有數(shù)據(jù)和地方文化及價(jià)值觀,實(shí)現(xiàn)了我國人工智能自主創(chuàng)新成果在香港的本土化落地,架設(shè)起我國人工智能技術(shù)出海的高速通道,為“一國兩制”制度優(yōu)勢下香港與內(nèi)地協(xié)同創(chuàng)新的重要案例。
打造“聰明的香港AI對(duì)話助手”
“獅子山精神象征著香港市民自強(qiáng)不息、同舟共濟(jì)的價(jià)值觀。要教授孩子這一精神,可以陪孩子參與集體活動(dòng),如社區(qū)清潔、義賣籌款等……”在HKGAI V1全球首發(fā)發(fā)布會(huì)現(xiàn)場,“港話通”正在為一位體驗(yàn)者出謀劃策。
“我們使DeepSeek通過香港本地化成為‘聰明的香港AI對(duì)話助手’?!惫憧杀硎?,“我們不僅植入了香港法律條例、政府文書等大量本地公文數(shù)據(jù),更創(chuàng)新性地使用香港文化數(shù)據(jù)開展訓(xùn)練,使模型真正具備‘港式思維’、香港文化,努力實(shí)踐與體現(xiàn)‘一國兩制’制度優(yōu)勢。”
香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授演講
實(shí)現(xiàn)DeepSeek 671B首次全參數(shù)微調(diào)
“聰明的香港AI對(duì)話助手”迅速上線,離不開由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團(tuán)隊(duì)的攻關(guān)突破,也離不開香港數(shù)碼港給予大力支持?!拔覀?cè)诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開發(fā)流程?!盚KGAI預(yù)研部主任韓斯睿教授表示,區(qū)別于常見的輕量級(jí)微調(diào)方案,研發(fā)人員基于本地千卡算力集群,對(duì)模型千億參數(shù)進(jìn)行全參數(shù)監(jiān)督微調(diào),在確保通用智能水平不降級(jí)的前提下,完成模型的本地化,實(shí)現(xiàn)了對(duì)香港語言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。
據(jù)核心技術(shù)人員透露,HKGAI技術(shù)團(tuán)隊(duì)成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘,為國產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開源基座的訓(xùn)練支持缺失是技術(shù)團(tuán)隊(duì)遭遇的首個(gè)“攔路虎”。通過深入解析核心論文,技術(shù)團(tuán)隊(duì)重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對(duì)數(shù)據(jù)配比這一行業(yè)共性難題,技術(shù)團(tuán)隊(duì)通過大量實(shí)驗(yàn),分析不同數(shù)據(jù)子集對(duì)模型收斂速度和泛化能力的影響,實(shí)現(xiàn)目前的最好效果。針對(duì)671B超大參數(shù)規(guī)模模型,技術(shù)團(tuán)隊(duì)成功在較短時(shí)間內(nèi)攻克高并發(fā)場景下的推理計(jì)算難關(guān)。該框架已形成完整技術(shù)棧,未來可快速復(fù)用于其他超大規(guī)模模型訓(xùn)練。
騏驥千里,非一日之功。據(jù)了解,在香港特區(qū)政府,特別是創(chuàng)新科技及工業(yè)局及創(chuàng)新科技署的資助與大力支持下,自2023年10月成立以來,HKGAI肩負(fù)著香港特區(qū)政府應(yīng)對(duì)全球生成式AI浪潮的重任,由香港科技大學(xué)牽頭,聯(lián)合多所高校共同組建,致力于構(gòu)建具有香港本地特色的開源大模型,以增強(qiáng)香港在AI浪潮中的全球競爭力。“HKGAI過去一年在算力集成、技術(shù)研發(fā)、應(yīng)用拓展、人才培養(yǎng)等方面的積累,是HKGAI V1得以快速開發(fā)和應(yīng)用的重要原因?!惫憧煞Q。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授與HKGAI研發(fā)團(tuán)隊(duì)合影留念
發(fā)揮“內(nèi)聯(lián)外通”獨(dú)特優(yōu)勢
香港“內(nèi)聯(lián)外通”優(yōu)勢正在AI時(shí)代煥發(fā)新機(jī)。郭毅可表示,依托香港融通中外的獨(dú)特優(yōu)勢,HKGAI V1通過兩大戰(zhàn)略路徑構(gòu)建科技創(chuàng)新賦能體系:對(duì)內(nèi)開展創(chuàng)新協(xié)同,通過內(nèi)地-香港聯(lián)合實(shí)驗(yàn)室實(shí)現(xiàn)技術(shù)共融,驅(qū)動(dòng)粵港澳大灣區(qū)人工智能產(chǎn)業(yè)鏈能級(jí)躍升,為打造世界級(jí)科創(chuàng)中心注入新動(dòng)能;對(duì)外進(jìn)行國際化輻射路徑,以香港為支點(diǎn)構(gòu)建海外技術(shù)交流網(wǎng)絡(luò),通過向海外華人社區(qū)及國際市場輸出國際化的AI解決方案,系統(tǒng)提升中國科技創(chuàng)新標(biāo)準(zhǔn)的全球滲透力。
郭毅可坦言,站在新的歷史節(jié)點(diǎn),HKGAI將在AI數(shù)據(jù)治理、校企協(xié)同人才培養(yǎng)、AI+香港特色產(chǎn)業(yè),如法律、金融、醫(yī)療等重點(diǎn)領(lǐng)域持續(xù)突破。“在世界AI發(fā)展的浪潮中,在國家AI發(fā)展的征途上,我們香港不能缺席,我們既要做攻堅(jiān)尖刀,又可當(dāng)科技試驗(yàn)田?!惫憧傻倪@番展望,道出了HKGAI科技工作者的共同心聲。
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點(diǎn),亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布,可與本網(wǎng)聯(lián)系,本網(wǎng)視情況可立即將其撤除。