2月25日，香港特區(qū)政府重點(diǎn)創(chuàng)科項(xiàng)目“InnoHK創(chuàng)新香港研發(fā)平臺(tái)”（InnoHK）資助的香港生成式人工智能研發(fā)中心（HKGAI）正式發(fā)布業(yè)界首個(gè)基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1，并計(jì)劃將該模型接入自研AI智能對(duì)話應(yīng)用“港話通”（手機(jī)版）、公文寫作系統(tǒng)“港文通”（HKPilot）以及其他系統(tǒng)，全面支持粵語、英語和普通話。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授表示，人工智能正在引領(lǐng)新一輪技術(shù)革命和產(chǎn)業(yè)變革，在這波以人工智能為代表的科技浪潮中，香港沒有缺席。他希望香港研發(fā)的大語言模型能夠立足香港，盡快提供給業(yè)界及市民使用，服務(wù)大眾，日后更希望利用這個(gè)平臺(tái)服務(wù)數(shù)以千萬的海外華人。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授致辭

　　同時(shí)，孫東教授表示：“HKGAI研發(fā)中心的團(tuán)隊(duì)迅速將DeepSeek完美的底座模型架構(gòu)與HKGAI非常杰出的數(shù)據(jù)處理，微調(diào)和對(duì)齊技術(shù)有機(jī)結(jié)合，從當(dāng)初中心的成立，到今天我們香港自己的大語言模型的推出，歷時(shí)一年半，從無到有，書寫了獅子山下一個(gè)美好的科創(chuàng)傳奇?！?/p>

　　香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授表示，在香港特區(qū)政府領(lǐng)導(dǎo)和大力支持下，HKGAI V1通過深度融合我國的技術(shù)路徑和香港特有數(shù)據(jù)和地方文化及價(jià)值觀，實(shí)現(xiàn)了我國人工智能自主創(chuàng)新成果在香港的本土化落地，架設(shè)起我國人工智能技術(shù)出海的高速通道，為“一國兩制”制度優(yōu)勢下香港與內(nèi)地協(xié)同創(chuàng)新的重要案例。

　　打造“聰明的香港AI對(duì)話助手”

　　“獅子山精神象征著香港市民自強(qiáng)不息、同舟共濟(jì)的價(jià)值觀。要教授孩子這一精神，可以陪孩子參與集體活動(dòng)，如社區(qū)清潔、義賣籌款等……”在HKGAI V1全球首發(fā)發(fā)布會(huì)現(xiàn)場，“港話通”正在為一位體驗(yàn)者出謀劃策。

　　“我們使DeepSeek通過香港本地化成為‘聰明的香港AI對(duì)話助手’?！惫憧杀硎?，“我們不僅植入了香港法律條例、政府文書等大量本地公文數(shù)據(jù)，更創(chuàng)新性地使用香港文化數(shù)據(jù)開展訓(xùn)練，使模型真正具備‘港式思維’、香港文化，努力實(shí)踐與體現(xiàn)‘一國兩制’制度優(yōu)勢。”

香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授演講

　　實(shí)現(xiàn)DeepSeek 671B首次全參數(shù)微調(diào)

　　“聰明的香港AI對(duì)話助手”迅速上線，離不開由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團(tuán)隊(duì)的攻關(guān)突破，也離不開香港數(shù)碼港給予大力支持?！拔覀?cè)诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開發(fā)流程?！盚KGAI預(yù)研部主任韓斯睿教授表示，區(qū)別于常見的輕量級(jí)微調(diào)方案，研發(fā)人員基于本地千卡算力集群，對(duì)模型千億參數(shù)進(jìn)行全參數(shù)監(jiān)督微調(diào)，在確保通用智能水平不降級(jí)的前提下，完成模型的本地化，實(shí)現(xiàn)了對(duì)香港語言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。

　　據(jù)核心技術(shù)人員透露，HKGAI技術(shù)團(tuán)隊(duì)成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘，為國產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開源基座的訓(xùn)練支持缺失是技術(shù)團(tuán)隊(duì)遭遇的首個(gè)“攔路虎”。通過深入解析核心論文，技術(shù)團(tuán)隊(duì)重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對(duì)數(shù)據(jù)配比這一行業(yè)共性難題，技術(shù)團(tuán)隊(duì)通過大量實(shí)驗(yàn)，分析不同數(shù)據(jù)子集對(duì)模型收斂速度和泛化能力的影響，實(shí)現(xiàn)目前的最好效果。針對(duì)671B超大參數(shù)規(guī)模模型，技術(shù)團(tuán)隊(duì)成功在較短時(shí)間內(nèi)攻克高并發(fā)場景下的推理計(jì)算難關(guān)。該框架已形成完整技術(shù)棧，未來可快速復(fù)用于其他超大規(guī)模模型訓(xùn)練。

　　騏驥千里，非一日之功。據(jù)了解，在香港特區(qū)政府，特別是創(chuàng)新科技及工業(yè)局及創(chuàng)新科技署的資助與大力支持下，自2023年10月成立以來，HKGAI肩負(fù)著香港特區(qū)政府應(yīng)對(duì)全球生成式AI浪潮的重任，由香港科技大學(xué)牽頭，聯(lián)合多所高校共同組建，致力于構(gòu)建具有香港本地特色的開源大模型，以增強(qiáng)香港在AI浪潮中的全球競爭力。“HKGAI過去一年在算力集成、技術(shù)研發(fā)、應(yīng)用拓展、人才培養(yǎng)等方面的積累，是HKGAI V1得以快速開發(fā)和應(yīng)用的重要原因?！惫憧煞Q。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授與HKGAI研發(fā)團(tuán)隊(duì)合影留念

　　發(fā)揮“內(nèi)聯(lián)外通”獨(dú)特優(yōu)勢

　　香港“內(nèi)聯(lián)外通”優(yōu)勢正在AI時(shí)代煥發(fā)新機(jī)。郭毅可表示，依托香港融通中外的獨(dú)特優(yōu)勢，HKGAI V1通過兩大戰(zhàn)略路徑構(gòu)建科技創(chuàng)新賦能體系：對(duì)內(nèi)開展創(chuàng)新協(xié)同，通過內(nèi)地-香港聯(lián)合實(shí)驗(yàn)室實(shí)現(xiàn)技術(shù)共融，驅(qū)動(dòng)粵港澳大灣區(qū)人工智能產(chǎn)業(yè)鏈能級(jí)躍升，為打造世界級(jí)科創(chuàng)中心注入新動(dòng)能；對(duì)外進(jìn)行國際化輻射路徑，以香港為支點(diǎn)構(gòu)建海外技術(shù)交流網(wǎng)絡(luò)，通過向海外華人社區(qū)及國際市場輸出國際化的AI解決方案，系統(tǒng)提升中國科技創(chuàng)新標(biāo)準(zhǔn)的全球滲透力。

　　郭毅可坦言，站在新的歷史節(jié)點(diǎn)，HKGAI將在AI數(shù)據(jù)治理、校企協(xié)同人才培養(yǎng)、AI+香港特色產(chǎn)業(yè)，如法律、金融、醫(yī)療等重點(diǎn)領(lǐng)域持續(xù)突破。“在世界AI發(fā)展的浪潮中，在國家AI發(fā)展的征途上，我們香港不能缺席，我們既要做攻堅(jiān)尖刀，又可當(dāng)科技試驗(yàn)田?！惫憧傻倪@番展望，道出了HKGAI科技工作者的共同心聲。

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。