2月25日，香港特區(qū)政府重點創(chuàng)科項目“InnoHK創(chuàng)新香港研發(fā)平臺”（InnoHK）資助的香港生成式人工智能研發(fā)中心（HKGAI）正式發(fā)布業(yè)界首個基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1，并計劃將該模型接入自研AI智能對話應(yīng)用“港話通”（手機版）、公文寫作系統(tǒng)“港文通”（HKPilot）以及其他系統(tǒng)，全面支持粵語、英語和普通話。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授表示，人工智能正在引領(lǐng)新一輪技術(shù)革命和產(chǎn)業(yè)變革，在這波以人工智能為代表的科技浪潮中，香港沒有缺席。他希望香港研發(fā)的大語言模型能夠立足香港，盡快提供給業(yè)界及市民使用，服務(wù)大眾，日后更希望利用這個平臺服務(wù)數(shù)以千萬的海外華人。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授致辭

　　同時，孫東教授表示：“HKGAI研發(fā)中心的團隊迅速將DeepSeek完美的底座模型架構(gòu)與HKGAI非常杰出的數(shù)據(jù)處理，微調(diào)和對齊技術(shù)有機結(jié)合，從當初中心的成立，到今天我們香港自己的大語言模型的推出，歷時一年半，從無到有，書寫了獅子山下一個美好的科創(chuàng)傳奇?！?/p>

　　香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授表示，在香港特區(qū)政府領(lǐng)導(dǎo)和大力支持下，HKGAI V1通過深度融合我國的技術(shù)路徑和香港特有數(shù)據(jù)和地方文化及價值觀，實現(xiàn)了我國人工智能自主創(chuàng)新成果在香港的本土化落地，架設(shè)起我國人工智能技術(shù)出海的高速通道，為“一國兩制”制度優(yōu)勢下香港與內(nèi)地協(xié)同創(chuàng)新的重要案例。

　　打造“聰明的香港AI對話助手”

　　“獅子山精神象征著香港市民自強不息、同舟共濟的價值觀。要教授孩子這一精神，可以陪孩子參與集體活動，如社區(qū)清潔、義賣籌款等……”在HKGAI V1全球首發(fā)發(fā)布會現(xiàn)場，“港話通”正在為一位體驗者出謀劃策。

　　“我們使DeepSeek通過香港本地化成為‘聰明的香港AI對話助手’?！惫憧杀硎?，“我們不僅植入了香港法律條例、政府文書等大量本地公文數(shù)據(jù)，更創(chuàng)新性地使用香港文化數(shù)據(jù)開展訓(xùn)練，使模型真正具備‘港式思維’、香港文化，努力實踐與體現(xiàn)‘一國兩制’制度優(yōu)勢?！?/p>

香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授演講

　　實現(xiàn)DeepSeek 671B首次全參數(shù)微調(diào)

　　“聰明的香港AI對話助手”迅速上線，離不開由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團隊的攻關(guān)突破，也離不開香港數(shù)碼港給予大力支持?！拔覀冊诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開發(fā)流程。”HKGAI預(yù)研部主任韓斯睿教授表示，區(qū)別于常見的輕量級微調(diào)方案，研發(fā)人員基于本地千卡算力集群，對模型千億參數(shù)進行全參數(shù)監(jiān)督微調(diào)，在確保通用智能水平不降級的前提下，完成模型的本地化，實現(xiàn)了對香港語言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。

　　據(jù)核心技術(shù)人員透露，HKGAI技術(shù)團隊成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘，為國產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開源基座的訓(xùn)練支持缺失是技術(shù)團隊遭遇的首個“攔路虎”。通過深入解析核心論文，技術(shù)團隊重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對數(shù)據(jù)配比這一行業(yè)共性難題，技術(shù)團隊通過大量實驗，分析不同數(shù)據(jù)子集對模型收斂速度和泛化能力的影響，實現(xiàn)目前的最好效果。針對671B超大參數(shù)規(guī)模模型，技術(shù)團隊成功在較短時間內(nèi)攻克高并發(fā)場景下的推理計算難關(guān)。該框架已形成完整技術(shù)棧，未來可快速復(fù)用于其他超大規(guī)模模型訓(xùn)練。

　　騏驥千里，非一日之功。據(jù)了解，在香港特區(qū)政府，特別是創(chuàng)新科技及工業(yè)局及創(chuàng)新科技署的資助與大力支持下，自2023年10月成立以來，HKGAI肩負著香港特區(qū)政府應(yīng)對全球生成式AI浪潮的重任，由香港科技大學(xué)牽頭，聯(lián)合多所高校共同組建，致力于構(gòu)建具有香港本地特色的開源大模型，以增強香港在AI浪潮中的全球競爭力?！癏KGAI過去一年在算力集成、技術(shù)研發(fā)、應(yīng)用拓展、人才培養(yǎng)等方面的積累，是HKGAI V1得以快速開發(fā)和應(yīng)用的重要原因?！惫憧煞Q。

　　香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授與HKGAI研發(fā)團隊合影留念

　　發(fā)揮“內(nèi)聯(lián)外通”獨特優(yōu)勢

　　香港“內(nèi)聯(lián)外通”優(yōu)勢正在AI時代煥發(fā)新機。郭毅可表示，依托香港融通中外的獨特優(yōu)勢，HKGAI V1通過兩大戰(zhàn)略路徑構(gòu)建科技創(chuàng)新賦能體系：對內(nèi)開展創(chuàng)新協(xié)同，通過內(nèi)地-香港聯(lián)合實驗室實現(xiàn)技術(shù)共融，驅(qū)動粵港澳大灣區(qū)人工智能產(chǎn)業(yè)鏈能級躍升，為打造世界級科創(chuàng)中心注入新動能；對外進行國際化輻射路徑，以香港為支點構(gòu)建海外技術(shù)交流網(wǎng)絡(luò)，通過向海外華人社區(qū)及國際市場輸出國際化的AI解決方案，系統(tǒng)提升中國科技創(chuàng)新標準的全球滲透力。

　　郭毅可坦言，站在新的歷史節(jié)點，HKGAI將在AI數(shù)據(jù)治理、校企協(xié)同人才培養(yǎng)、AI+香港特色產(chǎn)業(yè)，如法律、金融、醫(yī)療等重點領(lǐng)域持續(xù)突破。“在世界AI發(fā)展的浪潮中，在國家AI發(fā)展的征途上，我們香港不能缺席，我們既要做攻堅尖刀，又可當科技試驗田?！惫憧傻倪@番展望，道出了HKGAI科技工作者的共同心聲。

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點，亦不代表本網(wǎng)站贊同其觀點或證實其內(nèi)容的真實性。如稿件版權(quán)單位或個人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。