2月25日,香港特區(qū)政府重點創(chuàng)科項目“InnoHK創(chuàng)新香港研發(fā)平臺”(InnoHK)資助的香港生成式人工智能研發(fā)中心(HKGAI)正式發(fā)布業(yè)界首個基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1,并計劃將該模型接入自研AI智能對話應(yīng)用“港話通”(手機版)、公文寫作系統(tǒng)“港文通”(HKPilot)以及其他系統(tǒng),全面支持粵語、英語和普通話。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授表示,人工智能正在引領(lǐng)新一輪技術(shù)革命和產(chǎn)業(yè)變革,在這波以人工智能為代表的科技浪潮中,香港沒有缺席。他希望香港研發(fā)的大語言模型能夠立足香港,盡快提供給業(yè)界及市民使用,服務(wù)大眾,日后更希望利用這個平臺服務(wù)數(shù)以千萬的海外華人。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授致辭
同時,孫東教授表示:“HKGAI研發(fā)中心的團隊迅速將DeepSeek完美的底座模型架構(gòu)與HKGAI非常杰出的數(shù)據(jù)處理,微調(diào)和對齊技術(shù)有機結(jié)合,從當初中心的成立,到今天我們香港自己的大語言模型的推出,歷時一年半,從無到有,書寫了獅子山下一個美好的科創(chuàng)傳奇?!?/p>
香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授表示,在香港特區(qū)政府領(lǐng)導(dǎo)和大力支持下,HKGAI V1通過深度融合我國的技術(shù)路徑和香港特有數(shù)據(jù)和地方文化及價值觀,實現(xiàn)了我國人工智能自主創(chuàng)新成果在香港的本土化落地,架設(shè)起我國人工智能技術(shù)出海的高速通道,為“一國兩制”制度優(yōu)勢下香港與內(nèi)地協(xié)同創(chuàng)新的重要案例。
打造“聰明的香港AI對話助手”
“獅子山精神象征著香港市民自強不息、同舟共濟的價值觀。要教授孩子這一精神,可以陪孩子參與集體活動,如社區(qū)清潔、義賣籌款等……”在HKGAI V1全球首發(fā)發(fā)布會現(xiàn)場,“港話通”正在為一位體驗者出謀劃策。
“我們使DeepSeek通過香港本地化成為‘聰明的香港AI對話助手’?!惫憧杀硎?,“我們不僅植入了香港法律條例、政府文書等大量本地公文數(shù)據(jù),更創(chuàng)新性地使用香港文化數(shù)據(jù)開展訓(xùn)練,使模型真正具備‘港式思維’、香港文化,努力實踐與體現(xiàn)‘一國兩制’制度優(yōu)勢?!?/p>
香港科技大學(xué)首席副校長、香港生成式人工智能研發(fā)中心主任郭毅可教授演講
實現(xiàn)DeepSeek 671B首次全參數(shù)微調(diào)
“聰明的香港AI對話助手”迅速上線,離不開由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團隊的攻關(guān)突破,也離不開香港數(shù)碼港給予大力支持?!拔覀冊诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開發(fā)流程。”HKGAI預(yù)研部主任韓斯睿教授表示,區(qū)別于常見的輕量級微調(diào)方案,研發(fā)人員基于本地千卡算力集群,對模型千億參數(shù)進行全參數(shù)監(jiān)督微調(diào),在確保通用智能水平不降級的前提下,完成模型的本地化,實現(xiàn)了對香港語言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。
據(jù)核心技術(shù)人員透露,HKGAI技術(shù)團隊成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘,為國產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開源基座的訓(xùn)練支持缺失是技術(shù)團隊遭遇的首個“攔路虎”。通過深入解析核心論文,技術(shù)團隊重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對數(shù)據(jù)配比這一行業(yè)共性難題,技術(shù)團隊通過大量實驗,分析不同數(shù)據(jù)子集對模型收斂速度和泛化能力的影響,實現(xiàn)目前的最好效果。針對671B超大參數(shù)規(guī)模模型,技術(shù)團隊成功在較短時間內(nèi)攻克高并發(fā)場景下的推理計算難關(guān)。該框架已形成完整技術(shù)棧,未來可快速復(fù)用于其他超大規(guī)模模型訓(xùn)練。
騏驥千里,非一日之功。據(jù)了解,在香港特區(qū)政府,特別是創(chuàng)新科技及工業(yè)局及創(chuàng)新科技署的資助與大力支持下,自2023年10月成立以來,HKGAI肩負著香港特區(qū)政府應(yīng)對全球生成式AI浪潮的重任,由香港科技大學(xué)牽頭,聯(lián)合多所高校共同組建,致力于構(gòu)建具有香港本地特色的開源大模型,以增強香港在AI浪潮中的全球競爭力?!癏KGAI過去一年在算力集成、技術(shù)研發(fā)、應(yīng)用拓展、人才培養(yǎng)等方面的積累,是HKGAI V1得以快速開發(fā)和應(yīng)用的重要原因?!惫憧煞Q。
香港特區(qū)政府創(chuàng)新科技及工業(yè)局局長孫東教授與HKGAI研發(fā)團隊合影留念
發(fā)揮“內(nèi)聯(lián)外通”獨特優(yōu)勢
香港“內(nèi)聯(lián)外通”優(yōu)勢正在AI時代煥發(fā)新機。郭毅可表示,依托香港融通中外的獨特優(yōu)勢,HKGAI V1通過兩大戰(zhàn)略路徑構(gòu)建科技創(chuàng)新賦能體系:對內(nèi)開展創(chuàng)新協(xié)同,通過內(nèi)地-香港聯(lián)合實驗室實現(xiàn)技術(shù)共融,驅(qū)動粵港澳大灣區(qū)人工智能產(chǎn)業(yè)鏈能級躍升,為打造世界級科創(chuàng)中心注入新動能;對外進行國際化輻射路徑,以香港為支點構(gòu)建海外技術(shù)交流網(wǎng)絡(luò),通過向海外華人社區(qū)及國際市場輸出國際化的AI解決方案,系統(tǒng)提升中國科技創(chuàng)新標準的全球滲透力。
郭毅可坦言,站在新的歷史節(jié)點,HKGAI將在AI數(shù)據(jù)治理、校企協(xié)同人才培養(yǎng)、AI+香港特色產(chǎn)業(yè),如法律、金融、醫(yī)療等重點領(lǐng)域持續(xù)突破。“在世界AI發(fā)展的浪潮中,在國家AI發(fā)展的征途上,我們香港不能缺席,我們既要做攻堅尖刀,又可當科技試驗田?!惫憧傻倪@番展望,道出了HKGAI科技工作者的共同心聲。
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點,亦不代表本網(wǎng)站贊同其觀點或證實其內(nèi)容的真實性。如稿件版權(quán)單位或個人不想在本網(wǎng)發(fā)布,可與本網(wǎng)聯(lián)系,本網(wǎng)視情況可立即將其撤除。
互聯(lián)網(wǎng)新聞信息服務(wù)許可證10120230012 信息網(wǎng)絡(luò)傳播視聽節(jié)目許可證0121673 增值電信業(yè)務(wù)經(jīng)營許可證京B2-20171219 廣播電視節(jié)目制作經(jīng)營許可證(京)字第10250號
關(guān)于我們 中宏網(wǎng)動態(tài) 廣告服務(wù) 中宏網(wǎng)版權(quán)所有 京ICP備2023030128號-1 舉報電話:010-63359623
Copyright ? 2016-2025 by netresults-search.com. all rights reserved 運營管理:國家發(fā)展和改革委員會宏觀經(jīng)濟雜志社