2025年2月25日，香港生成式人工智能研發(fā)中心 (HKGAI) V1大模型全球首發(fā)發(fā)布會舉行，香港特區(qū)政府重點(diǎn)創(chuàng)科項(xiàng)目“InnoHK創(chuàng)新香港研發(fā)平臺”（InnoHK）資助的香港生成式人工智能研發(fā)中心（HKGAI）正式發(fā)布業(yè)界首個基于DeepSeek 671B全參數(shù)微調(diào)、持續(xù)訓(xùn)練產(chǎn)生的大模型HKGAI V1，并計(jì)劃將該模型接入自研AI智能對話應(yīng)用“港話通”（手機(jī)版）、公文寫作系統(tǒng)“港文通”（HKPilot）以及其他系統(tǒng)，全面支持粵語、英語和普通話。
此次發(fā)布的HKGAI V1大模型，從立項(xiàng)到正式推出歷時(shí)僅一年半，標(biāo)志著香港在生成式人工智能領(lǐng)域取得重大突破。模型的研發(fā)始于ChatGPT發(fā)布初期，當(dāng)時(shí)該技術(shù)尚未對香港開放。特區(qū)政府迅速組織專家團(tuán)隊(duì)探討發(fā)展路徑，并決定整合資源，建立自主研發(fā)的平臺。
在香港科技大學(xué)的帶領(lǐng)下，以及其他本地大學(xué)和海外科研機(jī)構(gòu)的共同參與下，HKGAI迅速成立。在短短一年內(nèi)，中心就開發(fā)出首個大語言模型版本“港文通”，并率先在70多個政府部門試用和訓(xùn)練，得到了特區(qū)政府的大力支持。之后，團(tuán)隊(duì)結(jié)合DeepSeek的底座模型架構(gòu)和HKGAI優(yōu)秀的數(shù)據(jù)處理功能，最終成功推出HKGAI V1大模型。
孫東強(qiáng)調(diào)，特區(qū)政府積極推動人工智能發(fā)展，建設(shè)了人工智能超算中心，推出30億港元人工智能資助計(jì)劃，吸引了800多家人工智能企業(yè)落戶科學(xué)園和數(shù)碼港。他表示，香港在這波人工智能浪潮中沒有缺席，并對香港科學(xué)家和HKGAI團(tuán)隊(duì)的貢獻(xiàn)給予高度肯定。展望未來，他希望HKGAI V1大模型能盡快服務(wù)香港市民和業(yè)界，并惠及海外華人，為香港人工智能發(fā)展開啟新篇章。
“聰明的香港AI對話助手”迅速上線，離不開由HKGAI和北京大學(xué)聯(lián)合組成的技術(shù)團(tuán)隊(duì)的攻關(guān)突破，也離不開香港數(shù)碼港給予大力支持?！拔覀冊诙潭處字軆?nèi)完成DeepSeek 671B大模型從基座遷移到全參數(shù)微調(diào)的開發(fā)流程?！盚KGAI預(yù)研部主任韓斯睿教授表示，區(qū)別于常見的輕量級微調(diào)方案，研發(fā)人員基于本地千卡算力集群，對模型千億參數(shù)進(jìn)行全參數(shù)監(jiān)督微調(diào)，在確保通用智能水平不降級的前提下，完成模型的本地化，實(shí)現(xiàn)了對香港語言文化、政務(wù)流程、商業(yè)規(guī)范等垂直領(lǐng)域的深度適配。
據(jù)核心技術(shù)人員透露，HKGAI技術(shù)團(tuán)隊(duì)成功突破671B全參數(shù)微調(diào)領(lǐng)域一系列技術(shù)壁壘，為國產(chǎn)大模型的持續(xù)訓(xùn)練提供了創(chuàng)新解決方案。開源基座的訓(xùn)練支持缺失是技術(shù)團(tuán)隊(duì)遭遇的首個“攔路虎”。通過深入解析核心論文，技術(shù)團(tuán)隊(duì)重構(gòu)了模型架構(gòu)的關(guān)鍵組件。面對數(shù)據(jù)配比這一行業(yè)共性難題，技術(shù)團(tuán)隊(duì)通過大量實(shí)驗(yàn)，分析不同數(shù)據(jù)子集對模型收斂速度和泛化能力的影響，實(shí)現(xiàn)目前的最好效果。針對671B超大參數(shù)規(guī)模模型，技術(shù)團(tuán)隊(duì)成功在較短時(shí)間內(nèi)攻克高并發(fā)場景下的推理計(jì)算難關(guān)。該框架已形成完整技術(shù)棧，未來可快速復(fù)用于其他超大規(guī)模模型訓(xùn)練。
