新年伊始,DeepSeek系列模型的火爆“出圈”吸引了AI領域甚至全社會的廣泛關注,其發(fā)布的推理模型R1以及千億參數(shù)模型V3憑借超低訓練成本、媲美國外主流模型的性能以及開源生態(tài)模式震驚全球,在國內(nèi)外刮起一陣人工智能“創(chuàng)新風”。作為在城市治理領域深耕二十多年的智慧城市核心應用和運營服務提供商,數(shù)字政通持續(xù)在一網(wǎng)統(tǒng)管、法治政府以及城市管理信息采集等業(yè)務場景積極探索大模型智能化落地應用。公司將接入DeepSeek模型作為基礎模型賦能城市治理行業(yè)大模型產(chǎn)品,助力城市治理“深度思考”,提升城市治理智能化應用水平。“人和”行業(yè)大模型是數(shù)字政通從“網(wǎng)格化”到“一網(wǎng)統(tǒng)管”發(fā)展過程中,專注于城市治理行業(yè)應用,立足于全國5000多個項目沉淀的業(yè)務和數(shù)據(jù)基礎,全面擁抱生成式人工智能技術趨勢而發(fā)布的AI大模型產(chǎn)品。該模型基于通用大模型底座,結合城市治理行業(yè)經(jīng)驗和專業(yè)知識進行微調(diào),打造更符合行業(yè)需求的應用創(chuàng)新范式。
人和大模型業(yè)務架構
“人和”行業(yè)大模型專注于城市治理垂直場景應用落地,其靈活解耦的大模型基礎底座支持通用大模型集成與接入、行業(yè)大模型發(fā)布與應用,數(shù)字政通積極擁抱DeepSeek,目前已經(jīng)完成DeepSeek-R1模型的接入并推進業(yè)務場景應用測試。通過接入DeepSeek-R1模型,在民生訴求業(yè)務場景中風險事件識別、工單小結、標簽提取3個特定任務進行驗證測試。具體示例如下:
風險事件識別
工單小結
標簽提取
未經(jīng)工單數(shù)據(jù)標注和模型微調(diào)訓練,DeepSeek-R1在3個特定任務中的表現(xiàn)均達到預期,可以滿足實際業(yè)務場景需求。
通過接入DeepSeek-R1模型,基于 DeepSeek訓練方案優(yōu)化公司行業(yè)大模型產(chǎn)品,將加快“人和”大模型產(chǎn)品的技術突破,可從數(shù)據(jù)依賴程度、模型推理效果、模型訓練成本等方面極大提升城市治理領域中行業(yè)大模型落地應用價值。具體包括:
(1)降低數(shù)據(jù)依賴:傳統(tǒng)大模型訓練依賴大量標注數(shù)據(jù)做有監(jiān)督微調(diào),而 DeepSeek 的強化學習更注重數(shù)據(jù) “信息密度”,通過實時反饋動態(tài)進行模型優(yōu)化。在民生訴求熱線業(yè)務中,可減少對大規(guī)模熱線工單數(shù)據(jù)標注的依賴,能根據(jù)實時的用戶反饋進行快速調(diào)整和優(yōu)化,提高模型的靈活性和適應性。
(2)提升模型推理效果:通過強化學習,在僅有很少標注數(shù)據(jù)的情況下極大提升了模型的推理能力,這可以使熱線智能客服業(yè)務中處理客戶咨詢等問題時,更準確地理解問題意圖,提供更精準的回答和解決方案。比如在處理復雜的技術咨詢或業(yè)務流程問題時,能快速推理出正確答案。
(3)解決算力不足難題:城市治理領域需要處理海量數(shù)據(jù)(如視頻監(jiān)控、熱線工單、地理空間數(shù)據(jù)、案件文書等),傳統(tǒng)本地服務器算力有限,難以支撐實時分析或復雜模型訓練。DeepSeek采用混合專家(MoE)機制和模型壓縮(如知識蒸餾、量化技術)等算法優(yōu)化提升訓練效率,降低行業(yè)大模型應用的算力門檻。
對于城市治理領域,動輒上萬路視頻監(jiān)控、幾十萬案件文書、上百萬圖片、上千萬熱線工單的數(shù)據(jù)處理需求,大模型落地應用的成本問題不可回避。與業(yè)內(nèi)普遍使用的監(jiān)督微調(diào)(SFT)訓練范式不同,DeepSeek采用了直接強化學習方法,有效降低了訓練成本。傳統(tǒng)的強化學習從人類反饋中進行強化學習(RLHF)需要大量人力進行評分反饋,成本高、時間長。DeepSeek 采用自動化強化學習,降低了人力成本,這使城市治理行業(yè)垂直大模型能夠更快地迭代和更新,及時適應業(yè)務的發(fā)展和變化。
2024年,公司與華為昇騰、新華三開展了算力層面的合作,分別完成在華為AI框架昇思MindSpore昇騰兼容性技術認證和H3C·R5300 G6服務器(天數(shù)智芯GPU)適配認證,在國產(chǎn)化算力適配方面取得進展。公司將繼續(xù)提升“人和”大模型在國產(chǎn)化算力方面的適應性,以滿足城市治理行業(yè)信創(chuàng)要求。
2025年公司研發(fā)架構重點支持AI部門的投入,并積極推動各個應用部門場景的全面AI化工作,力爭所有應用部門均有具體場景的落地。另外,公司核心產(chǎn)品“麒艦”已經(jīng)全面接入人和大模型能力,這次DeepSeek對人和大模型的能力加持即將在核心產(chǎn)品上得到體現(xiàn)。數(shù)字政通“人和”大模型將在一網(wǎng)統(tǒng)管、法治政府、城市信息智能采集等業(yè)務場景中利用DeepSeek大模型的“深度思考”能力,繼續(xù)探索城市治理領域Agent智能體應用,構建行業(yè)大模型應用方案,并在深圳、福建、青島、天津等地的熱線和執(zhí)法項目以及全國100個智能采集項目落地。其中:(1)一網(wǎng)統(tǒng)管:打造民生訴求熱線全流程智能化應用及智能標簽體系,提升工單響應與問題解決效率,精準定位分類訴求,優(yōu)化工單流轉,增強數(shù)據(jù)分析,為政府決策提供依據(jù),推動民生服務升級。(2)法治政府:構建智能評查模式與文書要素體系,實現(xiàn)案件全量自動化評查與輔助辦案,提升執(zhí)法效率和評查精準度,挖掘分析數(shù)據(jù)優(yōu)化執(zhí)法,助力法治政府建設。(3)城市信息智能采集:探索移動智能采集視覺多模態(tài)大模型應用落地,降低人工標注投入,實現(xiàn)城市場景自動識別與問題發(fā)現(xiàn),實時監(jiān)測與預警風險,為城市管理決策供依據(jù)。我們將從城市治理行業(yè)需求出發(fā),以解耦的架構集成如DeepSeek-R1等領先的基座模型,結合豐富的行業(yè)經(jīng)驗,提升城市治理行業(yè)大模型能力。在數(shù)據(jù)融合處理、模型優(yōu)化、智能決策分析方面進行深化研發(fā),打造行業(yè)數(shù)據(jù)分析、數(shù)字人智能客服、行業(yè)智能體等應用,提升城市治理行業(yè)大模型智能化應用水平。