在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的時(shí)代背景下，數(shù)據(jù)已成為基礎(chǔ)性資源、重要生產(chǎn)力和關(guān)鍵生產(chǎn)要素。習(xí)近平總書記深刻指出，數(shù)據(jù)在數(shù)字經(jīng)濟(jì)時(shí)代中的核心地位。近年來，隨著大模型技術(shù)的不斷突破，大規(guī)模高質(zhì)量訓(xùn)練數(shù)據(jù)的投入成為了推動(dòng)“以數(shù)據(jù)為中心的人工智能”邁向新階段的關(guān)鍵因素。Deep Seek 系列模型訓(xùn)練中大量高質(zhì)量推理數(shù)據(jù)集的使用，進(jìn)一步凸顯了高質(zhì)量數(shù)據(jù)在人工智能領(lǐng)域的重要性。為了加速這一進(jìn)程，國家數(shù)據(jù)局圍繞高質(zhì)量數(shù)據(jù)集建設(shè)，已經(jīng)開展了一系列的工作部署。

一、高質(zhì)量數(shù)據(jù)集建設(shè)的進(jìn)展與挑戰(zhàn)

在頂層設(shè)計(jì)上，國家數(shù)據(jù)局等17部門聯(lián)合印發(fā)的《“數(shù)據(jù)要素×”三年行動(dòng)計(jì)劃（2024—2026年）》，明確了場景需求牽引下的數(shù)據(jù)要素高質(zhì)量供給和合規(guī)高效流通。在地方層面，湖北、江蘇、浙江等省市積極響應(yīng)，明確了高質(zhì)量數(shù)據(jù)集建設(shè)的目標(biāo)、時(shí)間表和激勵(lì)機(jī)制。在行業(yè)層面，智源研究院發(fā)布的全球最大多行業(yè)中英雙語數(shù)據(jù)集IndustryCorpus 1.0，以及中國信通院推出的首個(gè)面向行業(yè)的人工智能數(shù)據(jù)集質(zhì)量評(píng)估體系，都標(biāo)志著高質(zhì)量數(shù)據(jù)集建設(shè)取得了積極進(jìn)展。

然而，高質(zhì)量數(shù)據(jù)集建設(shè)仍面臨諸多挑戰(zhàn)。首先，政府和業(yè)界對(duì)于行業(yè)高質(zhì)量發(fā)展所需數(shù)據(jù)的具體形態(tài)和需求缺乏清晰認(rèn)識(shí)。行業(yè)大模型數(shù)據(jù)的需求具有多樣性和復(fù)雜性，要求深入理解業(yè)務(wù)場景，并在數(shù)據(jù)處理和管理上具備高度靈活性。其次，行業(yè)企業(yè)在構(gòu)建高質(zhì)量數(shù)據(jù)集方面缺乏經(jīng)驗(yàn)和技術(shù)支持，傳統(tǒng)的數(shù)據(jù)處理工具和技術(shù)無法滿足大模型的需求。最后，業(yè)界對(duì)于行業(yè)數(shù)據(jù)集質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)不統(tǒng)一，導(dǎo)致無法有效獲取和利用高質(zhì)量數(shù)據(jù)集資源。

二、分類推動(dòng)高質(zhì)量數(shù)據(jù)集供給體系建設(shè)

針對(duì)上述挑戰(zhàn)，我們需要根據(jù)急用先行、分類推進(jìn)、合理使用的原則，加快高質(zhì)量數(shù)據(jù)集建設(shè)。具體來說，可以分為以下三個(gè)方面：

加快通識(shí)類高質(zhì)量數(shù)據(jù)集建設(shè)：這類數(shù)據(jù)集具有廣泛性和通用性，能夠?yàn)槠髽I(yè)提供豐富的訓(xùn)練資源和基準(zhǔn)測試環(huán)境。通過構(gòu)建公共數(shù)據(jù)集，可以促進(jìn)跨行業(yè)、跨領(lǐng)域的數(shù)據(jù)共享和知識(shí)融合，推動(dòng)行業(yè)大模型的持續(xù)進(jìn)步和快速發(fā)展。

加快行業(yè)通用類高質(zhì)量數(shù)據(jù)集建設(shè)：這類數(shù)據(jù)集針對(duì)特定行業(yè)或領(lǐng)域，具有高度的專業(yè)性和針對(duì)性。通過覆蓋行業(yè)領(lǐng)域?qū)I(yè)知識(shí)，可以提高模型在行業(yè)通識(shí)領(lǐng)域的泛化能力，為行業(yè)應(yīng)用提供有力支持。

加快行業(yè)專用類高質(zhì)量數(shù)據(jù)集建設(shè)：這類數(shù)據(jù)集根據(jù)行業(yè)企業(yè)自身業(yè)務(wù)場景和需求收集，具有針對(duì)性和定制化的特點(diǎn)。通過定制化優(yōu)化大模型算法和參數(shù)設(shè)置，可以深度挖掘內(nèi)部數(shù)據(jù)價(jià)值，實(shí)現(xiàn)模型與業(yè)務(wù)的高度適配。

三、提升高質(zhì)量數(shù)據(jù)集構(gòu)建能力

推動(dòng)高質(zhì)量數(shù)據(jù)集建設(shè)是一項(xiàng)系統(tǒng)工程，需要系統(tǒng)性地加強(qiáng)能力建設(shè)。具體來說，可以從以下幾個(gè)方面入手：

完善行業(yè)數(shù)據(jù)集管理體系：編制行業(yè)數(shù)據(jù)資源目錄，細(xì)化數(shù)據(jù)集的分類與分級(jí)。構(gòu)建高效協(xié)同的組織架構(gòu)，確保數(shù)據(jù)采集到模型應(yīng)用的每一步都得到有效管理和支持。制定詳盡標(biāo)準(zhǔn)，涵蓋數(shù)據(jù)生產(chǎn)、服務(wù)、質(zhì)量評(píng)估及數(shù)據(jù)集管理等方面。培養(yǎng)跨學(xué)科、跨專業(yè)的數(shù)據(jù)工程團(tuán)隊(duì)，為大模型的成功部署與持續(xù)優(yōu)化奠定堅(jiān)實(shí)基礎(chǔ)。

提升行業(yè)數(shù)據(jù)集開發(fā)維護(hù)能力：著力提升數(shù)據(jù)采集匯聚、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注等關(guān)鍵環(huán)節(jié)的技術(shù)工具能力。制定詳細(xì)的數(shù)據(jù)技術(shù)處理要求和方案，以保證不同階段的數(shù)據(jù)分布一致性。通過高效的自動(dòng)化和智能化標(biāo)注技術(shù)，提高數(shù)據(jù)標(biāo)注的準(zhǔn)確性和效率。

增強(qiáng)行業(yè)數(shù)據(jù)集質(zhì)量控制：從流程管理、質(zhì)量評(píng)估和組織規(guī)范三方面對(duì)大模型數(shù)據(jù)集生產(chǎn)到管理的各環(huán)節(jié)進(jìn)行能力規(guī)范和等級(jí)評(píng)定。設(shè)計(jì)具體規(guī)則和方法，采用自動(dòng)化標(biāo)注和人工抽樣的方式對(duì)數(shù)據(jù)集自身質(zhì)量進(jìn)行前置檢測，采用模型驗(yàn)證和消融實(shí)驗(yàn)的方式對(duì)數(shù)據(jù)集在大模型的應(yīng)用效果進(jìn)行后置檢測。通過模型效果反饋進(jìn)行數(shù)據(jù)集質(zhì)量優(yōu)化，確保數(shù)據(jù)集的高質(zhì)量生產(chǎn)和管理。

四、結(jié)語

高質(zhì)量數(shù)據(jù)集是推動(dòng)“人工智能+”行動(dòng)的新引擎。此次高質(zhì)量數(shù)據(jù)集建設(shè)工作啟動(dòng)會(huì)發(fā)出了動(dòng)員令、吹響了集結(jié)號(hào)。相信在國家數(shù)據(jù)局的引領(lǐng)下，通過政、產(chǎn)、學(xué)、研、用多方協(xié)同，我國高質(zhì)量數(shù)據(jù)集建設(shè)步伐將越來越快，為人工智能賦能實(shí)體經(jīng)濟(jì)注入強(qiáng)勁動(dòng)力。讓我們攜手共進(jìn)，共同開創(chuàng)高質(zhì)量數(shù)據(jù)集建設(shè)的新篇章！