華大在線訊（通訊員 萬(wàn)仟）近日，人工智能教育學(xué)部劉三女牙教授團(tuán)隊(duì)在教育大模型研究方向取得重要進(jìn)展，創(chuàng)新性提出基于經(jīng)典教育學(xué)理論“經(jīng)驗(yàn)之塔”的教育大模型塔式構(gòu)建法，在此基礎(chǔ)上設(shè)計(jì)了多智能體自主驅(qū)動(dòng)的教學(xué)場(chǎng)景數(shù)據(jù)合成框架，為促進(jìn)教育大模型創(chuàng)新發(fā)展提供了一種新穎且有效的技術(shù)途徑。此外，研究團(tuán)隊(duì)成功獲批本年度國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“面向智慧教育的多模態(tài)模型構(gòu)建方法”。

研究成果“COMET: ‘Cone of Experience’ Enhanced Large Multimodal Model for Mathematical Problem Generation”在《中國(guó)科學(xué):信息科學(xué)》英文版《SCIENCE CHINA Information Sciences》在線發(fā)表。數(shù)學(xué)試題作為重要的知識(shí)載體與考核工具，其自動(dòng)生成技術(shù)在教學(xué)過(guò)程中具有重要的應(yīng)用價(jià)值。傳統(tǒng)出題與解題分離的研究路徑、單調(diào)的微調(diào)數(shù)據(jù)結(jié)構(gòu)以及單一的模型優(yōu)化目標(biāo)，限制了數(shù)學(xué)試題生成模型在教學(xué)場(chǎng)景中的應(yīng)用。該成果從能力互促與應(yīng)用邏輯出發(fā)，在一個(gè)大模型上整合了題干生成與題目解析兩種能力；提出了一種基于“經(jīng)驗(yàn)之塔”的三階段塔式構(gòu)建框架，以類人學(xué)習(xí)的視角探索大模型訓(xùn)練過(guò)程類比人類學(xué)習(xí)經(jīng)歷的有效性，通過(guò)剖析優(yōu)秀人類教師的成長(zhǎng)歷程，將微調(diào)數(shù)據(jù)按照抽象、觀察和實(shí)踐三個(gè)層次的經(jīng)驗(yàn)內(nèi)涵分別構(gòu)造，并設(shè)計(jì)多種精細(xì)化的數(shù)據(jù)形式與注入方法；構(gòu)建了一個(gè)中文多模態(tài)數(shù)學(xué)試題數(shù)據(jù)集CMM12K，為后續(xù)研究提供測(cè)評(píng)基準(zhǔn)。在三個(gè)數(shù)據(jù)集上執(zhí)行10個(gè)模型參與的高達(dá)15個(gè)測(cè)試維度的性能對(duì)比：相比開(kāi)源大模型，所提方法在12個(gè)測(cè)試維度上達(dá)到了當(dāng)前領(lǐng)域最佳水平。

研究成果“VCR: A ‘Cone of Experience’ Driven Synthetic Data Generation Framework for Mathematical Reasoning”被人工智能?chē)?guó)際頂級(jí)會(huì)議AAAI《The 39th Annual AAAI Conference on Artificial Intelligence》正式接收錄用。大語(yǔ)言模型在自然語(yǔ)言處理方面性能出色，但面對(duì)數(shù)學(xué)推理往往存在較大挑戰(zhàn)。隨著訓(xùn)練模式的逐漸固化，學(xué)術(shù)界提出以數(shù)據(jù)為中心的人工智能思想，強(qiáng)調(diào)開(kāi)發(fā)更高質(zhì)量的數(shù)據(jù)以增強(qiáng)大語(yǔ)言模型性能?，F(xiàn)有研究擴(kuò)展數(shù)據(jù)集構(gòu)建面向數(shù)學(xué)推理的合成數(shù)據(jù)，進(jìn)而監(jiān)督微調(diào)大語(yǔ)言模型。這類方法大多關(guān)注數(shù)量而忽視質(zhì)量，具有挑戰(zhàn)性的樣本在數(shù)據(jù)合成過(guò)程中沒(méi)有得到充分的考慮，導(dǎo)致數(shù)據(jù)構(gòu)建成本高、密度低、同質(zhì)化嚴(yán)重。該成果提出了一種名為Virtual ClassRoom（VCR）的多智能體環(huán)境，利用大語(yǔ)言模型驅(qū)動(dòng)多種智能體角色構(gòu)建高質(zhì)量、多元化的合成數(shù)據(jù)。基于“經(jīng)驗(yàn)之塔”理論，VCR類比人類學(xué)習(xí)，在數(shù)據(jù)合成過(guò)程中引入三個(gè)層次的經(jīng)驗(yàn)，精心設(shè)計(jì)了用戶友好的指令集和角色扮演系統(tǒng)，使VCR能夠自主規(guī)劃合成數(shù)據(jù)的規(guī)模。該系統(tǒng)實(shí)現(xiàn)了包括講授、研討、問(wèn)題設(shè)計(jì)、問(wèn)題解決等多種教育場(chǎng)景的自主模擬。多個(gè)實(shí)驗(yàn)表明VCR生成的合成數(shù)據(jù)具有更高的質(zhì)量密度和泛化能力，能夠以較小的訓(xùn)練代價(jià)提高大語(yǔ)言模型的數(shù)學(xué)推理性能。

近年來(lái)，劉三女牙教授帶領(lǐng)研究團(tuán)隊(duì)立足“人工智能+教育”國(guó)家戰(zhàn)略需求和學(xué)術(shù)前沿，系統(tǒng)化開(kāi)展教育可計(jì)算理論、方法與應(yīng)用創(chuàng)新研究，在教育研究、Nature Computational Science、C&E、ACM/IEEE Trans，以及AAAI、ACM MM、AIED、WWW等教育科學(xué)、信息科學(xué)領(lǐng)域的頂刊頂會(huì)發(fā)表了一系列成果，發(fā)展了AI4EduSci教育科學(xué)智能新范式、計(jì)算教育學(xué)新方向以及教育大模型構(gòu)建新方法，服務(wù)于中國(guó)特色教育科學(xué)知識(shí)體系建構(gòu)與教育強(qiáng)國(guó)建設(shè)。

SCIENCE CHINA Information Sciences是由中國(guó)科學(xué)院和國(guó)家自然科學(xué)基金委員會(huì)共同主辦的期刊，致力于發(fā)表在計(jì)算機(jī)科學(xué)與技術(shù)、控制科學(xué)與工程、信息與通信工程、微電子與固體電子、量子信息等信息科學(xué)領(lǐng)域的高質(zhì)量、原創(chuàng)成果。該刊是SCI JCR Q1期刊，也是中國(guó)計(jì)算機(jī)學(xué)會(huì)CCF推薦A類期刊。

AAAI是人工智能促進(jìn)協(xié)會(huì)主辦的國(guó)際頂級(jí)人工智能學(xué)術(shù)會(huì)議，旨在推動(dòng)人工智能科學(xué)研究，促進(jìn)人工智能領(lǐng)域研究人員、從業(yè)者、科學(xué)家、學(xué)生和工程師之間的學(xué)術(shù)交流，主題包括機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、數(shù)據(jù)挖掘、多智能體系統(tǒng)、知識(shí)表示和人在回路人工智能等。AAAI是中國(guó)計(jì)算機(jī)學(xué)會(huì)CCF推薦A類會(huì)議。

劉三女牙教授為SCIENCE CHINA Information Sciences與AAAI兩篇論文成果的第一作者，萬(wàn)仟博士后、沈筱譞博士后與孫建文教授為論文共同通訊作者，華中師范大學(xué)為SCIENCE CHINA Information Sciences論文成果的第一完成單位，以及AAAI論文成果的唯一完成單位。浙江大學(xué)為SCIENCE CHINA Information Sciences論文成果的合作完成單位，羅亞威研究員參與該論文的合作研究。研究獲得了國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“面向智慧教育的多模態(tài)模型構(gòu)建方法”、國(guó)家自然科學(xué)基金重大項(xiàng)目“人工智能賦能教與學(xué)的理論與關(guān)鍵技術(shù)研究”、新一代人工智能?chē)?guó)家科技重大專項(xiàng)項(xiàng)目“面向智慧教育的學(xué)習(xí)者認(rèn)知與情感計(jì)算研究”等資助。

相關(guān)鏈接：

https://engine.scichina.com/doi/10.1007/s11432-024-4242-0

https://mp.weixin.qq.com/s/vtpeGydR9Nr8gL2-ycrlkw

（審讀人：左明章）