實踐項目 返回列表

核心素養的認知(zhī)診斷測評體系建構

2020/4/26 10:31:25

核心素養是全球教育界關注的焦點問題,也(yě)是當下(xià)教育改革的風(fēng)向标。然而,如何合理(lǐ)測評學科核心素養成爲教育改革和(hé)發展的重要議(yì)題,學科核心素養的測評需加關注各種新型評價形式[1]。認知(zhī)診斷測評作(zuò)爲一種新的教育測評範式,旨在将嚴格的心理(lǐ)測量标準與形成性評估的目标相結合[2]。通過知(zhī)識鏈間的關系獲取更恰當的學習路徑和(hé)學習進階,更好(hǎo)地指導教學實踐。本研究采用(yòng)認知(zhī)診斷測評理(lǐ)論,試圖爲核心素養的測評提供新的視(shì)角和(hé)方法。


認知(zhī)診斷用(yòng)于核心素養測評的可行性分析

1 核心素養的本質特征決定了(le)它的可測性

可測性是素養測評的前提,素養的本質決定了(le)素養的可測性,如素養是知(zhī)識、技能(néng)、态度的超越和(hé)統整,是一整套可以被觀察、教授、習得和(hé)測量的行爲[3]。素養是完成某一情境工(gōng)作(zuò)任務所必需的一系列行爲模式,這(zhè)些(xiē)行爲與績效表現(xiàn)密切相關[4]。核心素養具有可測量性,可加以評價,核心素養的表現(xiàn)水(shuǐ)平可經過推測得知(zhī),呈現(xiàn)出一個連續體的狀态,代表構成要素的高(gāo)低(dī)水(shuǐ)平[5]。可見,核心素養是在繼承“三維目标”的基礎上(shàng)發展出來(lái)的、更具有統整性的概念,它不能(néng)脫離知(zhī)識而存在,是通過知(zhī)識積累、技能(néng)發展、态度養成而形成的綜合行爲能(néng)力。如歐盟核心素養框架就是将行爲導向的核心素養分解成知(zhī)識、技能(néng)和(hé)态度三個方面來(lái)進行評價的[6]。這(zhè)種可分解性,對(duì)核心素養的認知(zhī)診斷測評起着至關重要的作(zuò)用(yòng)。


2 核心素養與認知(zhī)診斷技術都具有内隐性

核心素養具有綜合性、内隐性、情境性和(hé)适應性等特點,難以直接觀察,必須将核心素養依附于具體行爲,通過觀察外(wài)顯的行爲表現(xiàn)來(lái)間接了(le)解内隐的核心素養狀況。如歐盟國家核心素養評價的一種思路是将核心素養轉換爲可觀察的外(wài)顯行爲,對(duì)核心素養開(kāi)展評價[7]。認知(zhī)診斷測評作(zuò)爲新型的測評手段,是高(gāo)級潛變量模型,主要解決通過傳統測評無法測量的内部能(néng)力問題。利用(yòng)認知(zhī)診斷測評技術來(lái)測量學生的核心素養,可以較好(hǎo)地将核心素養内隐的特征外(wài)顯化,讓核心素養的測評從(cóng)模糊狀态轉爲清晰,爲了(le)解核心素養的内部特征及其結構化特點提供新視(shì)角。


3 認知(zhī)診斷測評使素養測評更加可操作(zuò)

認知(zhī)診斷需要将核心素養所代表的行爲能(néng)力分析成認知(zhī)屬性,進而通過現(xiàn)代心理(lǐ)學和(hé)測量學的手段對(duì)核心素養的内部結構、認知(zhī)規律及其在細粒度上(shàng)的表現(xiàn)做出全面的診斷和(hé)評價。認知(zhī)診斷測評不僅注重學生個性化的評價,而且關注群體的學習路徑和(hé)學習進階等整體狀态。因此,核心素養的認知(zhī)診斷測評成爲了(le)評價學生學業成就、考量課标教材合理(lǐ)性、指導教學有效有序開(kāi)展的依據。此外(wài),認知(zhī)診斷測評讓核心素養的計(jì)算(suàn)機自(zì)适應測評也(yě)成爲可能(néng),如美(měi)國計(jì)算(suàn)機自(zì)适應測驗已經以不同形式存在于州立K-12教育測評中[8]。核心素養的認知(zhī)診斷測評更加具體,師生對(duì)核心素養的理(lǐ)解更加深刻,使得有針對(duì)性地培養學生核心素養有了(le)可操作(zuò)的依據。


核心素養測評的認知(zhī)診斷體系建構

1 理(lǐ)論假設與基礎論證

核心素養的屬性層次界定是核心素養認知(zhī)診斷測評的基石,它直接影響認知(zhī)診斷測評的質量。屬性層次既要符合學科邏輯思維,又要遵循學生認知(zhī)規律——這(zhè)就要求屬性層次建構者在學科理(lǐ)解的基礎上(shàng),充分了(le)解學生的認知(zhī)規律,既要有豐富的學科經驗,又要有大(dà)量的學生知(zhī)識。Leighton等[9]認爲,目前認知(zhī)診斷屬性在達到(dào)評估和(hé)診斷目的方面存在困難。爲解決這(zhè)一困難,國際上(shàng)較爲成熟的辦法是聯合學科專家、心理(lǐ)測評專家和(hé)一線教師,來(lái)開(kāi)發認知(zhī)診斷屬性層次。此外(wài),還可以采用(yòng)心理(lǐ)研究的方法來(lái)構建适合認知(zhī)診斷的屬性層次,如口語報(bào)告法、眼動研究技術等。屬性的細粒度直接影響結果的解析深度,由于測評目的不同,其屬性的劃分也(yě)存在差異。但(dàn)從(cóng)數據的複雜(zá)性角度來(lái)考慮,一般屬性個數以6~9個爲宜。若某一核心素養的屬性有6個,那麽可能(néng)的屬性類型有以下(xià)5種[10],如圖1所示。

未标題-1.jpg

圖1  屬性層次關系的基本類型


2 認知(zhī)診斷測評編制

在認知(zhī)診斷測評編制中,Q矩陣起到(dào)了(le)結構化統領的作(zuò)用(yòng)。Q矩陣理(lǐ)論将被試不可觀察的認知(zhī)狀态轉化爲在項目上(shàng)可觀察的作(zuò)答(dá)模式,以此來(lái)分析和(hé)推測被試的認知(zhī)狀态[11]。以圖1中的C類分支型爲例,用(yòng)1表示考查該屬性,0表示不考察。這(zhè)樣,一道(dào)試題總計(jì)可能(néng)的考查模式應有26個。本研究在圖1中C類屬性層次關系的限制下(xià),計(jì)算(suàn)出理(lǐ)想測量模式,如表1所示。


表1  C類分支型的理(lǐ)想測量模式屬性考查分布

未标題-2.jpg


在表1的理(lǐ)想測量模式中,排除學生做題過程中的猜測與忽視(shì)情況,可以推導出屬性掌握模式及其對(duì)應的理(lǐ)想反應模式,如表2所示。


表2  C類分支型屬性的掌握模式及其對(duì)應的理(lǐ)想反應模式

未标題-3.jpg


在表2中,屬性掌握模式(100100)表明(míng)學生隻掌握了(le)第一個和(hé)第四個屬性——在這(zhè)種掌握模式下(xià),排除猜測和(hé)忽視(shì)情況,學生隻能(néng)夠做對(duì)T1、T4、T12、T15測試題。


3 認知(zhī)診斷模型選擇與應用(yòng)

認知(zhī)診斷測評依據不同的測評條件開(kāi)發出了(le)多種模型。以RSM爲例,該模型爲了(le)将測量得到(dào)的多維度數據降到(dào)二維空(kōng)間進行分類,構建了(le)一組序偶(θ,ζ),規則空(kōng)間是以(θ,ζ)爲參數的分類笛卡爾乘積二維空(kōng)間。其中,θ表示項目反應理(lǐ)論中計(jì)算(suàn)出的被試的能(néng)力值,ζ表示警戒指标,即能(néng)力爲θ的被試實際反應模式偏離理(lǐ)想反應模式的程度[12]因此,可以依據理(lǐ)想反應模式計(jì)算(suàn)出标準的規則點(純規則點)(θRi,ζRi)和(hé)實際反應模式(θXi,ζXi)。定義ζ的值如公式(1)所示。其中,P(θ)=[P1(θ), P2(θ),…,Pi(θ)](i=1 ,2, 3, …, n),Pi(θ)指能(néng)力爲θ的被試在第i個項目上(shàng)作(zuò)答(dá)正确的概率。

未标題-4.jpg

公式(1)


雙參數評估中P(θ)的計(jì)算(suàn)如公式(2)所示,其中ai, bi指第i個項目的區(qū)分度和(hé)難度,D一般取常值1.7。T(θ)指正确回答(dá)項目概率的均值向量,其計(jì)算(suàn)如公式(3)所示,其中t1(θ)的計(jì)算(suàn)如公式(4)所示。

6.png

依據以上(shàng)規則空(kōng)間模型,計(jì)算(suàn)出純規則點(θRi,ζRi)和(hé)實際反應模式(θXi,ζXi),一般采用(yòng)馬氏距離判别法或貝葉斯方法,按照純規則點将被試分到(dào)不同的理(lǐ)想反應模式中,即可達到(dào)對(duì)被試進行分類診斷的目的[14]


4 結果分析與診斷報(bào)告

認知(zhī)診斷測評了(le)解學生在多維、細粒度的潛在認知(zhī)屬性上(shàng)的差異,充分體現(xiàn)了(le)學生診斷性、個性化的形成性評估特點;同時(shí),也(yě)可以通過知(zhī)識鏈間的關系獲取更恰當的學習路徑和(hé)學習進階,關注統整性的終結性評估。認知(zhī)診斷測評模型的本質,就是通過心理(lǐ)測量學手段,按照實際反應模式和(hé)理(lǐ)想反應模式匹配的最大(dà)概率,将被試劃歸到(dào)不同的理(lǐ)想掌握模式中,進而依據被試在理(lǐ)想掌握模式所處的狀态對(duì)被試進行有針對(duì)性的屬性掌握策略與方法的補救。除此之外(wài),認知(zhī)診斷測評還可以獲得學生核心素養的學習進階。學習進階作(zuò)爲學生學習某一領域知(zhī)識的認知(zhī)過程和(hé)發展順序,涉及對(duì)發展學生相關認知(zhī)活動的描述,對(duì)整個教育教學有奠基作(zuò)用(yòng),也(yě)可爲國家課程标準的修訂、教材的編寫、教學順序的安排以及學生學習效果的測評提供基礎性的理(lǐ)論支持。


核心素養的認知(zhī)診斷測評的案例分析

認知(zhī)診斷中屬性建構是整個測評的基礎。本研究以數感爲例進行案例分析,将數感分爲9個認知(zhī)屬性[15]——A1:理(lǐ)解整數的基本含義;A2:理(lǐ)解分數和(hé)小(xiǎo)數的基本含義;A3:數字的多元化表示;A4:理(lǐ)解整數的相對(duì)和(hé)絕對(duì)大(dà)小(xiǎo);A5:理(lǐ)解分數的相對(duì)和(hé)絕對(duì)大(dà)小(xiǎo);A6:整數運算(suàn);A7:分數、小(xiǎo)數的簡單運算(suàn);A8:分數、小(xiǎo)數的複雜(zá)運算(suàn);A9:整數的應用(yòng)。數感的認知(zhī)診斷屬性模型如圖2所示。按照理(lǐ)想測量模式對(duì)屬性考查的要求形成了(le)測評工(gōng)具,其部分測試樣題如表3所示。

未标題-7.jpg

圖2  數感的認知(zhī)診斷屬性模型


表3  數感認知(zhī)診斷測試樣題(部分)

未标題-8.jpg


本研究依據規則空(kōng)間模型建立的序偶[(θ,ζ)]規則,計(jì)算(suàn)出純規則點(θXi,ζXi);依據被試測量的實際數據,計(jì)算(suàn)出實際反應模式對(duì)應的序偶(θXi,ζXi);使用(yòng)馬氏距離衡量學生實際反應模式的點與理(lǐ)想反應模式的純規則點之間的距離,其主要的能(néng)力值θ和(hé)對(duì)應的掌握模式如表4所示[16]


表4  數感的認知(zhī)診斷分類結果

未标題-9.jpg


表4顯示,三年級學生主要掌握了(le)A1、A2、A3、A4和(hé)A6屬性,并且這(zhè)些(xiē)掌握模式對(duì)應的能(néng)力值相對(duì)較低(dī)。四年級學生進一步掌握了(le)A5和(hé)A9屬性,并且對(duì)應的能(néng)力值也(yě)有所增加。五年級學生幾乎掌握了(le)所有的屬性,并且在θ=5.48、θ=3.62等高(gāo)能(néng)力的掌握模式上(shàng)占據較大(dà)的比例。針對(duì)不同水(shuǐ)平的學生,可以制定個性化的補救方案,如對(duì)于隻掌握A1和(hé)A2的學生,補救途徑可以是A3→A4→A5→A6→A9→A7→A8或A4→A6→A9→A3→A5→A7→A8。在第一種補救方法中,學生首先了(le)解數字的大(dà)小(xiǎo),然後掌握整數的運算(suàn)和(hé)應用(yòng),最後掌握分數和(hé)小(xiǎo)數的運算(suàn);而在第二種補救方法中,學生首先提高(gāo)對(duì)整數的數感,然後提高(gāo)對(duì)分數和(hé)小(xiǎo)數的數感。


啓示與讨論

1 啓示

(1)認知(zhī)診斷測評使核心素養的測評從(cóng)理(lǐ)念性的描述轉化爲實踐性的操作(zuò)

到(dào)目前爲止,學習測評的觀念發生了(le)兩次重要改變:第一次是由“對(duì)學習的評價”到(dào)“爲了(le)學習的評價”;第二次是從(cóng)“爲了(le)學習的評價”到(dào)“評價是學習的一種方式”[17]。評價理(lǐ)念的變化,要求核心素養的評價要突出學生本身在學習中的主體地位和(hé)作(zuò)用(yòng),能(néng)夠制定個性化的評價方案和(hé)策略。然而,現(xiàn)有核心素養的評價标準僅停留在對(duì)認知(zhī)水(shuǐ)平的描述階段,是一種表現(xiàn)性的标準,這(zhè)種标準是學生被劃入相應類别所需的特定表現(xiàn)(包括知(zhī)識、技能(néng)和(hé)能(néng)力等)的最低(dī)水(shuǐ)平描述[18],其評價的結果主觀性太強,故難以提出可操作(zuò)的培養措施和(hé)補救措施。核心素養的認知(zhī)診斷測評将評價的目标整合到(dào)測評體系中,依據學生行爲能(néng)力表現(xiàn)推測學生素養水(shuǐ)平,可實現(xiàn)通過外(wài)在表現(xiàn)推測内隐特征的目的。這(zhè)種評價将學生的素養水(shuǐ)平按照不同的理(lǐ)想掌握模式進行細分,并給每種掌握模式制定了(le)個性化的補救方案。可見,認知(zhī)診斷測評技術可将籠統的核心素養評價更加清晰化,爲核心素養評價并通過評價促進核心素養的培育起到(dào)了(le)重要作(zuò)用(yòng)。


(2)核心素養的認知(zhī)診斷測評兼具形成性評估和(hé)終結性評估的特點

核心素養是一個人在某個方面的關鍵能(néng)力和(hé)重要品質,具有高(gāo)度的抽象性和(hé)綜合性,因此其評價需要關注整合性,不宜碎片化。但(dàn)是,由于核心素養的内隐性和(hé)綜合性特征,在如何評價、培養學生的核心素養方面存在很(hěn)大(dà)困難,因此核心素養的評價還需要進行形成性評估。如PIAS中核心素養的評價既能(néng)夠通過作(zuò)答(dá)反映學生在思維品質上(shàng)的差異,也(yě)可關注學生的個性化發展和(hé)創造性表現(xiàn),有利于對(duì)學生進行個性化診斷[19]。核心素養的認知(zhī)診斷測評可以得到(dào)每一個學生的診斷報(bào)告,發現(xiàn)學生在學習中存在的問題,以及在全體學生中所處的水(shuǐ)平,從(cóng)而有針對(duì)性地提出補救的方案和(hé)路徑。在終結性評估方面,通過測評可以得到(dào)核心素養的學習進階,進一步爲培養核心素養提供合理(lǐ)的路徑和(hé)策略。學習進階是修訂課程标準、編寫教材、進行教學與學習評價的重要基礎,爲整個教育教學的發展提供了(le)有效支持。認知(zhī)診斷精細的過程性、個性化測評特點,爲核心素養的測評提供了(le)抓手;認知(zhī)診斷對(duì)整個認知(zhī)規律和(hé)學習進階的把握,則爲核心素養的測評指明(míng)了(le)發展方向。


(3)認知(zhī)診斷測評爲核心素養的計(jì)算(suàn)機自(zì)适應測評奠定了(le)基礎

學習測評發展的趨勢是走向計(jì)算(suàn)機自(zì)動化。“互聯網+”時(shí)代的到(dào)來(lái),給信息、通訊和(hé)技術(ICT)在學習測評中的應用(yòng)提供了(le)巨大(dà)的發展空(kōng)間。美(měi)國的ICT測評技術已經開(kāi)啓了(le)從(cóng)“明(míng)确考試的範式”到(dào)“嵌入式評價範式”的轉變。在“明(míng)确考試的範式”中,測評強調精準測查學生的學業表現(xiàn);在“嵌入式評價範式”中,測評強調有針對(duì)性的及時(shí)反饋[20]。可見,學習測評技術的自(zì)适應性具有傳統測評所缺乏的衆多優點,核心素養測評走向計(jì)算(suàn)機自(zì)适應化是測評發展的必然趨勢。目前,PISA和(hé)NAP-SL測試都已全部使用(yòng)計(jì)算(suàn)機自(zì)适應測評進行學業測評。而認知(zhī)診斷理(lǐ)論作(zuò)爲計(jì)算(suàn)機自(zì)适應測評的重要理(lǐ)論,爲計(jì)算(suàn)機自(zì)适應測評起到(dào)了(le)基礎性的支撐作(zuò)用(yòng)。核心素養的認知(zhī)診斷測評,也(yě)爲核心素養的計(jì)算(suàn)機自(zì)适應測評提供了(le)前提條件。現(xiàn)有的學習測評分析工(gōng)具可通過學生的在線學習和(hé)測評,将結果以可視(shì)化的形式呈現(xiàn)給學生,幫助學生分析學習過程中存在的問題,促進反思,調整學習策略[21]。未來(lái)核心素養測評可以通過數字化工(gōng)具和(hé)大(dà)數據、雲計(jì)算(suàn)等技術,将心理(lǐ)測量模型和(hé)具體的學科核心素養無縫嵌入到(dào)學生的學習和(hé)測評過程中,對(duì)學生的學習過程進行動态監測,以促進學生更好(hǎo)地學習[22]


2 讨論

無論是個性化的學生特征分析、綜合性的學習進階制定,還是計(jì)算(suàn)機自(zì)适應測評的理(lǐ)論準備,核心素養的認知(zhī)診斷測評都具有明(míng)顯的優勢。與此同時(shí),核心素養的認知(zhī)診斷測評也(yě)存在有待改進的空(kōng)間:①認知(zhī)診斷測評理(lǐ)論強調的是對(duì)核心素養的具體化。由于核心素養的抽象性和(hé)内隐性,“個體所具備的核心素養及其水(shuǐ)平,必須借助于他(tā)們在具體任務中的實際表現(xiàn)加以推測”[23]。但(dàn)核心素養的具體化并不意味着測評隻關注局部而不考慮整體,更不可将評價碎片化,應該在具體與抽象之間保持“精妙的平衡”[24]。②認知(zhī)診斷的測評基本上(shàng)都是以0或1的二元狀态評分,這(zhè)使得測評試題的編制有較大(dà)的局限。核心素養的測評關注課程學習的“真實性學業成就”,而真實性學業成就不隻是習得事(shì)實性的學科知(zhī)識和(hé)概念,而是能(néng)夠運用(yòng)這(zhè)些(xiē)知(zhī)識或概念解決複雜(zá)的現(xiàn)實性問題[25],因此核心素養需要有一定情境化、整合性和(hé)開(kāi)放(fàng)性的評價任務——當然,随着認知(zhī)診斷測評的多級評分模式的成熟,這(zhè)一問題可能(néng)會(huì)得到(dào)較好(hǎo)的解決。此外(wài),認知(zhī)診斷測評對(duì)技術的要求較高(gāo),故在測評的廣泛普及方面會(huì)受較多的限制,這(zhè)就需要專業人員開(kāi)發具有普适性的核心素養的認知(zhī)診斷測試平台,爲更多人員參與測評提供技術服務。