摘要：情境判斷測驗是一種為作答者呈現(xiàn)工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求根據(jù)指導(dǎo)語提示進行選擇或評價的測驗形式。隨著其理論和實踐的發(fā)展，研究者越來越關(guān)注情境判斷測驗的效度研究，包括對其構(gòu)想效度、效標(biāo)關(guān)聯(lián)效度和遞增效度的探討，以及指導(dǎo)語類型、情境保真度以及計分方式等因素對其效度的影響。基于這些研究進展，未來情境判斷測驗實踐領(lǐng)域可能的方向是：(1)開發(fā)針對特定構(gòu)想的情境判斷測驗；(2)結(jié)合具體構(gòu)想選用相應(yīng)的指導(dǎo)語；(3)應(yīng)用作假和培訓(xùn)對效度影響的研究結(jié)果指導(dǎo)實踐。
　　關(guān)鍵詞：情境判斷測驗；構(gòu)想效度；效標(biāo)關(guān)聯(lián)效度；遞增效度
　　分類號：B841
　　
　　1、引言
　　
　　情境判斷測驗(Situational Judgement Test)應(yīng)用于人事選拔領(lǐng)域已經(jīng)有較長時間的歷史(e.g.，F(xiàn)ile，1945；Motowidlo，Dunnette，＆Carter，1990；Weekley＆Jones，1997，1999)。情境判斷測驗是用來評價個體對工作場所情境所做出的判斷(Weekley＆Ployhan，2006)。它為個體呈現(xiàn)的是一些工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求作答者根據(jù)指導(dǎo)語提示進行選擇或評價。由于事先給定某一刺激情境下具體的行為反應(yīng)，來供作答者選擇或評定，而不是像評價中心那樣，觀察、評價作答者在刺激情境下真實的行為，因此，情境判斷測驗屬于一種低保真度的模擬(Lievens，Peeters，＆Schollaert，2008)。早期，和其他用于軍事、教育、商業(yè)等多個領(lǐng)域人員選拔的測驗一樣，人們關(guān)注的僅僅是情境判斷測驗的預(yù)測效度，即通過一個測驗挑選出來的人是否能夠很好地應(yīng)對將來的實際工作。這就造成了對情境判斷測驗的研究應(yīng)用走在了理論的前面：一方面，缺乏系統(tǒng)的理論基礎(chǔ)，另一方面，測驗的本質(zhì)不是十分清楚。
　　近年來，隨著整體效度觀念的成熟(AmericanEducational Research Association，AmericanPsychological Association，＆National Council 0nMeasurement in Education，1999；Society forIndustrial and Organizational Psychology，Inc.，2003)以及人事測量構(gòu)想導(dǎo)向(construct－oriented)(e.g.，Anastasi＆Urbina，1997；Arthur＆Villado，2008；Huffcutt，Conway，＆Stone，2001)的興起，人們不再僅僅關(guān)注情境判斷測驗的預(yù)測效度，也對其測量的實質(zhì)即構(gòu)想效度的研究提出了更高的要求。同樣，在測驗的實際開發(fā)過程中，人們也不再滿足于傳統(tǒng)的基于工作分析的開發(fā)模式，希望能夠針對實際需要開發(fā)更加具體化的情境判斷測驗。
　　無論是理論發(fā)展還是實際需要，都對情境判斷測驗的進一步研究提出了迫切要求。一些制約情境判斷測驗今后發(fā)展的關(guān)鍵問題被推到了研究者面前：情境判斷測驗究竟測量到的是什么?它為什么能夠預(yù)測工作績效?又有哪些因素會影響到其效度?本文試圖在前人研究的基礎(chǔ)上，圍繞情境判斷測驗的效度，從相關(guān)理論、效度證據(jù)、影響效度因素等方面進行探討。
　　
　　2、相關(guān)理論進展
　　
　　近幾年，學(xué)者們開始重視對情境判斷測驗的理論基礎(chǔ)和本質(zhì)的研究。主要代表為，自上世紀(jì)90年代之后，Motowidlo等人提出情境判斷測驗遵循行為一致性原則和隱性特質(zhì)理論，以及諸多學(xué)者圍繞情境判斷測驗是一種方法還是構(gòu)想的探討。
　　Motowidlo等人(1990)基于關(guān)鍵事件分析和專家的判斷編制了一套用于選拔電信行業(yè)初級經(jīng)理的情境判斷測驗，結(jié)果顯示，作答者在各個情境上的得分與其上級評定之間的相關(guān)為0.28到0.37 p＜0.01)，即情境判斷測驗在一定程度上預(yù)測了個體的工作表現(xiàn)。為了解釋這一結(jié)果，Motowidlo等人提出情境判斷測驗題目是基于實際工作情境中的行為反應(yīng)并要求作答者根據(jù)其慣有行為模式進行評價或選擇，它遵循行為一致性的原則(即過去的行為是將來行為最好的預(yù)測)。也就是說通過測量個體現(xiàn)在的行為，就可以預(yù)測他在將來的表現(xiàn)。
　　情境判斷測驗的結(jié)果除了可以在一定程度上預(yù)測工作績效，還與認知能力測驗和人格測驗的結(jié)果存在較高的相關(guān)(Chan，2006；Ployhart＆Weekley，2006)。由Motowidlo，Hooper和Jackson(2006)提出的隱性特質(zhì)理論(implicit trait policy)，在一定程度上解釋了情境判斷測驗的結(jié)果和人格測驗有較高相關(guān)的原因。隱性特質(zhì)理論認為個體在人格特質(zhì)上的差別影響了其對那些顯示出這一人格特質(zhì)的行為有效性的判斷。如，表現(xiàn)出高宜人性的行為確實比低宜人性的行為更有效，那些宜人性高的個體較宜人性低的個體在評價行為有效性的時候，會賦予宜人性以更高的權(quán)重，即他們會給表現(xiàn)出高宜人性的行為反應(yīng)更高的評價。而給低宜人性的反應(yīng)更低的評價。
　　關(guān)于方法和構(gòu)想之間的爭論也是理解情境判斷測驗研究的關(guān)鍵所在。構(gòu)想指的是測量的心理或行為維度(如一般智力、責(zé)任心、成就動機等)；方法指的是測量某一構(gòu)想的特定過程或是技術(shù)(如面試、紙筆測試、基于情境的測驗等)。一些研究者認為情境判斷測驗測量的是一種單一的構(gòu)想。如，Steinberg和Wagner(1993)指出情境判斷測驗測量的是不同于一般智力的實踐智力(pracdcalintelligence)，而Schmidt和Hunter(1993)則認為其主要測量的是工作知識(job knowledge)。然而，這些事后被證明是沒有足夠證據(jù)支持的(Gottfredson，2003；McDaniel＆Whetzel，2005)，因為情境判斷測驗測量的是多維構(gòu)想而且往往與一般智力相關(guān)。很多多維構(gòu)想的測驗，如大五人格測驗構(gòu)想非常清晰，包含責(zé)任心、宜人性、情緒穩(wěn)定性、外傾性和神經(jīng)質(zhì)五個維度，然而情境判斷測驗卻往往很難被清晰地界定，這就帶來了兩個問題：一是很難從根本上解釋情境判斷測驗?zāi)軌蜉^好預(yù)測工作績效的原因；二是較難編制和已有測驗測量相同構(gòu)想的新測驗。Schmitt和Chan(2006)指出，情境判斷測驗就像面試一樣，是一種可以用來測量不同構(gòu)想的方法，這一方法本身同時又限制了其可以測量的構(gòu)想。這一觀點自提出后在學(xué)術(shù)界逐漸被接受(Christian，Edwards，＆Bradley，2010；Whetzel＆McDaniel，2009)。
　　
　　3、效度研究
　　
　　教育和心理測量標(biāo)準(zhǔn)(The Standards forEducational and Psychological Testing)將效度定義 為“測驗的分數(shù)能夠為測驗用途提供解釋所累計證據(jù)和理論支持的程度”，人事選拔程序使用效度準(zhǔn)則(the Principles for the Validation and Use of Personnel Selection Procedures)對效度的界定也是類似的，即效度被定義為一個整體的概念，為測驗分數(shù)的結(jié)論提供各種來源的證據(jù)。本文采用的便是這種整體的效度觀念，從與構(gòu)想相關(guān)的構(gòu)想效度，與工作績效相關(guān)的效標(biāo)關(guān)聯(lián)效度以及相對于認知能力和人格測驗的遞增效度的角度。對情境判斷測驗的效度進行全面探討。
　　3.1　構(gòu)想效度
　　為了更好地理解情境判斷測驗如何在人事選拔中發(fā)揮作用以及原因。必須要澄清情境判斷測驗測量的典型構(gòu)想(Chrisfian et al.，2010)。近年來研究人員越來越重視對情境判斷測驗構(gòu)想的探討，并進行了許多研究(e.g.，Arthur＆Villado，2008；Hough＆Ones，2001；McDaniel，Morgeson，F(xiàn)innegan，Campion，＆Braverman，2001；McDaniel，Hartman，Whetzel，＆Grubb，2007)。
　　國外有三個元分析(McDaniel et al.，2001；McDaniel et al.，2007；McDaniel＆Nguyen，2001)對情境判斷測驗測量構(gòu)想方面的效度證據(jù)進行了總結(jié)。McDaniel等人(2001)指出情境判斷測驗和一般智力之間0.31的平均相關(guān)顯示它在一定程度上測量的是一般智力，然而，情境判斷測驗有一些變異又是與一般智力無關(guān)的。McDaniel和Nguyen(2001)指出行為導(dǎo)向和知識導(dǎo)向的兩類情境判斷測驗指導(dǎo)語會影響其構(gòu)想效度。知識導(dǎo)向的指導(dǎo)語要求作答者選擇正確的或最好的行為反應(yīng)或者要求其對行為的有效性進行評定；行為導(dǎo)向的指導(dǎo)語要求作答者選擇出他最可能(傾向于)采取的行為反應(yīng)或?qū)ζ淇赡苄赃M行評定。
　　McDanieI等人(2007)繼續(xù)沿著這一思路進行了研究，進一步比較了分別采取兩種指導(dǎo)語的情境判斷測驗的分數(shù)和認知能力和人格測驗分數(shù)之間的關(guān)系。研究發(fā)現(xiàn)，兩種類型的情境判斷測驗與大五人格測驗的三個維度(情緒穩(wěn)定性、責(zé)任心、宜人性)和認知能力測驗分數(shù)之間的相關(guān)存在顯著性差異。行為導(dǎo)向的情境判斷測驗顯示出與人格測驗之間更高的關(guān)聯(lián)(0.35 vs 0.12，0.34 vs0.24，0.37 vs 0.19)，而知識導(dǎo)向的測驗則顯示出與認知能力測驗更高的相關(guān)。研究結(jié)果顯示，可以通過改變指導(dǎo)語進而改變情境判斷測驗測量的構(gòu)想。知識型指導(dǎo)語測量的最優(yōu)行為，有較高的認知負荷；而行為型指導(dǎo)語測量的是慣常的行為，更吻合行為一致性的假設(shè)。
　　除了通過元分析直接計算情境判斷測驗分數(shù)和認知測驗、人格測驗分數(shù)之間的相關(guān)來探討其測量構(gòu)想外，近年來，為了進一步研究清楚情境判斷測驗的構(gòu)想效度，學(xué)者們還做了許多不同角度的嘗試。
　　一方面體現(xiàn)在測驗內(nèi)容上，不少學(xué)者開發(fā)了專門測量特定構(gòu)想的測驗。如，Ascalon(2005)開發(fā)了測量同情心和種族優(yōu)越感的情境判斷測驗來考察跨文化的社會智力；Becker(2005)開發(fā)了測量員工正直的情境判斷測驗；Mumford，Morgeson，Van Iddekinge和Campion(2008)開發(fā)了用于測量團隊合作的情境判斷測驗。另一方面體現(xiàn)在研究思路上，學(xué)者們試圖通過細化反應(yīng)過程、分解分數(shù)變異進而從更深層次理解情境判斷測驗的構(gòu)想。Ployhart和Weekley(2006)提出的預(yù)測源反應(yīng)過程模型(the Predictor Response Process Model)，旨在從被試作答反應(yīng)過程的角度來獲得效度證據(jù)(substantive validity)。預(yù)測源反應(yīng)過程模型將被試的反應(yīng)過程劃分為理解、提取、判斷、選擇反應(yīng)四個過程，將分數(shù)的總變異分解為污染源變異、研究感興趣的個體潛在特質(zhì)造成的變異(真分數(shù)變異)和參加測驗動機帶來的變異，這三方面的變異在不同的程度上影響著上述四個過程。通過對反應(yīng)過程和分數(shù)變異的細致劃分，來研究影響情境判斷測驗分數(shù)的因素，進而更好地理解情境判斷測驗的分數(shù)和構(gòu)想效度。例如，不同類型的指導(dǎo)語會影響到個體反應(yīng)的理解、提取和判斷的過程。在被試誠實作答的情況下，行為型指導(dǎo)語的情境判斷測驗，被試的這三個過程主要是受到人格因素的影響，相反，接受知識型指導(dǎo)語測驗的被試，這三個過程主要是受到認知因素的影響。Westring，Oswald，Schmitt，Drzakowski，Imus，Kim和Shivpuri(2009)采取多質(zhì)多法的研究范式，運用結(jié)構(gòu)方程模型的方法對測量成就動機的情境判斷測驗進行了變異分解，分解為情境變異(跨學(xué)生)和特質(zhì)變異(跨情境)。研究結(jié)果表明，情境因素帶來的變異是個體因素變異的三倍，研究結(jié)論也從另外一個角度為特質(zhì)或是情境決定行為提供了實證支持。
　　和評價中心一樣，情境判斷測驗作為一種可以測量多種構(gòu)想的方法，在測驗的應(yīng)用之初，人們并不十分重視其構(gòu)想效度，隨著測驗的不斷發(fā)展以及測量領(lǐng)域構(gòu)想導(dǎo)向的興起，無論是應(yīng)用界還是理論界，人們越來越強烈地意識到研究清楚其構(gòu)想的重要性，盡管情境判斷測驗的構(gòu)想還有許多有待進一步研究的問題，但前人所作的努力為今后的研究提供了寶貴的資料和可以借鑒的思路。
　　3.2　效標(biāo)關(guān)聯(lián)效度
　　選拔測驗要回答的一個關(guān)鍵問題是通過該選拔過程是否能夠很好地預(yù)測工作相關(guān)的指標(biāo)，即該測驗的效標(biāo)關(guān)聯(lián)效度如何(Lievens，Peeters，＆Schollaert，2008)。有大量研究對情境判斷測驗的這一問題進行了探討。McDaniel等人(2001)基于95個研究的數(shù)據(jù)進行了第一個關(guān)于情境判斷測驗效標(biāo)關(guān)聯(lián)效度的元分析，校正后情境判斷測驗分數(shù)與工作績效之間的相關(guān)是0.34(未校正時是0.26)。McDaniel等人(2007)在118個研究的基礎(chǔ)上再次對情境判斷測驗進行了元分析，不考慮指導(dǎo)語類型的前提下，效標(biāo)關(guān)聯(lián)效度系數(shù)達到了0.26。將所有118項研究全部納入分析的情況下，兩種類型指導(dǎo)語情境判斷測驗的效標(biāo)關(guān)聯(lián)效度并無顯著性差異，而當(dāng)將情境判斷測驗的內(nèi)容保持一致時，知識型情境判斷測驗有更好的效標(biāo)關(guān)聯(lián)效度。因此，為了進一步弄清楚指導(dǎo)語類型對情境判斷測驗效標(biāo)關(guān)聯(lián)效度的影響，需要統(tǒng)一具體測驗的內(nèi)容，即在同一個研究中，使用情境內(nèi)容相同指導(dǎo)語類型不同的研究材料對被試施測，進而比較。
　　除了上述兩個圍繞情境判斷測驗效標(biāo)關(guān)聯(lián)效度的元分析之外，隨著相關(guān)理論的不斷發(fā)展，研究人員還從許多新的角度進行了研究。
　　人們越來越意識到工作績效不是一個簡單的整體，而是可以進一步分解為兩個具體維度： 任務(wù)績效和關(guān)系績效(Borman＆Motowidlo，1993)。已有研究表明，一些構(gòu)想與這兩個績效之問的關(guān)聯(lián)存在差別，如，認知能力與任務(wù)績效存在高相關(guān)，而非認知能力，如責(zé)任心則在關(guān)系績效上對認知能力有遞增效度。O"Connell，McDaniel，Grubb，Hartman和Lawrence(2007)研究了情境判斷測驗與這兩種績效之間的相關(guān)，結(jié)果表明，與任務(wù)績效的相關(guān)為0.14，而與關(guān)系績效為0.10。
　　Christian等人(2010)在前人研究的基礎(chǔ)上，對前人研究按照測量的構(gòu)想進行了分類梳理，并將工作績效進一步細分為任務(wù)績效、關(guān)系績效和管理績效，進而對每類情境判斷測驗相應(yīng)的效標(biāo)關(guān)聯(lián)效度進行了元分析。結(jié)果顯示，測量團隊工作技能時，效標(biāo)關(guān)聯(lián)效度最高，達到0.38；測量領(lǐng)導(dǎo)力的平均效度為0.28；測量人際交往技能時為0.25；測量責(zé)任心的為0.24；測量工作知識和技能的為0.19；人格整體為0.43；情境判斷測驗整體為0.28。并且當(dāng)將績效區(qū)分為任務(wù)績效、關(guān)系績效和管理績效之后，測量人際交往能力、團隊工作能力和領(lǐng)導(dǎo)力的情境判斷測驗較那些構(gòu)想不清楚的情境判斷測驗，對關(guān)系績效有更好的效標(biāo)關(guān)聯(lián)效度；而測量領(lǐng)導(dǎo)力和人際交往能力的情境判斷測驗和那些構(gòu)想不清楚的情境判斷測驗相比，能夠較好地預(yù)測管理績效；而在探討任務(wù)績效時，由于只有一個實證研究，無法得出結(jié)論。
　　此外，以往關(guān)于情境判斷測驗效標(biāo)關(guān)聯(lián)效度的研究大多是同時效度的研究，即被試為在職者，而不是對真實應(yīng)聘者的預(yù)測效度的研究。然而，在職者和應(yīng)聘者在動機水平上是存在較大差別的，這也很有可能會造成研究結(jié)果的差別。如，關(guān)于兩種類型指導(dǎo)語效標(biāo)關(guān)聯(lián)效度的研究中，Ployhart和Ehrhart(2003)的研究結(jié)果顯示行為型指導(dǎo)語表現(xiàn)出更高的效標(biāo)關(guān)聯(lián)效度：而Lievens和Sackett(2007)在高壓力情境下施測的結(jié)果是，二者并無顯著差異。當(dāng)然，不同的求職動機和壓力水平，或者說在職者和應(yīng)聘者之間的差別，究竟會給情境判斷測驗的效標(biāo)關(guān)聯(lián)效度帶來怎樣的影響，我們還需要后續(xù)的研究來進一步解答。
　　3.3　遞增效度
　　為了更好地研究和應(yīng)用情境判斷測驗，研究者們不僅關(guān)注它的預(yù)測效度和構(gòu)想效度，還關(guān)注情境判斷測驗對廣泛使用的認知能力測驗和人格測驗(大五)的遞增效度。遞增效度是指一個測驗在其它數(shù)據(jù)的基礎(chǔ)上對效標(biāo)預(yù)測能力的改進程度(Hunsley，2003)。McDaniel等人的兩個元分析(2001，2007)和一些實證研究(chan＆Schmitt，2002；Clevenger＆Haaland，2000；O"Connell，McDaniel，Grubb，Hartman，＆Lawrence，2002；Weekley＆Jones，1997，1999)就情境判斷測驗的遞增效度進行了詳細地探討。
　　McDaniel等人(2007)分析了情境判斷測驗對認知能力、大五人格以及這二者合成后的遞增效度；同時，他們還探討了認知能力和大五人格對情境判斷測驗的遞增效度。研究結(jié)果顯示，情境判斷測驗對認知能力、人格以及這二者共同都具有一定的遞增效度，且受到不同指導(dǎo)語類型的影響。行為型指導(dǎo)語的情境判斷測驗對認知能力的遞增效度更大(0.05 vs 0.03，)，而知識型指導(dǎo)語的測驗對人格的遞增效度更大(0.07 vs 0.06)，無論是哪種指導(dǎo)語的情境判斷測驗對同時包含認知能力和大五人格測驗時的遞增效度均減弱，且不再存在顯著性差異。
　　O＇Connell等人(2007)進一步研究了將工作績效劃分為任務(wù)績效和關(guān)系績效后，情境判斷測驗對認知能力和人格的遞增效度。結(jié)果表明，就任務(wù)績效而言，認知能力測驗的效度為0.15，情境判斷測驗對其遞增效度為0.03，人格測驗的效度為0.18，情境判斷測驗對其遞增效度為0.04，人格測驗和認知能力測驗共同的效度為0.20，情境判斷測驗對其遞增效度為0.01；對關(guān)系績效而言，認知能力測驗的效度為0.07，情境判斷測驗對其遞增效度為0.04，情境判斷測驗對人格測驗以及人格測驗和認知測驗的合成均不存在遞增效度。在預(yù)測任務(wù)績效時，情境判斷測驗?zāi)軌蛟谌烁駵y驗和認知測驗的基礎(chǔ)上，提供更多有利的支持；在預(yù)測關(guān)系績效時，作用則不大。
　　
　　4、情境判斷測驗效度的影響因素
　　
　　通過上面對情境判斷測驗效度研究的探討不難發(fā)現(xiàn)，指導(dǎo)語類型在一定程度上影響著測驗的效度，如知識型指導(dǎo)語的情境判斷測驗與能力測驗有更高的相關(guān)，對人格測驗的遞增效度更大；而行為型指導(dǎo)語的情境判斷測驗則與人格測驗有更高的相關(guān)，對能力測驗的遞增效度更大。除了測驗的指導(dǎo)語類型，還有一些其它因素會在不同的程度上對情境判斷測驗的效度產(chǎn)生影響。
　　4.1　情境的保真度
　　不同情境判斷測驗的情境保真度存在差別。情境保真度(fidelity)指的是測驗對特定崗位所要求工作的還原程度。顯然，錄像版的情境判斷測驗較紙筆版的有更高的保真度。
　　已經(jīng)有許多的學(xué)者對紙筆版和錄像版的情境判斷測驗進行了比較研究。Chan和Schmie(1997)通過比較這兩種不同形式的情境判斷測驗發(fā)現(xiàn)，錄像版測驗的缺陷更少，且參加實驗的學(xué)生感覺到錄像版較紙筆版的測驗有更高的表面效度。Lievens，Buyse和Sackett(2005)研究了在大學(xué)錄取考試中，錄像版情境判斷測驗對認知能力的遞增效度，結(jié)果發(fā)現(xiàn)，當(dāng)效標(biāo)中包含認知和人際等因素，在對人際互動相關(guān)課程的結(jié)果進行預(yù)測時，錄像版的情境判斷測驗對認知測驗有遞增效度，而在預(yù)測其它效標(biāo)時，則沒有遞增效度。這一研究結(jié)論從另外一個角度也說明了，在研究效度時，不僅預(yù)測源的構(gòu)想會產(chǎn)生影響，效標(biāo)的選擇也很重要。
　　Lievens和Sackett(2006)還研究了在高壓力情境下，測量同樣內(nèi)容(人際交往能力)的錄像版和紙筆版情境判斷測驗的預(yù)測效度。研究結(jié)果顯示。錄像版較紙筆版測試與認知能力之間的相關(guān)更低(0.11 vs 0.18，)，而在預(yù)測效度上，錄像版的情境判斷測驗較紙筆版的更高(0.34 vs 0.08)。
　　Christian等人(2010)采用元分析的技術(shù)，分析了測驗的形式對測量不同構(gòu)想的情境判斷測驗的影響。結(jié)果顯示，錄像版的情境判斷測驗較紙筆版的與工作績效之間有更高的相關(guān)，如測量人際交往和領(lǐng)導(dǎo)力情境判斷測驗，錄像版形式的測驗都較紙筆版能夠更好地預(yù)測工作績效。
　　總的來講，情境判斷測驗的情境保真度不僅影響其構(gòu)想效度還影響其效標(biāo)關(guān)聯(lián)效度。在預(yù)測工作績效方面，錄像版的情境判斷測驗有更高的表面效度和對認知能力的遞增效度。而在構(gòu)想效度方面，由于錄像版測驗降低了對閱讀的要求，因此，有理由認為其較紙筆版測驗與認知能力有較低的相關(guān)。當(dāng)然，在實際的應(yīng)用中，還必須衡量 開發(fā)和實施錄像版情境判斷測驗的成本。
　　4.2　計分方式
　　跟傳記式問卷(Biodata)測試類似，情境判斷測驗通常并不存在明確的、基于專業(yè)知識的“正確”答案(Whetzel＆McDaniel，2009)。因此，有多種不同的計分方式，不同的計分方式可能會導(dǎo)致效度估計的差別(Bergman，Drasgow，Donovan，Henning，＆Juraska，2006)。通過研究多種計分方式。Bergman等人(2006)回顧了實證性計分(基于測驗題目或反應(yīng)與效標(biāo)之間的相關(guān))，理論式計分(各個題目的設(shè)計基于一定的理論，或者能夠從理論的角度識別出最好或最差的反應(yīng))和基于專家的計分(采用關(guān)鍵事件專家的方法來確定計分，比較作答者和專家的選擇)。他們使用了包含21道測量領(lǐng)導(dǎo)能力的題目的情境判斷測驗，來檢驗當(dāng)采用不同的計分方式時，其對認知能力和人格的遞增效度。研究結(jié)果顯示，使用實證性計分方式時，情境判斷測驗?zāi)軌蛟谇皟蓚�測驗的基礎(chǔ)上對效標(biāo)的變異多解釋2－3％，采用關(guān)鍵事件專家方式計分可多解釋4.9％，基于原始構(gòu)想整合的計分方式多解釋3.0％，基于參與者(participation)整合的計分方式多解釋1.7％。研究者認為情境判斷測驗的效度在一定程度上受到其計分方式的影響，當(dāng)計分方式有效性差時可能會導(dǎo)致情境判斷測驗效度降低。
　　Legree，Psotka，Tremble和Bourne(2005)對比了基于總體的一致性(Consensus Based Measurement)和基于專家的計分方式，來確定這兩種方式對情境判斷測驗效度的影響。在他們早期的研究中，他們比較了在一個包含49個情境、202個反應(yīng)的情境判斷測驗中，少數(shù)專家的意見和所有作答者的平均評定，結(jié)果顯示二者之間存在顯著的相關(guān)(0.72)。之后他們在2003年的一項軍隊中領(lǐng)導(dǎo)力隱性知識情境判斷測驗的研究中，發(fā)現(xiàn)二者之間的相關(guān)達到了0.96。因此，他們認為，選擇所有作答者平均分數(shù)作為標(biāo)準(zhǔn)和基于專家計分之間是很難分清楚的。
　　Krokos，Meade。Cantwell，Pond和wilson(2004)研究了采用實證性計分方式的情況。他們認為情境判斷測驗通常測量的是個體在工作情境下的復(fù)雜的、社交或?qū)嵺`方面的表現(xiàn)，這與隱性知識的測量很難區(qū)分。當(dāng)情境判斷測驗的計分鍵是基于關(guān)鍵事件專家的一致選擇時，最顯而易見的做法成為正確選項的概率增加。因此，當(dāng)由關(guān)鍵事件專家來確定正確答案時，越顯而易見的做法越可能被保留。然而，當(dāng)使用基于實證的計分方式時，那些最顯而易見的反應(yīng)可能會被大多數(shù)人選擇，績優(yōu)和一般作答者的選擇之間不存在顯著差異，即這樣的反應(yīng)不具有區(qū)分作用，會被賦予較低的分數(shù)：相反，那些較少被選擇，但僅由績優(yōu)者選擇的反應(yīng)，會被賦予更高的分數(shù)。
　　總之，正如不同指導(dǎo)語的情境判斷測驗測量的構(gòu)想存在差別一樣(McDaniel et al.，2007)，不同的計分方式也會使情境判斷測驗測量不同的構(gòu)想。
　　
　　5、對實踐應(yīng)用的建議
　　
　　5.1　開發(fā)針對特定構(gòu)想的情境判斷測驗
　　傳統(tǒng)的情境判斷測驗大多是從工作分析出發(fā)，收集某一崗位的典型工作情境編制題目，并不指向特定的構(gòu)想。近些年來，隨著測量領(lǐng)域構(gòu)想導(dǎo)向的提出以及情境判斷測驗的發(fā)展，人們越來越意識到僅僅滿足于傳統(tǒng)的開發(fā)思路是不夠的。于是，有專家開始編制用于測量特定構(gòu)想的測驗，并逐漸得到了理論層面和應(yīng)用層面的廣泛認可(Ascalon，2005；Becket，2005；Mumford et al.，2008)。
　　針對特定構(gòu)想開發(fā)情境判斷測驗，一方面有助于其構(gòu)想效度的研究，另一方面，也有助于對一些構(gòu)想的測量工具的發(fā)展。如，由于傳統(tǒng)的人格測驗大多采取的是里克特式的自我評定方式，在選拔這樣高利害、高競爭壓力的情境下使用，難免會遇到作假的問題。于是就有人提出將人格測驗情境化，不是直接詢問作答者在某個人格維度上的情況，而是通過編制一些反映人格特質(zhì)的情境判斷測驗，基于個體在這些測驗上的作答，判斷其人格特質(zhì)(Motowidlo et al.，2006)。而且，因為測量的是明確的特定構(gòu)想。這就有助于基于理論上的關(guān)聯(lián)，針對性地選擇與之相應(yīng)的效標(biāo)，進而得到更好的效度結(jié)果，如，用情境判斷測驗測量人際交往能力時，測驗結(jié)果能夠更好地預(yù)測關(guān)系績效(Christian et al.，2010)。
　　唐素萍(2004)比較詳細地介紹過傳統(tǒng)情境判斷測驗的開發(fā)程序，在這里，主要介紹開發(fā)特定構(gòu)想的情境判斷測驗和傳統(tǒng)方法之間的幾點區(qū)別：
　�、僖驗樗�針對的是某個或某幾個具體構(gòu)想，因此，編制測驗的第一步不是針對某個崗位的工作分析，而是基于該構(gòu)想的理論，收集能夠反映出這一構(gòu)想的典型情境，或者說是能夠激發(fā)出特定構(gòu)想的情境：
　�、趥鹘y(tǒng)的情境判斷測驗的第二步是針對收集到的情境，通過開放式問卷或行為事件訪談(BEI)等方式收集在該情境下的行為反應(yīng)。這些反應(yīng)可能是各式各樣的；而在開發(fā)針對特定構(gòu)想的測驗時，這里要收集的行為反應(yīng)必須是能夠反映出該構(gòu)想的；
　�、廴绻�我們選取關(guān)鍵事件專家(SEMS)的方式確定計分鍵，在傳統(tǒng)的情況下，專家是對各個反應(yīng)的有效性進行評價，而這里則是對各個反應(yīng)能夠反映出所測量構(gòu)想的程度進行評定。
　　不難發(fā)現(xiàn)，傳統(tǒng)的情境判斷測驗更多關(guān)注的是測驗的有效性，即預(yù)測個體將來工作表現(xiàn)的程度；而針對特定構(gòu)想的測驗則是為了更準(zhǔn)確地把握個體在特定構(gòu)想上體現(xiàn)的程度。
　　當(dāng)然，是不是所有維度都適用于情境判斷測驗這種低保真度的測量形式?如果不是，究竟哪些維度更適合?這還需要更多的研究來進一步探討。
　　5.2　結(jié)合測量構(gòu)想使用相應(yīng)的指導(dǎo)語
　　已有大量的研究結(jié)果表明(McDaniel et al.，2007；McDaniel＆Nguyen，2001)，不同的指導(dǎo)語類型不僅會影響到情境判斷測驗的效標(biāo)關(guān)聯(lián)效度，還會影響到其測量的構(gòu)想。這就提示我們，在針對特定的構(gòu)想進行測量時，應(yīng)該選擇適合的指導(dǎo)語。
　　行為型指導(dǎo)語情境判斷測驗測量的是個體的慣常行為，即個體習(xí)慣的行為方式；知識型指導(dǎo)語情境判斷測驗測量的是個體的最優(yōu)行為，即個體是否知道怎么去做。研究結(jié)果顯示，行為型指導(dǎo)語的情境判斷測驗與人格測驗的關(guān)聯(lián)更高，對認知能力測驗的遞增效度更大；知識型指導(dǎo)語的情境判斷測驗與認知能力測驗的關(guān)聯(lián)更高，對人格測驗的遞增效度更大。因此，為了更好的發(fā)揮情境判斷測驗的作用，使題目中的情境能夠最大限度地激發(fā)出目標(biāo)維度，當(dāng)測量的構(gòu)想屬于人格層面時(如，正直、責(zé)任心)，建議使用行為型的指導(dǎo)語：而當(dāng)測量的構(gòu)想屬于認知層面時(如，工作知識、工作技能)，建議使用知識型的指導(dǎo)語。
　　5.3　應(yīng)用作假和培訓(xùn)對效度影響的研究結(jié)果指
　　導(dǎo)實踐
　　情境判斷測驗和里克特式的自評問卷相比，已經(jīng)在一定程度上能夠降低作假的影響，但是在選拔的情境下，仍然有作假存在。有研究表明，知識型指導(dǎo)語情境判斷測驗較行為型指導(dǎo)語情境判斷測驗?zāi)軌蜻M一步降低作假(Nhung，Biderman，＆Michael，2005)，詳述(elaboration)也在一定程度上降低作假，即在某種程度上，加大測驗題目的認知負荷，有利于降低作答者作假(Lievens＆Peeters，2008)。但是，這方面的研究還遠遠不夠，一方面體現(xiàn)在已有關(guān)于作假對情境判斷測驗效度影響的研究大多是實驗室情境下通過指導(dǎo)語控制被試作假，而不是真實的選拔情境；另一方面，對于作假及其影響因素的本質(zhì)探討不夠深入；還有就是缺少檢驗作假、降低作假的有效、易行手段。
　　此外，隨著情境判斷測驗應(yīng)用范圍的不斷擴大，一個新的問題應(yīng)運而生，即情境判斷測驗中所涉及關(guān)鍵事件應(yīng)對方式的培訓(xùn)對測驗效度的影響：培訓(xùn)是否會影響作答者的成績?會產(chǎn)生怎樣的影響?是簡單地提高了分數(shù)還是真正提高了相應(yīng)的能力?對測驗的效度是積極作用還是消極作用?如果假設(shè)培訓(xùn)的結(jié)果可以提升測驗效度，我們應(yīng)該怎樣更好地開發(fā)、組織、實施培訓(xùn)?反之，我們有沒有什么辦法降低其對測驗效度的不利影響?而這些方麗的研究，不僅在國內(nèi)，在整個國際上，都處于起步階段�？傊�，為了更好地將情境判斷測驗應(yīng)用于實踐領(lǐng)域，尤其是人事選拔領(lǐng)域，關(guān)于作假和培訓(xùn)對測驗效度影響的研究勢在必行。

相關(guān)熱詞搜索：述評 情境 測驗 情境判斷測驗的效度研究述評 情境判斷測驗 情境判斷測驗法的本質(zhì)