Home 飛行員甄選甄選擇入 / Select-In 應不應該讓考生重考?由測驗信度推論重考的可能性

應不應該讓考生重考?由測驗信度推論重考的可能性

by Undercover Psychologist

到底紙筆測驗能不能重做?維也納測驗能不能重考?為什麼維也納測驗只採計第一次的測驗結果?對飛行員甄選流程的設計來說,允許重考與否,一直是個很重要的問題。由可以重考轉變至禁止重考,初期多是為了避免測驗題目外流、避免補習班搜集題目等行政手段;但除了防洩題之外,禁止重考,從心理測驗的觀點來說,到底有沒有理論上的基礎?或是在什麼樣的狀況下,是可以考慮給予重考?


信度,是評估心理測驗穩定性最主要的特徵

在開始說明能不能重考之前,要先介紹對每個心理測驗都十分重要的心理計量特徵:信度

信度,指的是測驗測量的穩定度。如果想像心理測驗是一把尺,要對一個我們關心的能力或人格特徵進行測量,需要在意的就是這個尺上的刻度對出來的數值。照理來說,這個刻度對出來的數值不能亂跳,他應該要是每次測出來的結果都差不多;就像量體重,大概很難想像第一次量60、第二次量30、第三次量90,這個量出來的數值不可靠,可能會讓人根本就不會使用這個數值。信度越高,表示這個尺測出來的結果越穩定。

因著不同測驗的需求,每個測驗在收取常模時,同時都會有針對信度的研究,來描述這套心理測驗工具在測量穩定性上的表現(大概可以想像,像是一個廠商賣出一個桌子,他會標示這個桌子的堅硬程度有多高)。每個測驗在出產時,根據他所收取的樣本所標示的信度,大約可以分成以下三種:

內部一致信信度

內部一致信信度,指的是測驗工具內同一分測驗一致性的程度。比如說你拿到一個測量憂鬱的問卷,一共有六題,請憂鬱的人填寫,這六題都會一致的很高,而較不憂鬱的人填寫都一致的很低。這六題中不會有高高低低的狀況發生,表示內部的相關高。

副本信度(或折半信度)

副本信度或折半信度,指的是同一測驗的兩份副本(可以想像成A、B卷)之間的相關程度。既然兩份副本都是測量同一個標的,由同一個人填寫,則兩者之間的相關應該會很高。反之,倘若A、B卷之間相關程度很低,就表示該測驗的副本信度不太理想。

重測信度

重測信度,指的是隔了一段時間之後再測量一次,第一次測量和第二次測量的相關程度。如果兩者相關高,表示這個測驗有好的重測信度;反之,倘若兩次測量相關很低,則就表示重測信度不佳。

由於百分之百相關,此時相關係數會等於1,因此信度在正常的狀況下,會是一個介於0到1之間的數值,數值越接近1,表示這個測驗的信度越好。問題在於:不是每一套測驗都會同時提供這三個研究的結果。由於跨時的重測信度研究執行複雜度,遠比收一次資料就能得到結果的內部一致信信度高,考量研究經費,絕大多數的測驗只會提供內部一致信信度或是折半信度的結果。舉例來說,維也納測驗航空心理的模組,整體的信度約0.73-0.99之間,但這個數字是這個模組內含的分測驗,採取內部一致信信度或是折半信度(有的測驗只能使用內部一致信信度,有的測驗只能使用折半信度,視測驗施作的歷程不同)的研究結果。這個數字不是重測的結果。

那,為什麼重測信度在「重考」這個問題上這麼重要?因為重測信度的研究結果,基本上就可以估計考生下一次再重測,他的結果是如何。但就算現行業界所使用測驗的指導手冊沒有關於重測信度的研究結果,我們仍然有測量認知能力最重要的工具—魏氏智力測驗—的結果,來給我們一些重測時會發生的事情的指引。


重測可能發生的一些問題

當我們在規劃重測信度的研究時,大家心中大概會冒出的幾個重要的問題:

  • 多久可以重測一次?(也就是說:如果開放重考,例如維也納測驗,那多久可以重考一次?)
  • 重測的結果會不會變化,有沒有練習效果?(也就是說:下次再考一次維也納測驗,我的測驗結果會不會變好?)

根據魏氏智力測驗成人版第三版(WAIS-III)指導手冊的說明,對重測信度的研究設計,有以下發現:

  • 一共收取了73個受試者
  • 第一次和第二次施測時,距離為2至11週,平均38天
  • 心理動作速度的測驗(數符替代、符號尋找)兩次相關為.75至.76之間
  • 空間推理的測驗(圖形設計、物型配置)兩次相關為.77至.89之間
  • 第二次重測的平均分數均高於第一次的平均分數,主要受練習效果的影響,期中作業智商約提高2.5-8.3分

這個結果非常重要,研究告訴我們:兩週的間隔對非語言的認知能力進行重測,是會造成明顯的練習效果。近期的指導手冊說的更清楚,並且形成臨床心理師在醫院評估是否需要再度進行智力測驗的一個重要指引:

魏氏幼兒智力量表第四版(中文版)

⋯⋯一些研究魏氏量表的研究者指出,當重測間隔時間至少在一至二年後,對作業量表(即目前的視覺空間、流體推理和處理速度等量表)各分測驗所呈現的練習效果降低;而語文量表(即語文理解量表)各分測驗所呈現的練習效果,則以重測間距至少一年為宜。相關研究指出,重測成績會受到不同年齡、能力水準、臨床情況和再測次數之影響,而有所變異⋯⋯

事實上,人的認知發展在認知能力上的差異,幼兒至兒童期還可能有因為腦部發育而形成的認知能力上的變化,但進入成年期,認知能力的表現是非常穩定,約莫在20-30歲達巔峰,並隨年齡增長而逐漸退化。在短時間內進行重測的結果,如果這個測驗本身信效度十分優秀(像是魏氏智力測驗)但結果仍然有變化,大多都是因測量偏誤、練習效果等等外在因素造成。因此,在大多數的狀況,只要測驗本身的品質夠穩定,第一次受測的結果往往都已經能正確測量,後面再測而產生的偏誤,其實都不是因個人能力產生的變化,往往是一些其他外在因素(練習、心情不好、身體不佳等等等)造成的結果。


有沒有重考的條件?

從上面的結果得知,站在心理測驗的角度上看,成年期做認知性心理測驗的重測,其實並沒有得到理論的支持。但其實還是有些狀況值得施測的人的留心,我認為只要熟知測驗的心理專業人員經評估,考生的測驗結果符合以下狀況:

只要相信這個測驗結果沒有反應考生的真實能力

在這個狀況下,就可以安排重測,檢驗這個人實際的能力到底在哪裡。這個懷疑通常來自以下兩個狀況:

測驗結果異常

測驗結果異常是個非常常見的指標。判讀這個事件項目的方式,大約類似於判讀補習班的方式(請參考補習班文章的說明):只要明明就是評估同一個能力,但卻造成兩個測驗有天差地遠的結果,很有可能就是有一些環境變數在其中作用。最常發生的就是在進行那個測驗的時候發生了不預期的事件,例如劃錯卡、吃壞肚子、未熟悉測驗指導語就開始進行作答等等。

不符合其他關於這個個人的綜合性指標

假設今天有個考生認知能力評估出來很差,但是他的高中、大學分別是建中和台大,一個心理專業人員會怎麼假設?站在智力(或是認知能力)是最主要估計一個個人學業成就表現的因子,就有很高的機率顯示受評當日,可能碰到什麼事造成結果異常。

如果今天已經決定要安排重測,其實需要做一些額外的準備。如同前面提到的,重測往往會因為練習效果導致分數高於實際的估計值,因此需要準備同一個能力的其他替代測驗

魏氏兒童智力量表第四版(中文版)

⋯⋯若必須在短期間內重測,則可採用第一次評估時未施測過的交替分測驗來取代第一次評估已施測的分測驗。這種考慮對組合工作記憶指數與知覺推理指數的各分測驗尤其重要,因為這些分測驗所呈現的練習效果最大。⋯⋯

所以這樣說來,到底能不能重考呢?說真的,也沒有什麼一定不行,這真的完全取決於公司的準備度。我們的目標是對個人能力進行一個最正確的估計,而只要心理專業人員手邊擁有的工具正確,有很多方式可以讓我們做到這件事情,只是需要願意為這複雜的過程付出較高的成本,換取最正確的結果。


小結

  • 內部一致信、折半和重測信度,是描述一個測驗測量結果穩定性的最主要指標。
  • 品質再好的認知測驗,在相隔二十天至兩個月重測,會有好的重測信度,但都會出現練習效果,非語文測驗的練習效果比語文測驗更大。
  • 臨床心理師業界對認知測驗重測的最佳指引,是以至少一年再行重測、兩年會更好。
  • 成年期的認知能力穩定,不太隨時間而有所變化。會隨著時間變化的通常是與認知能力無關的環境項目,例如練習效果、情緒、生理狀況不適等等等。
  • 在相信個人能力未被正確的估計出來的狀況下,其實就可以安排重測。這個猜測通常奠基於測驗結果本身的異常反應,或是與其個人背景變數異常衝突的線索。
  • 為了避免練習效果,重測需要第三套評估同一個能力的不同工具。

延伸閱讀

這個章節的內容其實都是心理測驗的指導手冊和基本特徵描述,站在保護測驗的立場,無意進一步對這些測驗做說明,僅列出本次使用的參考資料:

  • 維也納測驗系統說明單張。
  • 魏氏成人智力量表第三版(中文版)指導手冊。
  • 魏氏幼兒智力量表第四版(中文版)指導手冊。
  • 魏氏兒童智力量表第四版(中文版)指導手冊。

Leave a Comment