Home 飛行員甄選甄選擇入 / Select-In 考培訓,要不要去補習班?

考培訓,要不要去補習班?

by Undercover Psychologist

補習班對培訓機師考生及CPL考生而言,都是一個相當艱困和棘手的問題。對考生而言,補習班訓練可能可以大幅度提升取的培訓飛行學員的機會;但對航空公司而言,補習班訓練可能造成甄選系統失準,造成無法接受的訓練資源浪費,更嚴重的可能影響到安全風險。到底應該怎麼思考這個問題?而對這個系統的所有人而言,到底,又應該怎麼辦?

背景:那些讓你能夠通過測驗的必要訊息

這篇文章其實要討論的,是那些能夠讓應徵者通過測驗的必要訊息的洩漏問題;在文獻上,這些訊息叫做”Gouge”(Kay, Thurston & Front, 2013)。能幫助考試的訊息種類有很多種,有些是關於心理測驗類型的資料,有些則是關於可能的面試資訊。但無論如何,只要在Google上搜尋「培訓」「機師」「考題」這樣的關鍵字(或英文 Aviation Job Knowledge Test Gouge…)之類的關鍵字,就可以在網路上取得非常大量關於測驗的訊息。甚至,有些比較成熟的套裝測驗,你可以買到整個測驗的正式版本;就算沒有,有些補習班也會用自己的資源,去做出一個類似的模擬版本,讓考生得以練習。

這篇文章要處理的,是各類被洩露的訊息中,關於心理測驗的部分。幾乎每個心理系畢業的學生,都會知道心理測驗的保護原則;學生在上心理測驗之前,助教或老師都會先說「最好你先去做做看,因為上完課之後,心理測驗對你而言就不準了」。受試者會因為知道測驗評估的標的、心理測驗本身的題項、工具內如何安排以評估受試者測驗的內部信度等等,知道如何答題會造成怎麼樣的結果。也因此,若測驗結果本身是可以被操弄,就會導致測量的結果失真。對心理學圈的人而言,台灣心理學會及台灣臨床心理學會都有的相關倫理守則,規範專業人員對測驗的保護之責任。

但可惜的是,相關倫理守則是對專業人員的規範,對補習班來說,本來就沒有什麼強制力。補習班可以上網、找之前的考生、或成功通過考試的人回憶等等,以各種方式搜集到測驗材料及內容。這個時候,測驗的結果就會形成對測驗預測結果的威脅。剛開始處理這個問題,只要對認知測驗有些認識的同行,都會被這個情景嚇到:在高度複雜的認知操作之中,幾乎每個考生都跟天才一樣,讓你心想如果是你,應該有八成做不到他們這個表現,但實際上你知道自己的智力應該在什麼水準(大一老師都有教,大二上心測前該做的做一做嘛,不是嗎?)⋯這些人,到底怎麼回事?什麼怪力亂神?

補習班的訓練以及造成的效果

培訓機師的補習班大概在2017年至2018年為最高峰期,其提供的項目如下:

  • 搜集及整理各種考試情報
  • 訓練一些初階的航空基礎知識
  • 通過練習的方式,協助通過心理測驗(包含紙筆測驗、儀器測驗、維也納測驗)
  • 通過練習的方式,協助通過面試

在補習班最頻繁的時期,除了實體班的訓練外,也有一些號稱函授可以在家練習的教材。在國外,這些服務也都有,但也有一些是比較注重個人成長(如帶團體、討論想要成為飛行員的一些動機、增進對自我的了解等等等)。但如同我們前面討論的,我們真正在意的是那些可能影響到測驗正確度的訓練:這些訓練到底會造成什麼樣的效果?

訓練資源的浪費

這個大概是裡面影響最大的一個環節。因為接受了補習班訓練,學會一些技巧最終得以通過心理測驗的這群人,若本來認知表現其實並不那麼好,在未來訓練碰到困難導致最後被退訓時,就會直接造成訓練資源浪費。從完全沒有經驗到拿到CPL大概就250萬,若已經到了Type Rating或是IOE階段最後才決定退訓,則整個因退訓後所導致的訓練成本浪費更是高昂。

這可能也是影響目前兩間航空公司在補習班因應策略上採取不太一致態度的主要理由。若退訓所造成的訓練成本浪費較小,則航空公司對補習班可能有更大的容忍空間;亦即,如果沒過對航空公司也沒有太多損失的話,我也不需要管你是否經過補習班訓練,就讓應徵者直接在訓練的路上試煉,沒通過就沒通過。但倘若訓練成本損失很大,而補習班又不會幫忙出這筆錢,那實在沒有理由讓航空公司不去注意到補習班對甄選系統所造成的影響問題。

增加訓練風險

比較麻煩的,會是實際上沒有到可訓條件,卻因補習班訓練通過,最後導致訓練結果在訓練邊緣的狀況。如果學員很明顯就是訓不出來,公司需要的就是一個決心,由主管來安排退訓;但如果有時學員的狀況在邊緣,在訓的出來跟訓不出來中間徘徊,訓練仍然是要繼續進行,對主管及教師機師而言,都會需要承擔更大的訓練負擔。對一些規模較小的航空公司來說,損失一個訓練學員,也很有可能直接地造成未來人力派遣上的一些困難,若公司為了人力考量,勉強讓其繼續訓練至完訓,未來也是會增加機隊在管理上的安全風險。

補習班的因應策略

因為這些可能的影響,航空公司到底有沒有可能去知道「誰是接受過補習班訓練的人」,變成是一個關鍵的問題。對考生而言,相較於「考培訓,到底要不要去補習」,有的時候應該是指「我如果去了補習班,到底航空公司會不會知道」?而對航空公司而言,到底有沒有機會去知道「誰有接受過補習班訓練」?或是,到底應該怎麼樣,才可以處理補習班的問題?

行政手段

行政手段就是一種最原始的管理策略。試想,如果我們今天是一個主管心理測驗的負責人,我們會用哪些方法讓這些題目不要被偷走?你可能會想說要隔排坐、要有 A、B兩種不同的卷、要常常換題目、要上PTT Aviation和Dcard航空版巡邏、要確定每個進來的考生考試時都沒有帶違禁品⋯⋯曾經聽說有公司主管說過要派個人在補習班樓下站崗,每個走進去的人就照一張相,這樣我們就知道哪些考生有去過補習班。就算這是開玩笑的,但也大概可以想的出來,這個就是在行政上對補習班問題,在管理上能夠想出的作法。

行政手段通常就是以下兩個結果,幾乎不會有意外:

  • 在一開始,出題的一方一定會贏。在這個局裡面,出題的用人單位一定有絕對優勢。
  • 但這個方式一定很快的會被搜集回來,用個兩三次,這個新的題目就會出現在Google上面。這會逼著出題的人很快的又要變化一些新東西。

如果我們參考一些比較國際性的大型考試,行政手段還是會有一些幫助;例如,應考TOEFL/TOEIC,上面還是會有一段關於測驗安全的文字需要你抄寫或朗誦,若違反的話則不予計分的相關規定。但TOEFL或TOEIC的測驗還是有外流,考生上網還是會找到相關的測驗指引與考古題。但我們也沒有看到他頻繁地換題目(事實上,換題目是很辛苦的事情),為什麼這兩個測驗仍然有他的公信力?

行政手段不能覆蓋原本的目的,使用心理測驗的目標還是為了找到能夠完訓的人。因此,我們還是得要回到測驗的本身去處理這個問題才行。

心理測驗的異常偵測

心理測驗的異常偵測,是保護測驗方法的核心;但需要先表達的是,在這裡只能說明概念,統計執行上該如何操作,需要對心理測驗的編制方式有相當程度的了解。相關的一些方法論,可以參考Handbook of Test Security (2013)。

測驗間差異達顯著

當要測量一個能力(註:對熟悉心理背景的讀者而言,這裡指的是構念)的時候,成熟的心理測驗很少會單獨只使用一個分測驗來進行測量。以魏氏智力量表為例,隨便挑一個能力(如語文理解),下面至少會有兩個正常編制的分測驗(類同、常識分測驗)及一個替代分測驗(詞彙分測驗)。在計算這個能力的分數(註:這裡是指數分數)時,我們會使用兩個正常編制的分測驗量表分數相加,再根據查表去取得這個指數分數是多少。如果今天有任何一個正常編制的分測驗因故未能使用時,我們可以改使用替代分測驗。但無論如何,對同一個能力而言,一套好的心理測驗,不會只使用一個分測驗來加以測量。

在進行分階層的解釋時,我們會在意兩個測量同一個能力的分測驗,是不是可以得到同樣的結果。當這個結果差太多的時候,往往心中都會有一些假設:

  • 測驗的過程中有發生不預期的事件,例如不清楚題項要求、時限錯誤、劃卡劃錯等等
  • 或許該受試者真的在認知方面有一些個人的特殊性,亦即,這個變異的來源只出現在特定的受試者而非群體上
  • 但倘若這個差異出現在大規模的群體上,這很有可能表示:有測驗壞掉了

多少差異是達顯著,對魏氏智力量表可以查表得知;對測驗編制者而言,只要有一定樣本數的常模,取得這個分數也不是太困難的事情。因此,當施測者開始注意到,在完整控制外在環境下,有部分群體在測驗間差異頻繁地達到顯著,很有可能就是測驗壞掉的警訊

測驗常模(平均數、標準差、資料分配型態)有不正確的偏移

常模,是測驗最重要的描述性特徵。對於這種能力性的心理測驗來說,相較於描述整個母群的認知能力,我們更在意測驗是不是能夠正確將人給區分開來;因此相較於平均數,我們更在整體測驗樣本的標準差。同時,我們也在意測驗本身分配是不是盡可能的服從常態分配。

當測驗壞掉的時候,平均數跟標準差都會偏移。平均數的偏移比較好理解,隨著測驗流失的題目越多,答對的分數也會越高,因此在描述整個測驗的時候,會發現今年的考生比去年更聰明、去年的考生比前年更聰明⋯但這個明顯不太可能,通常就表示測驗壞掉的機會開始提升。對標準差和資料分配型態而言,會開始有一群考生由原本的平均數位置開始向右移,本來只有一個峰的開始有了兩個峰,本來服從常態分配的形狀開始改變,標準差變大,這些也都是測驗壞掉的前兆。

測驗無法達成預想要的切截人數

切截分數的設定,也是一個重要的條件。例如,本來一個測驗按照原本設計,應該要能夠篩掉50%的應考者,隨著時間推移,這個比例持續的下降,很有可能就顯示這個測驗即將壞掉的前兆

重要的是,不要輕易的變更測驗的切截分。變更切截分的往往是因為能夠通過篩檢出來的人逐步增加,為了維持本來的篩檢比例,會需要把切截分調高;然而這就是惡性循懷的開端,一但分數調高,往往就只有通過補習班訓練的人才有機會通過門檻,在沒有弄清楚的狀況下,反而會增強補習班及練習的廣泛性。

確保在測驗設計上的能夠有其品質

以上都是一些異常狀態下的偵測方式。當測驗開始出現異常的時候,需要回去看測驗施測跟受評之間,到底有哪些問題?

有的測驗問題比較好解決,例如記憶題項的流失,只要頻繁的更動需要記憶的項目或是順序,這個測驗就可以被修好(例如,有些人在心急之下,就是會把那些在進考場之前就記在心中很久的答案給寫出來,但是這整個測驗都不再有這個數字⋯因此你還是可以看到一個被訓練過的痕跡)。但有的測驗可能是根深蒂固問題,例如被找到一個簡易的答題方式,讓受試者可以繞過本來測驗要評估的那個心理歷程。這種測驗就很有可能需要砍掉重練,找到一個可以測量相同標的但方式不同的替代測驗。

評估真實能力和動機的混合體

Gouge這種問題如果沒有辦法處理,會讓心理測驗的施測者經常性的懷疑考生的正直誠信問題;但實際上,考生很有可能是非主動性的暴露在這個環境裡面,不見得是有意圖的要去獲取這些訊息。同時也會有些說法認為,去找尋資料本身就是報考動機的展現,而有高動機不是一個完訓的正面指標嗎?誠如Kay等人所提:

Kay, Thurston & Front (2013)

… The mere fact that the candidate is researching the test is considered by some to be an indication of motivation. On the other hand, pursuit of some types of gouge could indicate an integrity problem. …

那所以,有沒有一個測驗的方式,去評估一個真實能力和動機的混合體,而不去碰到正直誠信的問題?這倒是可以先從一個理論的方式來思考。

測驗的真分數理論

根據心理測驗的古典真分數理論:

X = T + E,其中

X = 測量的結果,也是我們唯一知道的數值
T = 測驗的真分數,也就是這個欲測量標的的真實狀況
E = 測量誤差

如果我們在這個公式裡,加入一個動機的變數,讓其變成:

X = T + M + E,其中

M = 個人練習的效果,可解釋為個人動機

由於我們會知道的只有X,以及E佔X的比值(這個就是測驗信度的定義),對測量的觀念來說,真實能力(T)和個人動機(M)是無法被區分開來的。如果我們可以接受這個說法,亦即真實能力和個人動機是可以混著一起測量,那我們就有辦法來進行了。

讓考生回去練習好再來

這個方式就是:在測驗前就清楚的告訴所有考生我們要測量的形式,讓所有考生都在家裡準備,準備到好了再來測驗。反正你就是把那些給你的材料練好練滿,測驗當天進行的內容也不會偏離這個範圍,就沒有額外會不會影響你通過或不通過的一些小技巧,因為這些通通都是每個人有機會可以練習的材料,只要你努力。

說實在的,以心理測驗領域而言,這個設計其實十分的違反常理。對多數的心理學領域來說,如何嘗試以細緻的實驗設計,將所有可能影響因子給分離出來,是多數測驗的目標;然而,這個作法卻願意選擇將真分數和個人動機混合起來一起評估,以消弭不均勻的測驗小技巧在母群中非常態性的散布。這某個程度上可能也顯示:補習班的威脅對測驗效度所造成的效果,遠比不如直接發布測驗讓大家一起練習來的大。

這是另外一個可能可行的做法。

應徵者立場在補習班問題的整理

所以,說了這麼多,到底對一個應徵者而言,考培訓到底要不要去補習班?我們只能根據這麼多的討論,整理出以下事實:

  • 越可能因補習班而造成高額訓練資源浪費的航空公司,越會花心思處理補習班問題。
  • 航空公司或許會透過行政手段去掌握補習班,但這不是一個有效的方式。
  • 透過測驗本身結果異常的變化、常模的移動,對熟悉心理測驗工具的招募同仁而言,就能夠有效掌握補習班對甄選系統的影響。甚至可以評估哪些人可能受過補習班訓練,推論這個測驗結果不可靠。

所以:

  • 請自行決定要不要去報考補習班。
  • 如果最後決定去報考,當被問這一題時,請盡可能的誠實填答。

航空公司立場在補習班問題的整理

對於航空公司而言,以下大概是這個問題的最佳策略:

  • 補習班這個產業就是必然會在,無論多討厭他。
  • 航空公司對自己的招募同仁應該要有高度的要求:無論補習班可能會如何影響應考者,在每一次甄選所採用的任何測驗,我們都必須要能夠要求同仁:一定要對想測量的能力進行「正確測量」。要把TOEFL的那種測驗品質當作目標:就算所有人都去補習班,我們還是能夠正確的評估出他實際上的能力為何。
  • 如果真的在意訓練資源的浪費,花錢投資在人力及心理測驗上,會是一個相當不錯的選擇。

延伸閱讀

Kay, Thurston & Front (2013). Commercial airline pilot and air traffic controller selection. In Aeromedical Psychology, 37-62. Ashgate.

Handbook of Test Security (2013)。

1 comment

Shin 2020 年 5 月 3 日 - 4:21 下午

跟考心輔所/心理所一樣,補習班會讓學生素質產生偏差,面試時,教授們無法精準取得理想中且想要的學生XD

Reply

Leave a Comment