Home 飛行員甄選甄選基本架構 / Model 毛料、草料或布料:談飛行員甄選的方法論問題

毛料、草料或布料:談飛行員甄選的方法論問題

by Undercover Psychologist

其實我們真的不知道,到底毛料、草料和布料的比例是多少。圖:Shutterstock。

傳聞古時候,會以毛料、草料及布料的不同原來材質,來評估最終做成一件美麗衣裳的機率;後來有些教官也以毛料、草料及布料的分類方式,用來比喻學員的飛行資質的上中下分類。問題在於:我們是不是真的能夠透過心理測驗,找出這樣的分類?如果可以,他的比例又應該是多少?

背景:閻教官的毛料草料布料說

雖然陸陸續續都有一些這樣的比喻出現,但在閻駿(2018)的文章中,教官清楚地將這個理論及其比例清楚的描述出來。教官在原文中,對毛料、布料、草料的分類,有著以下三個定義:

  • 毛料:指有相當好資質的飛行學員
  • 布料:指有部分資質的飛行學員
  • 草料:指無資質的飛行學員

為了避免曲解教官在描述這個理論的的原意,必須要補充說明的是,教官認為在這個三個分類中還有一個重要的影響因子(註:以實驗法稱作調節變項,是會與獨變項會形成交互作用的變項),是飛行學校的品質。意即,不同訓練資質的學生,在不同飛行學校訓練出來的結果,與最後這個考生能不能考上航空公司,是一個資質(3:毛料、布料、草料)*飛行學校品質(2:好的飛行學校、壞的飛行學校)的一個實驗設計;這個3*2的實驗設計結果,最後會有6個不同的可能預測。

在原文裡,教官還提出一個毛、布、草的一個比例:

  • 毛料:10%。
  • 布料:40%。
  • 草料:50%。
  • 無論今天你是一、二、三流大學,這個比例均無分別。

若根據原文,我們可以得知,教官認為飛行學校品質與學員資質是有一些交互作用;但這個交互作用只是擴大了影響的效果,而不是影響毛布草本身的結果。因此,學員資質本身應該對於結果就有一定程度的預測力,在這裡就先不討論飛行學校可能帶來的交互效果。現在的問題在於:

  • 在心理測驗(或甄選)的方法論上,我們是不是能夠正確的將考生區分出毛料、布料和草料,三種不同的類型?
  • 如果可以,那這個比例應該是多少?

實驗設計的天生問題

在回答毛料布料草料分配的比例之前,要先處理一個問題:誰可以接受飛行訓練

前面在Select-in的介紹中,已經介紹了Martinussen(1996)各類測量法對飛訓預測表現的結果。這篇文章就算取了50篇不同的研究所得到的結果,但每一篇研究幾乎都會陳述一個方法論的問題:

考量飛行訓練是一個如此昂貴的投資,受訓的學員一定是經過篩選的,不可能每個人都做。因此,測驗對飛行訓練的表現預測,僅限於切截分以上的預測,以下的結果是「沒有證據」與「未知」

這個研究的限制非常重要,意指我們所有的測驗的結果去和飛行訓練表現所求的相關,其實只是一個母群樣本中的偏差樣本所估計出來的所得結果。關於這個限制,我們可以用下面這個圖方式來描述:

一個幾乎所有飛行員甄選實驗設計都會碰到的實驗限制問題。

在這個圖裡面可以看到,切截分以下只有測驗結果表現的資料,沒有飛行訓練的資料,所以如果今天去問說到底這些淘汰的人能不能夠訓出來?當然我們可以合理的用迴歸線去推論,根據相關及回歸預測,會推估心理測驗得分低的人,在飛行訓練的表現是沒有那麼好的。但如果我們考量較嚴謹的實驗法推論,因為下面那一段的飛行訓練表現是沒有收的,不能預測你沒有收樣的範圍,這題的答案其實是「不知道」。所以,多半時候,我們能回答的是「通過這個切截分以上的考生,完訓的機率有多高」,不能回答「低於某個切截分,不能完訓的機率有多高。」

這個問題常常就會變成,有許多長官或考生常常覺得對測驗不滿,認為測驗根本亂搞。如果有人問說「考不過就真的表示他訓不出來嗎?啊他如果之後自己跑去訓CPL還訓出來,那不就是表示你看走眼?」這個問題其實真的是非常好的問題。你怎麼知道那條神秘的預測迴歸線,說不定實際上是個U字型的迴歸線

有些對這個問題很感興趣的學者,他們很幸運的,有機會能夠收到一些未經過測驗切截分切截的樣本來進行研究。Hormann等人(2018)於EAAP研討會上報告135位瑞士軍事飛行員訓練,在未經測驗切截進行篩選、所有人直接送訓的條件下,分成兩個預測條件:訂定測驗切截分以上的預測相關,及全樣本的預測相關。在他們的研究中,使用全樣本的預測相關,比訂定測驗切截分的預測相關還好。這個發現顯示,就算有這個研究限制,心理測驗結果較不理想的受試者,在飛行訓練的表現不佳的機率,其實是相對高的。

毛料、布料、草料的比例,應該是常態分配

由上面討論可知,不是所有人都可以接受飛行訓練的狀況下,我們大概可以知道,除非學員本人經濟問題無虞,要不然接受訓練的人大都是篩選過的。在毛布草的比喻裡面,應該可以這樣說:實際上,有很大部分的草料,其實都沒有機會受到飛行訓練

所以,如果今天毛料布料跟草料指的是資質問題,而心理測驗又是鑑別學員資質最主要的方法,則心理測驗的分配結果,大概就可以知道毛料布料比例是多少。心理測驗在編制的時候有一個很重要的調性:

盡可能的讓測驗結果去服從常態分配。

這個就可以得到下面這張圖:

當然這裡畫的有點不太精準,但對心理測驗來說,倘若測驗服從常態分配,高過一個標準差為中上水準(PR約為68);兩個標準差稱作優秀水準(PR約為91)。所以如果用質性的描述來說,或許真的很優秀的人約佔10%,但絕大多數進行飛行訓練的人,站在心理測驗的立場,就是比絕大多數的人能力再好一些而已

小結

  • 由於實驗設計的天生問題,心理測驗能回答的是「通過這個切截分以上的考生,完訓的機率有多高」,不能回答「低於某個切截分,不能完訓的機率有多高」。
  • 若要將所有考生區分出毛料布料跟草料三種不同類別,實際上分佈應該會是連續的常態分配。
  • 絕大多數的草料都沒有機會碰到飛行訓練,因此只要認知能力比一般人再好一點點就可以。
  • 能夠通過認知測驗的部分,對訂定切截分的公司而言,就表示應考者有較高的完訓機率。

延伸閱讀

  • 閻駿(2018),星宇 毛布草 CPL終結 偷飛 自培訓 後會有期。原文。
  • Hormann H-J., Noser P. & Stelling, D. (2018). A Psychometrician’s Dream: Test validities in an unrestricted sample of future Swiss Air Force pilots. In 33rd International Conference of European Association for Aviation Psychology.

Leave a Comment