Home 飛行員甄選甄選擇入 / Select-In 培訓考數學理科的設計考量

培訓考數學理科的設計考量

by Undercover Psychologist

國籍航空公司在培訓招考的初期階段,都會安排數學和理科的紙筆測驗;業界所使用成套的測驗軟體(例如COMPASS),也內建有數學和理科的測驗題項。但究竟評估數學和理科的目的是什麼?這對判斷個人適不適合擔任飛行員有什麼幫助?而這兩個測驗的範圍、難度,又應該怎麼被訂定?所得到的常模應該要有怎麼樣的特徵?以及這個所得到的數值,對於一個心理專業人員來說,會怎麼解釋這個成績所代表的意義呢?

數學、理科測驗目的:學習成效的估計值

如果我們先不看培訓考生,先看看已經完成CPL訓練後應徵的學員歷程,第一關往往都是飛行知識(Knowledge)的測驗。舉例來說,像是飛機系統、航空法規、導航、天氣等等,這些都是在CPL訓練時一定會提到的學科知識。從甄選的理論上來看,一個有效的甄選應該要能夠評估其符合該職位的知識、技能、能力和其他特質(Knowledge, Skills, Abilities and other attributes, KSAOs);因此,倘若考生已經完成CPL的訓練,以飛行知識測驗去估計出該學員在進行CPL訓練的時候學科的學習成果,應該就可以正確推估未來學習飛行知識的初步輪廓。

但對培訓的考生來說呢?多數的人都沒有接受過飛行訓練,評估飛機系統或天氣最後結果一定很糟,也不是很有意義。因此,對培訓的考生而言,學習成效的估計值會使用數學和理科(物理、化學)來替代。但是這個考的好或考的壞,到底又代表什麼?如果回顧Select-In階段應該納入的工具(培訓,考什麼:飛行員甄選流程中,應該要有哪些關卡?),學業成就表現(academics)其實對訓練結果是有預測力,雖然這個相關並不高,約為.15左右。

因此,在甄選階段的初期評估數學及理科的學習成就,可以概要的當作一個預測完訓的指標來看。但或許有個問題會是:如果是估計學習成就,為什麼不考歷史化學國文,而偏偏是數學物理化學?確實有一部分來自學習飛行過程中會接觸到的知識有關,相較於歷史或化學,數學確實有較高的機率在飛行訓練中被使用。但更重要的是,這個數學與理科的測驗,只是學習成就的一個單一取樣;我們還有其他學業成就表現的估計值,是應徵者的學業成績單。因此,如果今天要只能選用一項指標來代表學習成就,來對飛行訓練進行預測,到底數學和理科的測驗跟成績單哪個比較有代表性,其實是值得深思的問題。

研究者Zierke使用德國航空航太中心(DLR)的甄選模組,收取402個受試者,評估(1)數學、(2)理科測驗及(3)學業成績對飛行訓練的地面學科學習表現的預測的結果。結果發現:

  • 相較於認知測驗,數學、理科測驗及過往學業成績,對於地面學科的學習表現有較強的預測力
  • 學業成績增加了17%的遞增效度,比數學、理科測驗增加了12%的遞增效度還高

這個結果顯示:如果飛行訓練終究是要每個階段都過,則數學和理科測驗、學業成績對預測訓練的早期階段來說,還是蠻重要的。

測驗的範圍、難度、與測驗分配之間的關係

接下來,要決定測驗題目的外觀形式,包括題目數、難度、出題範圍。但在決定這些項目之前,我們可以先知道「哪些是不好的結果」,再來思考我們出題時要怎麼避免這些問題。

測驗分配不應該純右偏

無論今天是哪種測驗,對一個測驗的編制者而言,總是希望測驗結果的分配盡可能服從常態分配。當測驗分配明顯偏態時,就可能顯示對集中的那一側的考生,測驗無法有效的將人給區辨開來。由於數理題目可能都放在國高中程度,這類題目出題的結果,經常可能造成向右集中,使得右邊考生較難區辨出彼此的程度。

但如果需要區辨程度,是不是就表示「我們一定要考比較難的題目」?有的主管會有這些考量,認為題目既然是國中數理,那他通過就是通過。但這其實會造成所有人都拿到非常高的分數;試想,如果在一個測驗裡,所有人都拿到滿分,你幾乎無法淘汰掉任何一個報考者,那不如乾脆不要考。因此,其實整體來說,站在強化區辨效果的觀點,一套測驗裡面除了有簡單的題目,還是會建議要放一些有區辨力的題目在題組之中。

測驗有好的區辨力,在決定要淘汰多少人才有彈性。沒有區辨力最嚴重的結果,就是所有人都通過,那這個測驗不如不做。

注意常模必須要是本國籍

如果使用國外進口的數理題組,經常就有可能碰到這個問題。例如,COMPASS測驗本身就有數理題組,但如果找台灣考生去寫那組題目,相較於國外的考生,台灣的數理訓練太扎實,當使用常模比較後,數理拿到最高分的量尺分數,其實是常態。

這個問題最後就會跟前者一樣,到底所有人都拿到數理最高分,到底是什麼意思?使用國外常模,就是會導致無法區辨出來。因此,若已經確定就是要使用國外測驗,最好要拿夠取得原始分數,在收取較大的樣本數後自行建置常模。切勿直接使用國外常模,最後的結果會幾乎區辨不出來。

如果學業成績不好怎麼辦

站在培訓招募的角度思考,我確實不太相信會有航空公司不看在校成績。但如同前面所提的:看學業成績的目的,是作為一種學習成就的估計,進而推估未來進行飛行訓練的成效。一個人的在校學業成績不好,總是可以讓人想起很多不同的原因,可能因家裡變故、人際關係、和老師和同學之間等等的摩擦⋯⋯

在面試前,請嘗試著將這些學業成績不好的因素分類。有哪幾科目是真的跟「學習效能」有關係?這幾科才是預測未來能不能完訓時,我們真正關心的要點。

小結

  • 數學或理科站在評估學習成效以估計學習表現而言,還是有必要評估的。
  • 數學或理科最大的問題,在於分配的偏態;簡而言之,測驗仍然還是必須要有點鑑別度,否則如果刪除不了任何一個人,那不如都不要考。
  • 注意這兩科在跨國常模所造成的判讀差異。

延伸閱讀

Zierke(年份未知). Knowledge tests for ab-initio pilots selections in civil aviation. German Aerospace center (DLR).

Leave a Comment