最後更新 : 06/13

首頁 > 觀測項的適當性

各校通用情形

  為與各大學教學評量觀測項進行比對,以明採用觀測項的通同程度。本文經由高雄師範大學教學發展中心及各大學網站取得東吳大學、長庚大學、高雄醫學大學、高雄師範大學、新竹教育大學、逢甲大學、實踐大學高雄校區、中興大學、世新大學、台灣大學、明道大學、義守大學、台南大學、海洋大學、中山大學、中原大學、實踐大學、高雄海洋科技大學、高雄第一科技大學、高雄大學、台灣科技大學、崑山科技大學等22所大學的教學評量表,進行比對後發現:各校所使用的評量觀測項通同程度相當高。

  經比對可知其中「老師會善用圖書館及網路平台教學資源輔助學生學」、「上過這門課之後,我可理解本課程的目標及重要性」、「老師對學生之評量能反映上課的教學重點」等三項只有少數學校採用;其他觀測項則有多所學校採用;這些共同採用的觀測項,雖然在遣詞用字上有些小異,其歸類也不盡相同,然題意及觀測角度則大致相同(參表3-1)。

  雖然學者對教學評量量表的研究有「過於簡陋」、「缺理論依據」(孫志麟,2005),「配合各校需求與教學文化設計評鑑題目」、「未經信、效度檢驗」(周祝瑛92)等看法;但衡諸各大學的施用通同的實況,吾人卻也難以全然否定現行量表的經驗基礎及主觀互證意義。

  教學評量涉及有效教學(effective teaching)的觀測。就國內的研究而言,孫志麟(2005)研究指出「教學表現指標,除了符合指標的重要性、適當性、有效性、穩定性、簡明性、實用性、可得性、規範性、比較性和可行性等準則外,尤需達到指標體系的理論性、多元性、階層性和完整性等四項要求」,並以教學的投入、過程與產出為概念架構,建構出包含「教學準備、教學內容、教學方法、教學評量、教學態度、教學溝通、教學責任、教學效果等八個層面」的觀測量表。(孫志麟,2005)。

  然而教學活動相當複雜,其概念內涵至今仍未完全得到具體結論,實務上也難以將教學活動的全部納入教學評量量表。教學活動的很多面向並非學生能夠直接觀察。學生對教師活動的評量,只是教師外顯教學行為的主觀感受與覺知。據此並綜觀各校教學評量表,現行的教學評量觀測項大致具有如下特性:
1. 評量表內容屬學生可直接觀察的教學行為及可感受的學習結果。
2. 評量表內容包含學校階段發展重點、教學單位之觀察及師生意見反應而形成之項目。
3. 評量表內容排除了客觀存在且可查考的事實(例如是否將大綱上網等問題),包括行政或同僚評鑑項目。
4. 評量表內容屬教學的基本產出及教師可實踐的教學投入與過程。
表3-1 教學評量觀測項及各校採用情形
教學評量觀測項 採用學校
(一)任課老師整學期幾乎都不遲到、早退
中原大學、逢甲大學、世新大學、東吳大學、長庚大學、中山大學、新竹教育大學、台灣大學、台南大學
(二)會鼓勵學生,讓學生感受到老師的熱忱與用心
實踐大學、中山大學、東吳大學、世新大學、高雄師範大學、新竹教育大學、台灣大學、長庚大學、高雄海洋科技大學、海洋大學
(三)對學生上課時的發問或作業都會有積極的回應
東吳大學、新竹教育大學、中興大學、台灣大學、長庚大學、高雄海洋科技大學、高雄第一科技大學、義守大學
(四)課後樂意接受學生請教問題並有耐心的回應問題
世新大學、東吳大學、長庚大學、新竹教育大學、台南大學
(一)老師會鼓勵學生發問討論或向學生提問,營造互動學習情境
世新大學、中山大學、高雄師範大學、新竹教育大學、實踐大學、海洋大學、高雄第一科技大學、義守大學
(二)老師除了講述外會採用分組討論及其他多樣化教學活動
新竹教育大學、東吳大學、長庚大學、中山大學、實踐大學、台灣大學
(三)老師會配合課程指引學生閱讀參考書籍或期刊
世新大學、高雄大學、新竹教育大學、海洋大學
(四)老師會善用圖書館及網路平台教學資源輔助學生學習
新竹教育大學、世新大學
(一)本課程教材與內容有組織且恰當
世新大學、東吳大學、長庚大學、高雄醫學大學、中山大學、高雄大學、高雄師範大學、新竹教育大學、逢甲大學、實踐大學、台灣大學、台灣科技大學、義守大學
(二)老師上課講解不會呆板、不會照本宣科
高雄大學、高雄師範大學、新竹教育大學、實踐大學、中興大學、海洋大學、高雄第一科技大學
(三)老師會看學生學習程度,調整內容深度
世新大學、高雄醫學大學、新竹教育大學、逢甲大學、台灣科技大學、高雄第一科技大學、義守大學、台南大學
(四)老師上課授課條理清析,講解、表達清礎
東吳大學、長庚大學、高雄醫學大學、高雄師範大學、新竹教育大學、逢甲大學、實踐大學高雄校區、中興大學、世新大學、台灣大學、明道大學、義守大學、台南大學
(一)老師能激發學生學習意願或引導思考
中原大學、長庚大學、 中山大學、高雄師範大學、實踐大學、中興大學、世新大學、台灣大學、台灣科技大學、明道大學、高雄第一科技大學、崑山科技大學、義守大學
(二)上過這門課之後,我可理解本課程的目標及重要性
東吳大學、高雄師範大學
(三)修過這門課之後,覺得提升了本課程領域的專業知識
中原大學、東吳大學、高雄師範大學、明道大學、高雄海洋科技大學、高雄第一科技大學
(四)這門課很有內容,學生肯用心就可以學到很多
高雄師範大學
(一)教師對於學生成績評量有明確、客觀的方式與標準
中原大學、高雄大學、逢甲大學、實踐大學高雄校區、中興大學、世新大學、台灣大學、義守大學、台南大學
(二)教師對於學生成績的評量能兼顧考試成績及出席率、作業等平常表現
東吳大學、 中山大學、高雄海洋科技大學
(三)老師對學生之評量能反映上課的教學重點
台南大學
(四)老師對學生之評量要求合理,不會出難題讓多數同學不及格
長庚大學、高雄第一科技大學、崑山科技大學

教師意見的分布

  本文分析有關觀測項是否適用的分析結果發現:(參表3-2)所有的觀測項都有過半數的受訪教師接納,肯定為「可使用」的觀測項,而認為應修改的比例相當低。認為應刪除的比率,除了「老師對學生之評量要求合理,不會出難題讓多數同學不及格」5.1%、「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」4.0%、「老師會善用圖書館及網路平台等教學資源輔助學生學習」4%之外,其他觀測項都只有3%以內的教師認為應予刪除;但各觀測項都有超過三成的受訪教師表示「沒意見」。

表3-2 教師對觀測項適用性的意見
面向 觀測項 可使用 應修改 應刪除 沒意見 平均分
教學態度 (一)任課老師整學期幾乎都不遲到、早退 58.60 5.10 2.00 34.30 4.14
(二)會鼓勵學生,讓學生感受到老師的熱忱與用心 61.60 2.00 2.00 34.30 4.17
(三)對學生上課時的發問或作業都會有積極的回應 64.60 1.00 0.00 34.30 4.17
(四)課後樂意接受學生請教問題並有耐心的回應問題 61.60 3.00 0.00 35.40 4.22
教學方式 (一)老師會鼓勵學生發問討論或向學生提問,營造互動學習情境 63.60 2.00 0.00 34.30 4.19
(二)老師除了講述外會採用分組討論及其他方式等多樣化教學活動 54.50 7.10 4.00 34.30 4.18
(三)老師會配合課程指引學生閱讀參考書籍或期刊 57.60 6.10 2.00 34.30 4.14
(四)老師會善用圖書館及網路平台等教學資源輔助學生學習 52.50 7.10 4.00 36.40 4.15
教學內容 (一)本課程教材與內容有組織且恰當 60.60 3.00 0.00 36.40 4.14
(二)老師上課講解不會呆板、不會照本宣科 57.60 6.10 2.00 34.30 4.25
(三)老師會看學生學習程度,調整內容深度 58.60 7.10 0.00 34.30 4.19
(四)老師上課授課條理清析,講解、表達清礎 63.64 2.02 0.00 34.34 4.22
教學效果 (一)老師能激發學生學習意願或引導思考 57.60 5.10 1.00 36.40 4.22
(二)上過這門課之後,我可理解本課程的目標及重要性 60.60 3.00 0.00 36.40 4.16
(三)修過這門課之後,覺得提升了本課程領域的專業知識 60.60 3.00 0.00 36.40 4.07
(四)這門課很有內容,學生肯用心就可以學到很多 55.60 5.10 3.00 36.40 4.06
學習評量 (一)教師對於學生成績評量有明確、客觀的方式與標準 60.60 2.00 0.00 37.40 4.05
(二)教師對於學生成績的評量能兼顧考試成績及出席率、作業等平常表現 59.60 1.00 3.00 36.40 4.13
(三)老師對學生之評量能反映上課的教學重點 57.60 4.00 1.00 37.40 4.13
(四)老師對學生之評量要求合理,不會出難題讓多數同學不及格 50.50 8.10 5.10 36.40 4.10
  進一步觀察「可使用」意見比率平均相對較低者是「教學方式」、「學習評量」及「教學效果」;就觀測項而言則是:「老師對學生之評量要求合理,不會出難題讓多數同學不及格」50.5%、「老師會善用圖書館及網路平台等教學資源輔助學生學習」52.5%、「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」54.5%、「這門課很有內容,學生肯用心就可以學到很多」55.6%等項相對較低。經筆者進一步訪問教師得知,教師的考慮主要是「學生對要求或考評嚴格的老師會評給低分」、「教學方式的觀測項未涵括所有的教學方式」、「學生學習成果與學生用功與否、學習能力有關,並非老師所能掌制」等等。據此,筆者認為教師對學生考評的嚴格程度及學生學習成就對教學評量的可能扭曲,有必要於賡續研究中,將之納入分析,以避免反效評量的情形發生。其次,教學方式的多元確實無法完整的涵納於教學評量表中,玄奘大學現行量表也就是此項原因而只設計教學活動基本方式;唯為顧及教師教學的特色設計的發展,未來教學評量表或許可臚列教學方式供教師自選。至於圖書館及網路平台的使用是現階段學校教學發展的目標,則屬導引「教」「學」的目標導向評量。

  不過,教師認可比率低的觀測項,是否會有較低的評量分數呢?就表二各觀測項的平均得分觀之,可看出「老師上課講解不會呆板、不會照本宣科」(57.6%/4.25)「老師能激發學生學習意願或引導思考」(57.6%/4.22)「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」(54.5%/4.18)是教師認為可比率相對偏低的項目,但這些項目的學生評量分數反而是相對最高或偏高的項目;。為此,本文以教學評量各觀測評均得分與教師對各觀測項的認可比率進行關聯性的分析得知(參圖1),教師對觀測項的認可比率與實際評量分數不但無達顯著水準的直線關係(F=1.20,P=.288),也無二次曲線關係(F=.58,P=.573),散佈圖呈現的是未見規律樣態。可知觀測項的教師認可比率與評量分數並無顯著關係。



  其次,本項調查各觀測項都有超過30%的受訪教師表示「沒意見」且在問卷回收截止前仍有79位教師同仁(44.4%)未填覆問卷。多數教師未表示意見,有可是玄奘大學的教學評量主要是以提供教師調整教學設計為主,雖然也是教師教學評鑑的指標之一,但屬低門檻加分指標,對教學評鑑分數形成減分的可能性相當低。此外,筆者訪談獲知部份教師認為若干教學評量觀測項的用詞需再斟酌,但又覺得「學生對教學評量觀測項的語意表述未必認真理解」,因而未積極表達意見或填覆問卷。兩位資深教師曾指出「評量項目歷年來有數次更改,但評量得分並沒什麼改變」、「學生只是對教師教學的模糊意見反映,不會細酌面文字」。這或許也可註解教師未積極表示意見的可能緣由。

深度意見

  任課教師對此次教學評量的開放性意見主要包括有:觀測項的適當性、觀測項的語詞及計分合理性等項。茲分述如下:
(一) 觀測項的適當性
  教學態度方面。有受訪敎師反映教學態度觀測項之「課後樂意接受學生請教問題並有耐心的回應」會因為課程性質而無通用,且忽略如:電子郵件、MSN等其他方式的課後指導,甚至認為學校已規定教師必需排定OFFICE-HOUR,而不必再設此觀測項,並有修改為「老師是否能以各種方式充分掌握我的學習狀況,並隨時提醒我認真學習」之議。其次有教師建議於「教學態度」應增列「老師會追蹤缺曠課同學之學習情況」觀測項(如表3-3)
表3-3 教學態度觀測項之質性意見
在課後安排時間接受學生前去討論課業方面,兼任老師不應與專任的老師以同樣標準被衡量。改成「如果我想要在上課後討論課業,老師是否能充分配合」即使老師有教學熱忱並與學生互動良好,學生也不見得會樂意來上課。可改成「老師是否能以各種方式充分掌握我的學習狀況,並隨時提醒我認真學習」
「於課後安排時間接受學生前去討論課業等問題」或改為教師有公佈office time或聯絡方式,以提供學生課後討論的機會。
「於課後安排時間接受學生前去討論課業等問題」一項,可能與課程性質及學生反應有關,個人認為,教師應於課後無條件接受學生的提問,方式除面談之外,也可以用MSN或電子信箱等;但若由教師主動安排時間與學生討論,未必受到同學歡迎,或許佔了學生其他上課的時間、或許有些同學認為課堂上即可討論等等,這個新增項目做為教學態度的指標,意義不大
「於課後安排時間接受學生前去討論課業等問題」學校已規定,不必再問。
「教學態度」加入「老師會追蹤缺曠課同學之學習情況」之觀測項目

  教學方式方面。有教師認為分組討論及多樣化的教學活動設計會有「時間不夠用」的問題,而且隨著不同課程的特性即隱含了不同層面或程度的「多樣化」,等量齊觀的用同一指標觀測會模糊學生回饋意見的焦點,因此建議對教學態度觀測項之「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」進行修正。其次,有教師認為「老師會配合課程指引學生閱讀參考書籍或期刊」,限縮了可資運用的其他多媒體教學資源,建議擴大範圍,甚至可將「教材使用」設計若干觀測項觀測之。

  教學內容方面。有老師建議於「教學內容」當中,加入「老師會用實例、個案印證課本內容」之觀測項目;;其次,有教師認為「老師會看學生學習程度,調整內容深度」來問學生並不適當,因為學生不會察覺老師此一教學行為,因而建議改為「老師的教學內容之深淺是否適合」。(參表3-4)

表3-4 教學方式與教學內容之質性意見
「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」時間不夠用。
「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」本系課程中,尚有許多術科類的課程,Ex:素描、設計繪畫、水彩…等,這些課程中,以實務引導學員練習為重點之一,因此課程本身即綜合了多樣的教學活動,反之,講述的比重就不是那麼地高。因此這個題型對於本系而言,即同等存在了2個考慮要素:講述及多樣化活動。所以,容易使學生模糊問卷的焦點。
「老師會配合課程指引學生閱讀參考書籍或期刊」→論文、影片、多媒體、雜誌;本系課程的參考資歷多元,應增加範圍。
教材評鑑可以是獨立的大題,看看學生對本課程所使用教材之看法
於「教學內容」當中,加入「老師會用實例、個案印證課本內容」之觀測項目會更佳
老師會看學生學習程度,調整內容深度(學生會發現嗎?或直接問老師的教學內容深淺是否適合)。

  學習評量方面。有教師認為「老師對學生之評量要求合理,不會出難題讓多數同學不及格」與「老師對學生之評量能反映上課的教學重點」本質上重覆,也有認為與「教師對於學生成績評量有明確、客觀的方式與標準」重覆。(參表3-5)

表3-5 學習評量之質性意見
「老師對學生之評量要求合理,不會出難題讓多數同學不及格」與第三題「老師對學生之評量能反映上課的教學重點」本質上重覆,而且這個選項會使作答者有偏頗的思考。
「老師對學生之評量要求合理,不會出難題讓多數同學不及格」與第一題「教師對於學生成績評量有明確、客觀的方式與標準」重覆

  此外,有受訪教師對量表整體設計提出修正意見表示,「大部分的學校會將教學評量分為兩大部份」,「也就是前半部是關於老師、教材、學習環境的評量,而後半部是對於學生自己的態度:有沒有遲到早退、學習困難、對於問題的解決態度之類的問題」。如此「學生在作答時也可以觀察到學校對學生所提供的資源及用心,而作第二部份時也可以檢視自己的學習態度是否有問題。多半學生在作答這樣的問卷時都會使他們更關心自己的學習氛圍」。另有教師建議將「學生基本態度」用設為學生意見分數的權重(weights)。

(二) 題項語詞之修正
  教師均於問卷中反映,在問題的陳述方面,部份偏向負面用語;學生在填寫教學評量時多半是直覺式的回答問題,使用負面思考方式及複雜之詞彙讓學生作答,恐有影響及暗示學生之虞,所以提供一些問卷修辭上的建議。(參表3-6)

表3-6 觀測項文字修正意見
建議「任課老師整學期幾乎都不遲到、早退」改為「任課老師整學期很少遲到、早退」。
「老師的教學熱忱,讓我會不好意思翹課」改為「老師的教學熱忱,讓我十分欣賞與敬佩」。
老師除了講述外會採用分組討論、(影片欣賞與討論)及其他方式等多樣化教學活動(建議多舉例,以免學生僅以是否有分組討論來作答)。
「老師除了講述外會採用分組討論及其他方式等多樣化教學活動」改為「老師除了講述外會採用多樣化教學活動」。
「老師會善用圖書館及網路平台等教學資源輔助學生學習」改為「老師會善用圖書館、網路或多媒體教材等教學資源輔助學生學習」。
「老師上課講解不會呆板、不會照本宣科」改為「老師上課講解不會呆板、不會只照課本或講義唸」。
「老師上課講解不會呆板、不會照本宣科」用語負面,應正面陳述
「老師會看學生學習程度,調整內容深度」改為「老師會看學生學習反應,調整講解方式」。
「指定閱讀或作業」應改成「建議閱讀或作業」
有教師表示:「教學效果為專有名詞:意指教師對自己教學能力的看法,建議修改為"學習成效"。」
老師對學生之評量能反映上課的教學重點(是指考試題目嗎?)
「老師對學生之評量要求合理,不會出難題讓多數同學不及格」改為「老師對學生之評量要求合理,不會出難題或超出授課範圍的題目」。

(三) 計分合理性
  除了觀測的的設計與題意詞語有關意見之外,教師同仁另就評量表的作答計分合理性及學生特性等非量表題項的問題。這些意見包括:
1. 上課出席率太低或因曠課而扣考,以及學習意願低落的學生,其評量意見無法可靠反映教學情形,不應參與評量或其意見納計評量分數。同時學生作答是否認真、客觀,也是教師同仁擔憂的問題。(參表3-7)
表3-7 作答學生特性與計分合理性之質性意見
對於曠課超過六次以上的同學不應開放其做教學評量之資格,有些少出席上課的同學評分相當主觀,全部分數皆可最低分。
對於評量題項並沒有意見,但對於評量的學生有些意見,建議如果因為缺課而被扣考或是未參加考試而被當掉者,不應該(或說沒有資格)參加評分。因為他們不會知道老師上課表現,也不會檢討自己(或許部份會),只會在意老師把我當掉。如果將這些人的評分納入,對於老師就相當不公平。
出席率70%以上之學生方可作答。
缺課嚴重及扣考學生對評量有報復心理。
應禁止出席率太低的學生填答,以免失真。
本系學生多有打工,學習意願低落,應列入考量,以免上述意見無法真實反應教師教學成果。
有些學校會用到班施測的方式,好處是評量者為真的實際到校上課者,較為公平。但也有壞處,可能學生不來已經是對老師相當不滿了。
對於出席情況欠缺學生(如缺席達扣考者)之評量意見應以無效問題剔除,因為這些學生對教師上課情況不了解,其意見有失客觀。 我覺得學生若不認真作答(或無法瞭解題意)會讓評量失真更嚴重。

2. 作答的介面設計時不應有「預設值」,否則會因為「惰性答題」造成評量分數的紐曲。有教師表示98學年第一學期評量分數即因而比過去低了一分。致於極端值也應於計分時予以排除。(參表3-8)
表3-8 特殊答題與計分合理性之質性意見
預設中間值扭曲事實。
請勿將題目中的答格預先勾於3分,在研究方法中會明顯影響學生填答。上年度評量結果因上述原因導致許多老師(包含我個人)評量分數下降約1分。請勿將答案格中預勾,以免學生未逐題回答問卷即送出。
建議刪除預設的「點」,以使學生每科教學評量能真正認真的給予回應(不放在非常不同意or普通等任一選項)。
有聽學生說設定分數為3剛好會懶得動它,建議不設定數字較好。
對於極端值的問卷亦應剔除,以免因少數極端問題影響整體的觀測值,以符合統計學原理。
請對個別填答問卷偏差個案(例如均偏高或均偏低者)不納不平均計分,以免造成評量失真,謝謝用心設計。
評量分數應與學生人數加權,否則每位學生之影響力不同。人數少之班級每位學生影響力大,只要一位學生不開心之評量分數將大受影響

  此外,有老師表示,在打學期成績前就知道評量分數,會有影響老師對學生的期末成績評分的可能性,但如果想以教學評量之結果讓老師修正教學方式,則應更早給老師回饋。其次,在「學習評量」的項目中,因為學生填寫評量的時間較期末考與成績結算都早,因此「學習評量」無法獲得可靠結果,認為應重新考量適合性。另外也有老師認為期望學生能多表述意見以供教師教學改進之參考。

gotop