评分一致性训练课件.ppt

1、12012年醫學校院聯合臨床技能測驗年醫學校院聯合臨床技能測驗師資訓練工作坊師資訓練工作坊OSCEOSCE基本原理說明基本原理說明2012-02-182012-02-18簡竹君簡竹君評量方法的基本要件信度指這種評量方法的所得到分數的一致性效度指這種評量方法是否可以忠實測量所指定的項目可行性這項評量方法必須是務實辦得到的具體資訊價值這種評量方法價值能夠真實反映住院醫師能力及專業訂定教學內容訂定教學內容到底該具備什麼樣的臨床技能呢符合國家或專業需求忠實反映訓練課程成果技能的範疇包括病史探問身體檢查溝通技巧操作性技能 等等能力導向的訓練課程確認醫師應具備的能力ACGME 六項能力要件TJCHA 核心

2、課程醫學院校校長共識撰寫具體學習目標決定適當教學方法內容方式明訂教學部，外科，內科職前訓練內容教學部呼吸音，心音，男女導尿，呼吸道處理 ，BLS(5)內科部 IV及輸液設立，ABG，死亡確認，胸腹部X-Ray，12導程EKG (8)外科部傷口縫合，傷口消毒及包紮，拆線及移除引流管，無菌刷手，手術衣手套穿戴，手術部位消毒準備 (6)6簡竹君醫師負責1. 攜帶型血糖測定，血液抹片 level 5 & 4(2)2. 支氣管擴張劑的使用，噴霧劑的使用 level 3(2)7內科部UGY整合核心課程 內科部UGY整合核心課程 內科部UGY整合核心課程 謝明儒醫師負責1.腹部的檢查 Level 5(1)2

3、.傷口的評量 Level 4 (及骨折的固定處理 level 3)(2)11傅仁輝醫師負責1. 新生兒檢查，身高及體重測量與曲線圖的標示 level 4 & 5(2)2. 接觸及檢查兒童之能力，兒童發展評量 level 4(2)12林益豪醫師負責1.孕婦的腹部的檢查 Level 4(2)2.陣痛的分期與評估 Level 4(2)13張玉喆醫師負責1. 檢傷分類，緊急處置 level 3 & 4(2)2. ACLS level 3(1)14試題開發試題開發確保效度確保效度試題開發流程試題開發流程優先規劃OSCE整體方針教案數量配比藍圖工作分配OSCE教案開發撰寫人考官與標準病人訓練試演檢討修訂表

4、演與教案試考，檢討修訂評分表與教案USMLE Step 2 CS以病歷詢問為考試重點的 OSCE測驗站 (Focused history taking OSCE station),以身體檢查為考試重點的 OSCE測驗站 (Focused physical examination OSCE station),以提供諮詢為考試重點的 OSCE測驗站 (Focused consult OSCE station),以急診室情境為考試重點的 OSCE測驗站 (Emergency Room OSCE station)。考試藍圖 試題開發依照藍圖安排測驗站數場地設備 時間設計場景、劇情安排訓練標準化病人 考

5、官、評分者 單一試題開發步驟建構試題製作標準與測驗藍圖運用試演、修訂、驗證三步驟，促進教案品質撰撰 寫寫 教教 案案修訂修訂 教教 案案試演與討論試演與討論討論與修正討論與修正 教案驗證教案驗證德爾菲法緣起Delphi Method德爾菲法係1950代，由美國蘭德RAND公司Dalkey 以及Helmer 提出為預測蘇以原子彈轟炸美國時，可能產生的效果，而發展出一種透過群體溝通程的預測方法。充分資訊交用續結構化問卷，進反覆的調查。名化群體共識反覆詢問，並提供前次反應情況，供當次回答之考，是一種介於問卷調查法與會議法之間的研究方法。綜合專家意見每次調查後，填答者再根據回饋資重新作判斷，最後呈現的

6、群體判斷的意，可以反應出群體共的程和同意的分佈情形。目前的應用域可用於史事件、經費預算、市規劃、教育、政治、社會、心等人文社會現象的研究。評分一致性訓練評分一致性訓練確保信度確保信度考官訓練原則考官訓練原則確立臨床技能考官訓練標準與認證制度分階段培育臨床技能專家基本認知課程基本認知課程臨床技能考官認證臨床技能考官認證成為合格臨床考成為合格臨床考官官考官任務與評分考官任務與評分一致性訓練一致性訓練 x 2考官訓練考官訓練舉辦臨床技能相關訓練課程與研討會安排參加院(國)外的相關訓練課程增加評分一致性的認證訓練，以確保評分品質鼓勵醫師參加臨床技能訓練課程評分一致性訓練評分一致性訓練各科分別遴選至少3

7、 位具有好信(Intra-rater reliability Cronbachs 0.8)與效(Validity coefficient0.9) 的演員。依照各科所提供的具有鑑別(效)的OSCE 同個案劇本進標準化OSCE OSCE 示範用範的影帶製作。提供各科評分者於同日之前測(pre-test)、後測(post-test)及二週後的後測(long term post-test)示範用。挑選演員與劇本挑選演員與劇本由各科專家(導演)針對OSCE 劇本教導、訓標準病人，訓後則再進標準病人的評分及其個人的信效分析，確定該演員的演出具好的一致性。擇定案例正式進標準化OSCE OSCE 示範用範影帶

8、的製。製鏡頭至少有三個以掌握：學生與標準病人的互動標準病人的表現檢查過程之表現。評分一致性訓練擴大與對象I所有主治醫師皆需加考官一致性認證訓課程，以達全院全面執之目的。200910月12日至20101月11日，長庚醫院舉辦34場次訓課程。訓成果：共有575位與訓。 評分一致性認證評分一致性認證 I I前測訓上課當天，所有評分者依照標準化OSCE OSCE 示範影帶內容進評分(前測)，之後由熟悉該影帶劇本的專家或編者進評分重點(Criteria)及OSCE 個案進應注意的細節解後測待專家解完畢，則即進同日後測，透過另一標準化OSCE OSCE 示範影帶內容進評分評分方式採Likert type

9、Scale, 15 分級評，以分析受試評分者當日前測、後測的一致性(inter-rater reliability, intra-rater reliability)。評分一致性認證 II經統計分析後，具有好一致性的評分者(Cronbachs 0.8)則可於二週後進再測(intra assay)反之未達一致性好的評分者則再進OSCE 個案評分重點的再教育。二週後，另播放第三個標準化OSCE OSCE 示範影帶，讓二週前已具有好一致性的評分者及已再教育的評分者再測一次。考官資格認證執行現況分析仍具有極佳一致性的評分者，則可正式成為該科部OSCE 測驗的評分師，並頒發標準化評分者證書予以認證。至20101月11日，符合考官訓要求的共計575位醫師 ，經床技能評分一致性測驗通過的為411位(71%)。認證足以執床技能測驗評(OSCE)考官任務。截至201112月17日，61位考官完成新頒定基礎課程訓要求，於201201月20日取得OSCE評分實務演練認證。OSCE 的實務檢討教學教過學生的內容是什麼？學生受測的內容是什麼？測驗技術哪些試題曾經使用過？哪些試題鑑別效果佳？考慮開發引進新的試題？資源考官標準化病人人力資源場地設施43謝謝謝謝預祝考試試務奇美順利預祝考試試務奇美順利