Hodnocení kurikula a fakulty je zásadní pro všechny instituce vyššího vzdělávání, včetně lékařských škol.Studentské hodnocení výuky (SET) má obvykle podobu anonymních dotazníků, a přestože byly původně vyvinuty k hodnocení kurzů a programů, postupem času se používaly také k měření efektivity výuky a následně k důležitým rozhodnutím souvisejícím s výukou.Profesní rozvoj učitele.Určité faktory a zkreslení však mohou ovlivnit skóre SET a efektivitu výuky nelze objektivně měřit.Přestože literatura o hodnocení kurzů a fakult ve všeobecném vysokoškolském vzdělávání je dobře zavedená, existují obavy z používání stejných nástrojů k hodnocení kurzů a fakult v lékařských programech.Zejména SET ve všeobecném vysokoškolském vzdělávání nelze přímo aplikovat na navrhování a implementaci kurikula na lékařských fakultách.Tento přehled poskytuje přehled o tom, jak lze zlepšit SET na úrovni nástrojů, řízení a interpretace.Tento článek navíc poukazuje na to, že pomocí různých metod, jako je vzájemné hodnocení, fokusní skupiny a sebehodnocení ke sběru a triangulaci dat z různých zdrojů, včetně studentů, kolegů, programových manažerů a sebeuvědomění, může komplexní systém hodnocení být postaven.Efektivně Měřit efektivitu výuky, podporovat odborný rozvoj lékařských pedagogů a zlepšovat kvalitu výuky ve vzdělávání lékařů.
Hodnocení kurzů a programů je procesem vnitřní kontroly kvality na všech vysokých školách, včetně lékařských fakult.Student Evaluation of Teaching (SET) má obvykle podobu anonymního papírového nebo online dotazníku pomocí hodnotící škály, jako je Likertova škála (obvykle pět, sedm nebo vyšší), která lidem umožňuje vyjádřit svůj souhlas nebo míru souhlasu.Nesouhlasím s konkrétními tvrzeními) [1,2,3].I když byly SETy původně vyvinuty k hodnocení kurzů a programů, postupem času se začaly používat také k měření efektivity výuky [4, 5, 6].Efektivita výuky je považována za důležitou, protože se předpokládá, že existuje pozitivní vztah mezi efektivitou výuky a učením žáků [7].Přestože literatura jasně nedefinuje efektivitu školení, je obvykle specifikována prostřednictvím specifických charakteristik školení, jako je „skupinová interakce“, „příprava a organizace“, „zpětná vazba ke studentům“ [8].
Informace získané ze SET mohou poskytnout užitečné informace, například zda je potřeba upravit výukové materiály nebo výukové metody používané v konkrétním kurzu.SET se také používá k přijímání důležitých rozhodnutí souvisejících s profesním rozvojem učitele [4,5,6].Vhodnost tohoto přístupu je však sporná, když vysoké školy rozhodují o fakultě, jako je postup do vyšších akademických hodností (často spojený se senioritou a zvýšením platu) a klíčové administrativní pozice v rámci instituce [4, 9] .Kromě toho instituce často požadují, aby nové fakulty zahrnuly SETy z předchozích institucí do svých žádostí o nové pozice, čímž ovlivňují nejen povýšení fakulty v rámci instituce, ale také potenciální nové zaměstnavatele [10].
Přestože literatura o kurikulu a hodnocení učitelů je dobře zavedená v oblasti všeobecného vysokoškolského vzdělávání, v oblasti medicíny a zdravotnictví tomu tak není [11].Kurikulum a potřeby lékařských pedagogů se liší od všeobecného vysokoškolského vzdělávání.Například týmové učení se často používá v kurzech integrovaného lékařského vzdělávání.To znamená, že studijní plán lékařské fakulty se skládá z řady kurzů vyučovaných řadou členů fakulty, kteří mají školení a zkušenosti v různých lékařských oborech.Přestože studenti v rámci této struktury těží z hlubokých znalostí odborníků v oboru, často čelí výzvě přizpůsobit se různým stylům výuky každého učitele [1, 12, 13, 14].
Ačkoli existují rozdíly mezi všeobecným vysokoškolským vzděláním a lékařským vzděláním, SET používaný v prvním se také někdy používá v kurzech medicíny a zdravotní péče.Implementace SET ve všeobecném vysokoškolském vzdělávání však představuje mnoho problémů, pokud jde o kurikulum a hodnocení fakult v programech zdravotnických pracovníků [11].Zejména kvůli rozdílům ve vyučovacích metodách a kvalifikaci učitelů nemusí výsledky hodnocení kurzu zahrnovat názory studentů všech učitelů nebo tříd.Výzkum Uytenhaage a O'Neilla (2015) [5] naznačuje, že žádat studenty, aby na konci kurzu hodnotili všechny jednotlivé učitele, může být nevhodné, protože pro studenty je téměř nemožné zapamatovat si a komentovat více hodnocení učitelů.Kategorie.Mnoho učitelů lékařské výchovy je navíc také lékaři, pro které je výuka pouze malou částí jejich povinností [15, 16].Protože se primárně zabývají péčí o pacienty a v mnoha případech i výzkumem, mají často málo času na rozvoj svých pedagogických dovedností.Lékaři jako učitelé by však měli od svých organizací dostávat čas, podporu a konstruktivní zpětnou vazbu [16].
Studenti medicíny bývají vysoce motivovaní a tvrdě pracující jedinci, kteří úspěšně dosáhnou přijetí na lékařskou fakultu (prostřednictvím konkurenčního a náročného mezinárodního procesu).Kromě toho se během lékařské fakulty očekává, že studenti medicíny získají velké množství znalostí a rozvinou velké množství dovedností v krátkém časovém období a také uspějí ve složitých interních a komplexních národních hodnoceních [17,18,19 ,20].Vzhledem k vysokým standardům, které se od studentů medicíny očekávají, mohou být studenti medicíny kritičtější a mají vyšší nároky na vysoce kvalitní výuku než studenti jiných oborů.Studenti medicíny tak mohou mít z výše uvedených důvodů nižší hodnocení od svých profesorů ve srovnání se studenty jiných oborů.Zajímavé je, že předchozí studie prokázaly pozitivní vztah mezi motivací studentů a hodnocením jednotlivých učitelů [21].Kromě toho se za posledních 20 let většina studijních programů lékařských fakult po celém světě vertikálně integrovala [22], takže studenti jsou vystaveni klinické praxi od prvních let svého programu.Během několika posledních let se tak lékaři stále více zapojují do vzdělávání studentů medicíny a schvalují, dokonce již v raných fázích svých programů, důležitost vývoje SET přizpůsobených konkrétním populacím fakult [22].
Vzhledem ke specifické povaze lékařského vzdělávání zmíněné výše by SET používané k hodnocení všeobecných vysokoškolských kurzů vyučovaných jedním členem fakulty měly být přizpůsobeny hodnocení integrovaného kurikula a klinické fakulty lékařských programů [14].Proto je potřeba vyvinout efektivnější modely SET a komplexní systémy hodnocení pro efektivnější aplikaci v lékařském vzdělávání.
Aktuální přehled popisuje nedávný pokrok v používání SET ve (všeobecném) vysokoškolském vzdělávání a jeho omezení a poté nastiňuje různé potřeby SET pro kurzy lékařského vzdělávání a fakulty.Tento přehled poskytuje aktuální informace o tom, jak lze zlepšit SET na instrumentální, administrativní a interpretační úrovni, a zaměřuje se na cíle vývoje efektivních modelů SET a komplexních systémů hodnocení, které budou efektivně měřit efektivitu výuky, podpoří rozvoj profesionálních zdravotních pedagogů a zlepší kvalita výuky ve vzdělávání lékařů.
Tato studie navazuje na studii Greena et al.(2006) [23] za rady a Baumeister (2013) [24] za rady ohledně psaní narativních recenzí.Rozhodli jsme se napsat narativní recenzi na toto téma, protože tento typ recenze pomáhá prezentovat široký pohled na dané téma.Navíc, protože narativní recenze vycházejí z metodologicky různorodých studií, pomáhají zodpovědět širší otázky.Kromě toho může narativní komentář pomoci stimulovat myšlení a diskusi o tématu.
Jak se SET používá v lékařském vzdělávání a jaké jsou problémy ve srovnání se SET používaným ve všeobecném vysokoškolském vzdělávání,
Databáze Pubmed a ERIC byly prohledávány pomocí kombinace vyhledávacích výrazů „hodnocení výuky studentů“, „efektivita výuky“, „lékařské vzdělávání“, „vysoké školství“, „hodnocení osnov a fakult“ a pro Peer Review 2000 logické operátory .články publikované v letech 2021 až 2021. Kritéria pro zařazení: Zahrnuté studie byly původní studie nebo přehledové články a studie byly relevantní pro oblasti tří hlavních výzkumných otázek.Kritéria vyloučení: Studie, které nebyly v angličtině, nebo studie, ve kterých nebylo možné nalézt články v plném znění nebo nebyly relevantní pro tři hlavní výzkumné otázky, byly ze současného přehledového dokumentu vyloučeny.Po výběru publikací byly uspořádány do následujících témat a souvisejících podtémat: (a) Využití SET ve všeobecném vysokoškolském vzdělávání a jeho omezení, (b) Využití SET v lékařském vzdělávání a jeho význam pro řešení problémů souvisejících se srovnáváním SET (c ) Zlepšení SET na instrumentální, manažerské a interpretační úrovni za účelem vytvoření účinných modelů SET.
Obrázek 1 poskytuje vývojový diagram vybraných článků zahrnutých a diskutovaných v aktuální části recenze.
SET byl tradičně používán ve vysokoškolském vzdělávání a toto téma bylo dobře prostudováno v literatuře [10, 21].Velké množství studií však zkoumalo jejich mnohá omezení a snahy tato omezení řešit.
Výzkum ukazuje, že existuje mnoho proměnných, které ovlivňují skóre SET [10, 21, 25, 26].Proto je důležité, aby administrátoři a učitelé těmto proměnným rozuměli při interpretaci a používání dat.Následující část poskytuje stručný přehled těchto proměnných.Obrázek 2 ukazuje některé faktory, které ovlivňují skóre SET, které jsou podrobně popsány v následujících částech.
V posledních letech vzrostlo používání online stavebnic oproti papírovým.Důkazy v literatuře však naznačují, že online SET lze dokončit, aniž by studenti věnovali procesu dokončení potřebnou pozornost.V zajímavé studii Uitdehaage a O'Neilla [5] byli do SET přidáni neexistující učitelé a mnoho studentů poskytlo zpětnou vazbu [5].Navíc důkazy v literatuře naznačují, že studenti se často domnívají, že dokončení SET nevede ke zlepšení dosaženého vzdělání, což v kombinaci s nabitým programem studentů medicíny může vést k nižší míře odezvy [27].Ačkoli výzkum ukazuje, že názory studentů, kteří test absolvují, se neliší od názorů celé skupiny, nízká míra odpovědí může učitele stále vést k tomu, že budou brát výsledky méně vážně [28].
Většina online SETů je vyplněna anonymně.Cílem je umožnit studentům svobodně vyjadřovat své názory bez předpokladu, že jejich vyjádření bude mít jakýkoli dopad na jejich budoucí vztahy s učiteli.Ve studii Alfonsa et al. [29] použili vědci anonymní hodnocení a hodnocení, ve kterých hodnotitelé museli uvést svá jména (veřejná hodnocení), aby zhodnotili efektivitu výuky na fakultě lékařské fakulty ze strany rezidentů a studentů medicíny.Výsledky ukázaly, že učitelé měli obecně nižší skóre v anonymních hodnoceních.Autoři tvrdí, že studenti jsou v anonymním hodnocení poctivější kvůli určitým překážkám v otevřeném hodnocení, jako jsou narušené pracovní vztahy se zúčastněnými učiteli [29].Je však třeba také poznamenat, že anonymita často spojená s online SET může vést některé studenty k neúctě a odplatě vůči instruktorovi, pokud výsledky hodnocení nesplňují očekávání studentů [30].Výzkumy však ukazují, že studenti jen zřídka poskytují neuctivou zpětnou vazbu a ta může být dále omezena výukou studentů poskytovat konstruktivní zpětnou vazbu [30].
Několik studií ukázalo, že existuje korelace mezi SET skóre studentů, jejich očekáváním v testu a spokojeností s testem [10, 21].Například Strobe (2020) [9] uvádí, že studenti odměňují snadné kurzy a učitelé odměňují slabé známky, což může povzbudit špatnou výuku a vést k inflaci známek [9].V nedávné studii Looi et al.(2020) [31] Výzkumníci uvedli, že příznivější SET spolu souvisí a snáze se hodnotí.Navíc existují znepokojivé důkazy, že SET je nepřímo úměrný výkonu studentů v následujících kurzech: čím vyšší hodnocení, tím horší výkon studentů v následujících kurzech.Cornell a kol.(2016)[32] provedli studii, která zkoumala, zda se vysokoškoláci naučili relativně více od učitelů, jejichž SET hodnotili vysoko.Výsledky ukazují, že když je učení hodnoceno na konci kurzu, učitelé s nejvyšším hodnocením také přispívají k učení většiny studentů.Když je však učení měřeno výkonem v následujících relevantních kurzech, jsou nejúčinnější učitelé s relativně nízkým skóre.Výzkumníci předpokládali, že zvýšení náročnosti kurzu produktivním způsobem by mohlo snížit hodnocení, ale zlepšit učení.Hodnocení studentů by tedy nemělo být jediným podkladem pro hodnocení výuky, ale mělo by být uznáváno.
Několik studií ukazuje, že výkon SET je ovlivněn kurzem samotným a jeho organizací.Ming a Baozhi [33] ve své studii zjistili, že existují významné rozdíly ve skóre SET mezi studenty v různých předmětech.Například klinické vědy mají vyšší skóre SET než základní vědy.Autoři vysvětlili, že je to proto, že studenti medicíny mají zájem stát se lékaři, a proto mají osobní zájem a vyšší motivaci účastnit se více kurzů klinických věd ve srovnání se základními vědeckými kurzy [33].Stejně jako v případě volitelných předmětů má i motivace studentů k předmětu pozitivní vliv na skóre [21].Několik dalších studií také podporuje, že typ kurzu může ovlivnit skóre SET [10, 21].
Jiné studie navíc ukázaly, že čím menší je velikost třídy, tím vyšší úrovně SET učitelé dosahují [10, 33].Jedním z možných vysvětlení je, že menší počet tříd zvyšuje příležitosti pro interakci mezi učitelem a studentem.Kromě toho mohou výsledky ovlivnit podmínky, za kterých se hodnocení provádí.Například se zdá, že skóre SET je ovlivněno časem a dnem, kdy je kurz vyučován, a také dnem v týdnu, kdy je SET dokončen (např. hodnocení dokončená o víkendech má tendenci vést k pozitivnějším skóre) než dokončená hodnocení. dříve v týdnu.[10].
Zajímavá studie Hesslera et al také zpochybňuje účinnost SET.[34].V této studii byla provedena randomizovaná kontrolovaná studie v kurzu urgentní medicíny.Studenti třetího ročníku medicíny byli náhodně zařazeni buď do kontrolní skupiny, nebo do skupiny, která dostávala zdarma čokoládové sušenky (skupina sušenek).Všechny skupiny vyučovali stejní učitelé a obsah školení a učební materiály byly pro obě skupiny totožné.Po skončení kurzu byli všichni studenti požádáni, aby dokončili sadu.Výsledky ukázaly, že skupina cookie hodnotila učitele významně lépe než kontrolní skupina, což zpochybňuje účinnost SET [34].
Důkazy v literatuře také podporují, že pohlaví může ovlivnit skóre SET [35,36,37,38,39,40,41,42,43,44,45,46].Některé studie například prokázaly vztah mezi pohlavím studentů a výsledky hodnocení: studentky dosáhly vyššího skóre než studenti [27].Většina důkazů potvrzuje, že studenti hodnotí učitelky méně než učitele [37, 38, 39, 40].Například Boring a kol.[38] ukázali, že studenti i studentky věřili, že muži jsou informovanější a mají silnější vůdčí schopnosti než ženy.Skutečnost, že gender a stereotypy ovlivňují SET, podporuje i studie MacNell et al.[41], který uvedl, že studenti v jeho studii hodnotili učitelky v různých aspektech výuky méně než učitele [41].Morgan et al [42] navíc poskytli důkazy, že lékařky získaly nižší hodnocení výuky ve čtyřech hlavních klinických rotacích (chirurgie, pediatrie, porodnictví a gynekologie a interní lékařství) ve srovnání s mužskými lékaři.
Ve studii Murray et al. (2020) [43] výzkumníci uvedli, že atraktivita fakulty a zájem studentů o kurz byly spojeny s vyšším skóre SET.Naopak obtížnost kurzu je spojena s nižším skóre SET.Studenti navíc dávali vyšší skóre SET mladým bílým mužům, učitelům humanitních oborů a fakultám, které mají řádné profesury.Mezi hodnocením výuky SET a výsledky průzkumu mezi učiteli nebyly žádné korelace.I další studie potvrzují pozitivní vliv fyzické atraktivity učitelů na výsledky hodnocení [44].
Clayson a kol.(2017) [45] uvedli, že ačkoli existuje všeobecná shoda, že SET poskytuje spolehlivé výsledky a že průměry tříd a učitelů jsou konzistentní, stále existují nekonzistence v odpovědích jednotlivých studentů.Stručně řečeno, výsledky této hodnotící zprávy naznačují, že studenti nesouhlasili s tím, co měli hodnotit.Míry spolehlivosti odvozené z hodnocení výuky ze strany studentů jsou nedostačující k tomu, aby poskytly základ pro stanovení platnosti.Proto může SET někdy poskytovat informace o studentech spíše než o učitelích.
SET zdravotní výchovy se liší od tradičního SET, ale pedagogové často používají SET dostupný ve všeobecném vysokoškolském vzdělávání spíše než SET specifický pro programy zdravotnických profesí uváděné v literatuře.Studie prováděné v průběhu let však odhalily několik problémů.
Jones a kol. (1994).[46] provedli studii, která měla určit otázku, jak hodnotit fakultu lékařské fakulty z pohledu fakulty a administrátorů.Celkově se nejčastěji zmiňované problémy týkaly hodnocení výuky.Nejčastěji se jednalo o obecné stížnosti na nedostatečnost současných metod hodnocení výkonu, přičemž respondenti si také stěžovali konkrétně na SET a nedostatečné uznávání výuky v systémech akademických odměn.Mezi další hlášené problémy patřily nejednotné postupy hodnocení a povyšovací kritéria napříč odděleními, nedostatek pravidelných hodnocení a nepropojení výsledků hodnocení s platy.
Royal et al (2018) [11] nastiňují některá omezení používání SET k hodnocení kurikula a fakulty ve zdravotnických odborných programech ve všeobecném vysokoškolském vzdělávání.Výzkumníci uvádějí, že SET ve vysokoškolském vzdělávání čelí různým výzvám, protože jej nelze přímo aplikovat na tvorbu osnov a výuku kurzů na lékařských fakultách.Často kladené otázky, včetně dotazů na lektora a kurz, jsou často spojeny do jednoho dotazníku, takže studenti mají často problém je rozlišit.Kromě toho kurzy lékařských programů často vyučuje více členů fakulty.To vyvolává otázky platnosti vzhledem k potenciálně omezenému počtu interakcí mezi studenty a učiteli, které posoudili Royal et al.(2018) [11].Ve studii Hwang et al.(2017) [14] výzkumníci zkoumali koncept, jak retrospektivní hodnocení kurzů komplexně odráží studentské vnímání kurzů různých instruktorů.Jejich výsledky naznačují, že pro řízení víceoborových kurzů v rámci integrovaného vzdělávacího programu lékařské fakulty je nezbytné individuální hodnocení třídy.
Uitdehaage a O'Neill (2015) [5] zkoumali, do jaké míry studenti medicíny záměrně absolvovali SET ve vícefakultním kurzu.Každý ze dvou preklinických kurzů vystupoval s fiktivním lektorem.Studenti musí poskytnout anonymní hodnocení všem instruktorům (včetně fiktivních instruktorů) do dvou týdnů od dokončení kurzu, ale mohou odmítnout hodnocení instruktora.Následující rok se to stalo znovu, ale portrét fiktivního lektora byl zahrnut.Šedesát šest procent studentů hodnotilo virtuálního instruktora bez podobnosti, ale méně studentů (49 %) hodnotilo virtuálního instruktora s přítomností podobnosti.Tato zjištění naznačují, že mnoho studentů medicíny absolvuje SET naslepo, i když jsou doprovázeny fotografiemi, aniž by pečlivě zvážili, koho hodnotí, natož výkon instruktora.To brání zlepšování kvality programu a může to mít negativní vliv na akademický pokrok učitelů.Výzkumníci navrhují rámec, který nabízí radikálně odlišný přístup k SET, který aktivně a aktivně zapojuje studenty.
Existuje mnoho dalších rozdílů ve vzdělávacích osnovách lékařských programů ve srovnání s jinými programy všeobecného vysokoškolského vzdělávání [11].Medicínské vzdělávání je stejně jako profesní výchova ke zdraví jednoznačně zaměřeno na rozvoj jasně definovaných profesních rolí (klinická praxe).V důsledku toho se učební osnovy lékařských a zdravotních programů stávají statičtějšími, s omezeným výběrem kurzů a fakult.Je zajímavé, že kurzy lékařského vzdělávání jsou často nabízeny ve formátu kohorty, přičemž všichni studenti absolvují stejný kurz ve stejnou dobu každý semestr.Proto zapsání velkého počtu studentů (obvykle n = 100 nebo více) může ovlivnit formát výuky i vztah učitel – student.Navíc na mnoha lékařských fakultách nejsou psychometrické vlastnosti většiny nástrojů hodnoceny při prvním použití a vlastnosti většiny nástrojů mohou zůstat neznámé [11].
Několik studií za posledních několik let poskytlo důkazy, že SET lze zlepšit řešením některých důležitých faktorů, které mohou ovlivnit účinnost SET na úrovni instrumentální, administrativní a interpretační.Obrázek 3 ukazuje některé kroky, které lze použít k vytvoření efektivního modelu SET.Následující části poskytují podrobnější popis.
Zlepšete SET na úrovni instrumentální, manažerské a interpretační, abyste mohli vyvinout efektivní modely SET.
Jak již bylo zmíněno dříve, literatura potvrzuje, že genderové zkreslení může ovlivnit hodnocení učitelů [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Peterson a kol.(2019) [40] provedli studii, která zkoumala, zda pohlaví studenta ovlivnilo reakce studentů na snahy o zmírnění zkreslení.V této studii byl SET administrován čtyřem třídám (ve dvou vyučovali muži a ve dvou vyučovali ženy).V rámci každého kurzu byli studenti náhodně přiděleni, aby obdrželi standardní hodnotící nástroj nebo stejný nástroj, ale s použitím jazyka určeného ke snížení genderové předpojatosti.Studie zjistila, že studenti, kteří používali nástroje hodnocení proti zkreslení, dali učitelkám výrazně vyšší skóre SET než studenti, kteří používali standardní nástroje hodnocení.Kromě toho nebyly mezi těmito dvěma skupinami žádné rozdíly v hodnocení učitelů mužů.Výsledky této studie jsou významné a ukazují, jak může relativně jednoduchá jazyková intervence snížit genderovou zaujatost v hodnocení výuky studenty.Proto je dobrou praxí pečlivě zvážit všechny SETy a používat jazyk ke snížení genderové předpojatosti při jejich vývoji [40].
Abyste získali užitečné výsledky z jakéhokoli SETu, je důležité předem pečlivě zvážit účel hodnocení a formulaci otázek.Ačkoli většina průzkumů SET jasně uvádí část o organizačních aspektech kurzu, tj. „Hodnocení kurzu“, a část o fakultě, tj. „Hodnocení učitelů“, v některých průzkumech nemusí být rozdíl zřejmý nebo mezi studenty může docházet k nejasnostem. o tom, jak posuzovat každou z těchto oblastí jednotlivě.Proto musí být design dotazníku vhodný, objasnit dvě různé části dotazníku a upozornit studenty na to, co by mělo být v jednotlivých oblastech hodnoceno.Kromě toho se doporučuje pilotní testování, aby se zjistilo, zda studenti interpretují otázky zamýšleným způsobem [24].Ve studii Oermanna et al.(2018) [26], výzkumníci hledali a syntetizovali literaturu popisující použití SET v široké škále oborů v pregraduálním a postgraduálním vzdělávání, aby poskytli pedagogům návod k použití SET v ošetřovatelských a dalších zdravotnických programech.Výsledky naznačují, že nástroje SET by měly být před použitím vyhodnoceny, včetně pilotního testování nástrojů se studenty, kteří nemusí být schopni interpretovat položky nebo otázky nástroje SET tak, jak zamýšlel instruktor.
Několik studií zkoumalo, zda model řízení SET ovlivňuje zapojení studentů.
Daumier a kol.(2004) [47] porovnávali hodnocení studentů instruktorského výcviku absolvovaného ve třídě s hodnocením získaným online srovnáním počtu odpovědí a hodnocení.Výzkum ukazuje, že online průzkumy mají obvykle nižší míru odezvy než průzkumy ve třídě.Studie však zjistila, že online hodnocení neprodukuje výrazně odlišné průměrné známky od tradičních hodnocení ve třídě.
Byl hlášen nedostatek obousměrné komunikace mezi studenty a učiteli během vyplňování online (ale často tištěných) sad, což mělo za následek nedostatek příležitostí k vyjasnění.Význam otázek, komentářů nebo hodnocení studentů proto nemusí být vždy jasný [48].Některé instituce tento problém vyřešily tím, že studenty spojily na hodinu a vyčlenily konkrétní čas na vyplnění SET online (anonymně) [49].Ve své studii Malone et al.(2018) [49] uspořádali několik schůzek, na kterých se studenty prodiskutovali účel SET, kdo uvidí výsledky SET a jak budou výsledky použity, a další otázky, které studenti vznesli.SET probíhá podobně jako fokusní skupina: kolektivní skupina odpovídá na otevřené otázky prostřednictvím neformálního hlasování, debaty a vyjasňování.Míra odpovědí byla přes 70–80 %, což učitelům, administrátorům a kurikulárním komisím poskytlo rozsáhlé informace [49].
Jak bylo uvedeno výše, ve studii Uitdehaage a O'Neilla [5] vědci uvedli, že studenti v jejich studii hodnotili neexistující učitele.Jak již bylo zmíněno dříve, toto je běžný problém v kurzech lékařské fakulty, kde každý kurz může vyučovat mnoho členů fakulty, ale studenti si nemusí pamatovat, kdo přispěl ke každému kurzu nebo co každý člen fakulty dělal.Některé instituce tento problém vyřešily poskytnutím fotografie každého přednášejícího, jeho/jejího jména a prezentovaného tématu/datum, aby studentům osvěžily vzpomínky a předešly problémům, které ohrožují účinnost SET [49].
Snad nejdůležitějším problémem spojeným se SET je to, že učitelé nejsou schopni správně interpretovat kvantitativní a kvalitativní výsledky SET.Někteří učitelé mohou chtít provést statistická srovnání v průběhu let, někteří mohou považovat menší zvýšení/snížení průměrného skóre za smysluplné změny, někteří chtějí věřit každému průzkumu a jiní jsou vyloženě skeptičtí k jakémukoli průzkumu [45,50, 51].
Neschopnost správně interpretovat výsledky nebo nezpracovat zpětnou vazbu od studentů může ovlivnit postoj učitelů k výuce.Výsledky Lutovac et al.(2017) [52] Podpůrné vzdělávání učitelů je nezbytné a přínosné pro poskytování zpětné vazby studentům.Lékařské vzdělávání naléhavě potřebuje školení ve správné interpretaci výsledků SET.Proto by fakulta lékařské fakulty měla absolvovat školení o tom, jak hodnotit výsledky, ao důležitých oblastech, na které by se měla zaměřit [50, 51].
Popsané výsledky tedy naznačují, že SETy by měly být pečlivě navrženy, spravovány a interpretovány, aby bylo zajištěno, že výsledky SET budou mít smysluplný dopad na všechny relevantní zainteresované strany, včetně fakult, správců lékařských fakult a studentů.
Vzhledem k některým omezením SET bychom měli i nadále usilovat o vytvoření komplexního systému hodnocení, který by omezil zaujatost v efektivitě výuky a podpořil profesionální rozvoj lékařských pedagogů.
Kompletnější pochopení kvality výuky na klinické fakultě lze získat sběrem a triangulací dat z různých zdrojů, včetně studentů, kolegů, administrátorů programu a sebehodnocení fakult [53, 54, 55, 56, 57].Následující části popisují možné další nástroje/metody, které lze použít kromě efektivního SET, aby pomohly vytvořit vhodnější a úplnější pochopení efektivity tréninku (obrázek 4).
Metody, pomocí kterých lze vyvinout ucelený model systému hodnocení efektivity výuky na lékařské fakultě.
Fokusní skupina je definována jako „skupinová diskuse organizovaná za účelem prozkoumání konkrétního souboru problémů“ [58].Během několika posledních let lékařské fakulty vytvořily cílové skupiny, aby získaly kvalitní zpětnou vazbu od studentů a řešily některá úskalí online SET.Tyto studie ukazují, že ohniskové skupiny jsou účinné při poskytování kvalitní zpětné vazby a zvyšování spokojenosti studentů [59, 60, 61].
Ve studii Brundle et al.[59] Výzkumníci zavedli proces studentské evaluační skupiny, který umožnil ředitelům kurzů a studentům diskutovat o kurzech v ohniskových skupinách.Výsledky naznačují, že diskusní skupiny doplňují online hodnocení a zvyšují spokojenost studentů s celkovým procesem hodnocení kurzu.Studenti oceňují možnost komunikovat přímo s řediteli kurzů a věří, že tento proces může přispět ke zlepšení vzdělávání.Měli také pocit, že jsou schopni porozumět pohledu ředitele kurzu.Ředitelé kurzů kromě studentů také hodnotili, že fokusní skupiny usnadnily efektivnější komunikaci se studenty [59].Využití fokusních skupin tak může lékařským fakultám poskytnout úplnější pochopení kvality každého kurzu a efektivity výuky na příslušné fakultě.Je však třeba poznamenat, že samotné fokusní skupiny mají určitá omezení, například se jich účastní pouze malý počet studentů ve srovnání s online programem SET, který je dostupný všem studentům.Vedení ohniskových skupin pro různé kurzy může být navíc pro poradce a studenty časově náročný proces.To představuje značná omezení, zejména pro studenty medicíny, kteří mají velmi zaneprázdněné programy a mohou absolvovat klinická umístění v různých geografických lokalitách.Fokusní skupiny navíc vyžadují velký počet zkušených facilitátorů.Začlenění ohniskových skupin do procesu hodnocení však může poskytnout podrobnější a konkrétnější informace o efektivitě školení [48, 59, 60, 61].
Schiekierka-Schwacke a kol.(2018) [62] zkoumali, jak studenti a učitelé vnímají nový nástroj pro hodnocení výkonu fakulty a studijních výsledků studentů na dvou německých lékařských fakultách.Se studenty fakult a lékařských fakult byly vedeny skupinové diskuse a individuální rozhovory.Učitelé ocenili osobní zpětnou vazbu poskytovanou nástrojem pro hodnocení a studenti uvedli, že by měla být vytvořena smyčka zpětné vazby, včetně cílů a důsledků, aby se podpořilo podávání zpráv o datech hodnocení.Výsledky této studie tedy podporují důležitost uzavření smyčky komunikace se studenty a jejich informování o výsledcích hodnocení.
Programy Peer Review of Teaching (PRT) jsou velmi důležité a ve vysokoškolském vzdělávání se zavádějí již řadu let.PRT zahrnuje proces spolupráce pozorování výuky a poskytování zpětné vazby pozorovateli s cílem zlepšit efektivitu výuky [63].Navíc sebereflexní cvičení, strukturované následné diskuse a systematické zařazování vyškolených kolegů mohou pomoci zlepšit efektivitu PRT a kulturu výuky katedry [64].Uvádí se, že tyto programy mají mnoho výhod, protože mohou učitelům pomoci získat konstruktivní zpětnou vazbu od vrstevníků, kteří se v minulosti mohli potýkat s podobnými potížemi, a mohou poskytnout větší podporu poskytováním užitečných návrhů na zlepšení [63].Kromě toho, je-li vzájemné hodnocení použito konstruktivně, může zlepšit obsah kurzu a metody poskytování a podpořit lékařské pedagogy při zlepšování kvality jejich výuky [65, 66].
Nedávná studie Campbell et al.(2019) [67] poskytují důkazy, že model kolegiální podpory na pracovišti je přijatelnou a účinnou strategií rozvoje učitelů pro klinické pedagogy v oblasti zdraví.V jiné studii Caygill et al.[68] provedli studii, ve které byl speciálně navržený dotazník zaslán zdravotním pedagogům na University of Melbourne, aby jim umožnil podělit se o své zkušenosti s používáním PRT.Výsledky naznačují, že mezi lékařskými pedagogy přetrvává zájem o PRT a že dobrovolný a informativní formát vzájemného hodnocení je považován za důležitou a cennou příležitost pro profesní rozvoj.
Stojí za zmínku, že programy PRT musí být pečlivě navrženy tak, aby se vyhnulo vytváření odsuzujícího, „manažerského“ prostředí, které často vede ke zvýšené úzkosti mezi pozorovanými učiteli [69].Cílem by proto mělo být pečlivě vypracovat plány PRT, které budou doplňovat a usnadňovat vytváření bezpečného prostředí a poskytovat konstruktivní zpětnou vazbu.Proto je zapotřebí speciální školení pro školení recenzentů a programy PRT by měly zahrnovat pouze skutečně zainteresované a zkušené učitele.To je zvláště důležité, pokud se informace získané z PRT používají při rozhodování fakulty, jako je povýšení do vyšších úrovní, zvýšení platů a povýšení na důležité administrativní pozice.Je třeba poznamenat, že PRT je časově náročný a stejně jako fokusní skupiny vyžaduje účast velkého počtu zkušených členů fakulty, což ztěžuje implementaci tohoto přístupu na lékařských fakultách s nízkými zdroji.
Newman a kol.(2019) [70] popisují strategie používané před, během a po tréninku, pozorování, která zdůrazňují osvědčené postupy a identifikují řešení problémů s učením.Výzkumníci poskytli recenzentům 12 návrhů, včetně: (1) volte slova moudře;(2) umožnit pozorovateli určit směr diskuse;(3) udržovat zpětnou vazbu důvěrnou a formátovanou;(4) udržovat zpětnou vazbu důvěrnou a formátovanou;Zpětná vazba se zaměřuje spíše na výukové dovednosti než na jednotlivého učitele;(5) Seznamte se se svými kolegy (6) Buďte ohleduplní k sobě i ostatním (7) Pamatujte, že zájmena hrají důležitou roli při poskytování zpětné vazby, (8) Používejte otázky, které osvětlí perspektivu výuky, (10) Vytvořte procesy důvěry a zpětnou vazbu v pozorování kolegů, (11) učinit z pozorování učení oboustranně výhodnou, (12) vytvořit akční plán.Výzkumníci také zkoumají dopad zkreslení na pozorování a jak proces učení, pozorování a diskuse o zpětné vazbě může poskytnout cenné zkušenosti s učením pro obě strany, což vede k dlouhodobým partnerstvím a lepší kvalitě vzdělávání.Gomaly a kol.(2014) [71] uvedli, že kvalita efektivní zpětné vazby by měla zahrnovat (1) objasnění úkolu poskytnutím pokynů, (2) zvýšenou motivaci k podpoře většího úsilí a (3) vnímání toho příjemce jako hodnotný proces.poskytnuto renomovaným zdrojem.
Přestože fakulta lékařské fakulty dostává zpětnou vazbu k PRT, je důležité vyškolit fakultu, jak zpětnou vazbu interpretovat (podobně jako doporučení absolvovat školení v interpretaci SET) a poskytnout fakultě dostatek času na konstruktivní reflexi obdržené zpětné vazby.
Čas odeslání: 24. listopadu 2023