Hodnocení kurikula a fakulty je zásadní pro všechny instituce vyššího vzdělávání, včetně lékařských fakult. Studentské hodnocení výuky (SET) má obvykle podobu anonymních dotazníků a ačkoli bylo původně vyvinuto k hodnocení kurzů a programů, postupem času se začalo používat i k měření efektivity výuky a následně k přijímání důležitých rozhodnutí souvisejících s výukou. Profesní rozvoj učitelů. Nicméně určité faktory a zkreslení mohou ovlivnit skóre SET a efektivitu výuky nelze objektivně měřit. Ačkoli je literatura o hodnocení kurzů a fakulty ve všeobecném vysokoškolském vzdělávání dobře zavedená, existují obavy ohledně používání stejných nástrojů k hodnocení kurzů a fakulty v lékařských programech. Zejména SET ve všeobecném vysokoškolském vzdělávání nelze přímo aplikovat na návrh a implementaci kurikula na lékařských fakultách. Tato recenze poskytuje přehled o tom, jak lze SET zlepšit na úrovni nástrojů, řízení a interpretace. Článek dále zdůrazňuje, že pomocí různých metod, jako je vzájemné hodnocení, fokusní skupiny a sebehodnocení, ke sběru a triangulaci dat z více zdrojů, včetně studentů, kolegů, manažerů programů a sebeuvědomění, lze vytvořit komplexní systém hodnocení. Efektivně měřit efektivitu výuky, podporovat profesní rozvoj lékařských pedagogů a zlepšovat kvalitu výuky v lékařském vzdělávání.
Hodnocení kurzů a programů je proces interní kontroly kvality ve všech institucích vyššího vzdělávání, včetně lékařských fakult. Studentské hodnocení výuky (SET) má obvykle formu anonymního testu nebo online dotazníku s použitím hodnotící škály, jako je Likertova škála (obvykle pět, sedm nebo vyšší), která umožňuje lidem vyjádřit svůj souhlas nebo stupeň souhlasu. Nesouhlasím s konkrétními tvrzeními) [1,2,3]. Ačkoli SETy byly původně vyvinuty k hodnocení kurzů a programů, postupem času se začaly používat také k měření efektivity výuky [4, 5, 6]. Efektivita výuky je považována za důležitou, protože se předpokládá, že existuje pozitivní vztah mezi efektivitou výuky a učením studentů [7]. Ačkoli literatura jasně nedefinuje efektivitu výuky, obvykle je specifikována prostřednictvím specifických charakteristik výuky, jako je „interakce ve skupině“, „příprava a organizace“, „zpětná vazba studentům“ [8].
Informace získané ze SET mohou poskytnout užitečné informace, například zda je potřeba upravit výukové materiály nebo výukové metody používané v konkrétním kurzu. SET se také používá k přijímání důležitých rozhodnutí týkajících se profesního rozvoje učitelů [4,5,6]. Vhodnost tohoto přístupu je však sporná, když vysoké školy rozhodují o akademických pracovníkech, jako je povýšení do vyšších akademických hodností (často spojené se zvýšením seniority a platu) a klíčových administrativních pozic v rámci instituce [4, 9]. Kromě toho instituce často vyžadují, aby noví akademičtí pracovníci do svých žádostí o nová místa zahrnuli i SET z předchozích institucí, čímž ovlivňují nejen povýšení akademických pracovníků v rámci instituce, ale i potenciální nové zaměstnavatele [10].
Ačkoli je literatura o kurikulu a hodnocení učitelů v oblasti všeobecného vysokoškolského vzdělávání dobře zavedená, v oblasti medicíny a zdravotnictví tomu tak není [11]. Kurikulum a potřeby lékařských pedagogů se liší od kurikula a potřeb všeobecného vysokoškolského vzdělávání. Například týmové učení se často používá v integrovaných kurzech lékařského vzdělávání. To znamená, že kurikulum lékařské fakulty se skládá ze série kurzů vyučovaných řadou členů fakulty, kteří mají vzdělání a zkušenosti v různých lékařských oborech. Ačkoli studenti v rámci této struktury těží z hlubokých znalostí odborníků v oboru, často čelí výzvě přizpůsobit se různým výukovým stylům každého učitele [1, 12, 13, 14].
Ačkoli existují rozdíly mezi všeobecným vysokoškolským vzděláváním a lékařským vzděláváním, SET používaný v prvním případě se někdy používá i v kurzech medicíny a zdravotní péče. Implementace SET ve všeobecném vysokoškolském vzdělávání však představuje mnoho výzev, pokud jde o hodnocení kurikula a fakulty v programech pro zdravotnické pracovníky [11]. Zejména kvůli rozdílům ve výukových metodách a kvalifikaci učitelů nemusí výsledky hodnocení kurzů zahrnovat studentské názory na všechny učitele nebo kurzy. Výzkum Uytenhaage a O'Neilla (2015) [5] naznačuje, že žádat studenty, aby na konci kurzu ohodnotili všechny jednotlivé učitele, může být nevhodné, protože je pro studenty téměř nemožné si zapamatovat a komentovat více kategorií hodnocení učitelů. Kromě toho je mnoho učitelů lékařského vzdělávání také lékaři, pro které je výuka jen malou částí jejich povinností [15, 16]. Protože se primárně zabývají péčí o pacienty a v mnoha případech i výzkumem, mají často málo času na rozvoj svých pedagogických dovedností. Lékaři jako učitelé by však měli od svých organizací dostávat čas, podporu a konstruktivní zpětnou vazbu [16].
Studenti medicíny bývají vysoce motivovaní a pracovití jedinci, kteří se úspěšně dostanou na lékařskou fakultu (prostřednictvím konkurenčního a náročného mezinárodního procesu). Kromě toho se od studentů medicíny během studia očekává, že si v krátkém čase osvojí velké množství znalostí a rozvinou si velké množství dovedností, a také že uspějí v komplexních interních a komplexních národních hodnoceních [17,18,19,20]. Vzhledem k vysokým standardům očekávaným od studentů medicíny mohou být studenti medicíny kritičtější a mít vyšší očekávání ohledně kvalitní výuky než studenti jiných oborů. Studenti medicíny tak mohou mít od svých profesorů nižší hodnocení ve srovnání se studenty jiných oborů z výše uvedených důvodů. Je zajímavé, že předchozí studie prokázaly pozitivní vztah mezi motivací studentů a individuálním hodnocením učitelů [21]. Kromě toho se za posledních 20 let většina studijních programů lékařských fakult po celém světě stala vertikálně integrovanou [22], takže studenti jsou s klinickou praxí setkáni od nejranějších let svého studia. V posledních několika letech se proto lékaři stále více zapojují do vzdělávání studentů medicíny a již v raných fázích svých programů zdůrazňují důležitost vývoje studijních programů zaměřených na výuku medicíny (SET) přizpůsobených specifickým skupinám fakulty [22].
Vzhledem ke specifické povaze výše zmíněného lékařského vzdělávání by měly být modely SET používané k hodnocení všeobecných vysokoškolských kurzů vyučovaných jedním členem fakulty upraveny tak, aby hodnotily integrované kurikulum a klinickou fakultu lékařských programů [14]. Proto je třeba vyvinout efektivnější modely SET a komplexní systémy hodnocení pro efektivnější uplatnění v lékařském vzdělávání.
Tato studie popisuje nedávný pokrok ve využívání metod SET ve (obecném) vysokoškolském vzdělávání a jeho omezení a poté nastiňuje různé potřeby metod SET pro kurzy a fakulty lékařského vzdělávání. Tato studie poskytuje aktuální informace o tom, jak lze metodu SET vylepšit na instrumentální, administrativní a interpretační úrovni, a zaměřuje se na cíle vývoje efektivních modelů SET a komplexních systémů hodnocení, které budou efektivně měřit efektivitu výuky, podporovat rozvoj profesionálních zdravotnických pedagogů a zlepšovat kvalitu výuky v lékařském vzdělávání.
Tato studie navazuje na studii Greena a kol. (2006) [23], kde se zabývali radami, a Baumeistera (2013) [24], kde se zabývali radami ohledně psaní narativních recenzí. Rozhodli jsme se napsat narativní recenzi na toto téma, protože tento typ recenze pomáhá prezentovat široký pohled na dané téma. Navíc, protože narativní recenze čerpají z metodologicky rozmanitých studií, pomáhají odpovědět na širší otázky. Narativní komentář může navíc pomoci podnítit myšlení a diskusi o daném tématu.
Jak se SET používá v lékařském vzdělávání a jaké jsou problémy ve srovnání s SET používaným ve všeobecném vysokoškolském vzdělávání?
Databáze Pubmed a ERIC byly prohledány kombinací vyhledávacích výrazů „hodnocení studentské výuky“, „efektivita výuky“, „medicínské vzdělávání“, „vysokoškolské vzdělávání“, „hodnocení kurikula a fakulty“ a v případě Peer Review 2000 logických operátorů. Kritéria pro zařazení: Zahrnuté studie byly originální studie nebo přehledové články a studie byly relevantní pro oblasti tří hlavních výzkumných otázek. Kritéria pro vyloučení: Z aktuálního přehledového dokumentu byly vyloučeny studie, které nebyly v anglickém jazyce, nebo studie, ve kterých nebylo možné nalézt články v plném textu nebo nebyly relevantní pro tři hlavní výzkumné otázky. Po výběru publikací byly uspořádány do následujících témat a souvisejících podtémat: (a) Využití SET ve všeobecném vysokoškolském vzdělávání a jeho omezení, (b) Využití SET v lékařském vzdělávání a jeho relevance pro řešení otázek souvisejících s porovnáním SET, (c) Zlepšení SET na instrumentální, manažerské a interpretační úrovni s cílem vyvinout efektivní modely SET.
Obrázek 1 poskytuje vývojový diagram vybraných článků zahrnutých a diskutovaných v aktuální části přehledu.
SET se tradičně používá ve vysokoškolském vzdělávání a toto téma je v literatuře dobře prozkoumáno [10, 21]. Velké množství studií se však zabývalo jeho četnými omezeními a snahami o jejich řešení.
Výzkum ukazuje, že existuje mnoho proměnných, které ovlivňují skóre SET [10, 21, 25, 26]. Proto je důležité, aby administrátoři a učitelé těmto proměnným rozuměli při interpretaci a používání dat. Následující část poskytuje stručný přehled těchto proměnných. Obrázek 2 ukazuje některé faktory, které ovlivňují skóre SET a které jsou podrobněji popsány v následujících částech.
V posledních letech se používání online sad zvýšilo ve srovnání s papírovými sadami. Důkazy v literatuře však naznačují, že online SET lze absolvovat, aniž by studenti věnovali procesu dokončení potřebnou pozornost. V zajímavé studii Uitdehaage a O'Neilla [5] byli do SET přidáni neexistující učitelé a mnoho studentů poskytlo zpětnou vazbu [5]. Důkazy v literatuře navíc naznačují, že studenti se často domnívají, že absolvování SET nevede ke zlepšení dosaženého vzdělání, což v kombinaci s nabitým programem studentů medicíny může vést k nižší míře odpovědí [27]. Ačkoli výzkumy ukazují, že názory studentů, kteří test absolvují, se neliší od názorů celé skupiny, nízká míra odpovědí může i tak vést učitele k tomu, aby brali výsledky méně vážně [28].
Většina online SET testů je vyplňována anonymně. Cílem je umožnit studentům svobodně vyjadřovat své názory bez předpokladu, že jejich vyjádření bude mít jakýkoli dopad na jejich budoucí vztahy s učiteli. Ve studii Alfonsa a kol. [29] vědci použili anonymní hodnocení a hodnocení, ve kterých hodnotitelé museli uvést svá jména (veřejná hodnocení), aby vyhodnotili efektivitu výuky lékařských fakult rezidenty a studenty medicíny. Výsledky ukázaly, že učitelé obecně dosáhli v anonymních hodnoceních nižšího skóre. Autoři tvrdí, že studenti jsou v anonymních hodnoceních upřímnější kvůli určitým překážkám v otevřených hodnoceních, jako jsou narušené pracovní vztahy se zúčastněnými učiteli [29]. Je však třeba také poznamenat, že anonymita často spojená s online SET testy může vést některé studenty k neuctivosti a odvetě vůči instruktorovi, pokud výsledky hodnocení nesplňují očekávání studentů [30]. Výzkum však ukazuje, že studenti zřídka poskytují neuctivou zpětnou vazbu a tu lze dále omezit tím, že se studenti naučí poskytovat konstruktivní zpětnou vazbu [30].
Několik studií ukázalo, že existuje korelace mezi skóre studentů v testech SET, jejich očekáváními ohledně výkonu v testech a jejich spokojeností s testy [10, 21]. Například Strobe (2020) [9] uvedl, že studenti odměňují snadné kurzy a učitelé slabé známky, což může vést ke špatné výuce a k inflaci známek [9]. V nedávné studii Looi a kol. (2020) [31] vědci uvedli, že příznivější SET spolu souvisejí a snáze se hodnotí. Navíc existují znepokojivé důkazy o tom, že SET je nepřímo úměrný výkonu studentů v následujících kurzech: čím vyšší hodnocení, tím horší výkon studentů v následujících kurzech. Cornell a kol. (2016) [32] provedli studii, která zkoumala, zda se vysokoškolskí studenti naučili relativně více od učitelů, jejichž SET hodnotili vysoko. Výsledky ukazují, že když se učení hodnotí na konci kurzu, učitelé s nejvyšším hodnocením také přispívají k učení většiny studentů. Pokud se však učení měří výkonem v následujících relevantních kurzech, učitelé s relativně nízkým skóre jsou nejefektivnější. Výzkumníci vyslovili hypotézu, že zvýšení náročnosti kurzu produktivním způsobem by mohlo snížit hodnocení, ale zlepšit učení. Hodnocení studentů by tedy nemělo být jediným základem pro hodnocení výuky, ale mělo by být uznáváno.
Několik studií ukazuje, že výkon v testu SET je ovlivněn samotným kurzem a jeho organizací. Ming a Baozhi [33] ve své studii zjistili, že mezi studenty v různých předmětech existují významné rozdíly ve skóre v testu SET. Například klinické vědy mají vyšší skóre v testu SET než základní vědy. Autoři vysvětlili, že je to proto, že studenti medicíny mají zájem stát se lékaři, a proto mají osobní zájem a vyšší motivaci se více účastnit kurzů klinických věd ve srovnání se základními kurzy [33]. Stejně jako v případě volitelných předmětů má i motivace studentů k danému předmětu pozitivní vliv na skóre [21]. Několik dalších studií také podporuje názor, že typ kurzu může ovlivnit skóre v testu SET [10, 21].
Jiné studie navíc ukázaly, že čím menší je třída, tím vyšší úrovně SET dosahují učitelé [10, 33]. Jedním z možných vysvětlení je, že menší třídy zvyšují příležitosti k interakci mezi učitelem a studenty. Kromě toho mohou výsledky ovlivnit podmínky, za kterých je hodnocení prováděno. Například se zdá, že skóre SET je ovlivněno časem a dnem, kdy se kurz vyučuje, a také dnem v týdnu, kdy je SET dokončen (např. hodnocení provedená o víkendech obvykle vedou k pozitivnějším skóre) než hodnocení provedená dříve v týdnu [10].
Zajímavá studie Hesslera a kol. rovněž zpochybňuje účinnost metody Set-Out (SET). [34] V této studii byla provedena randomizovaná kontrolovaná studie v kurzu urgentní medicíny. Studenti medicíny třetího ročníku byli náhodně rozděleni buď do kontrolní skupiny, nebo do skupiny, která dostávala zdarma čokoládové sušenky (skupina se sušenkami). Všechny skupiny učili stejní učitelé a obsah školení a studijní materiály byly pro obě skupiny shodné. Po kurzu byli všichni studenti požádáni, aby vyplnili sadu. Výsledky ukázaly, že skupina se sušenkami hodnotila učitele výrazně lépe než kontrolní skupina, což zpochybňuje účinnost metody Set-Out [34].
Důkazy v literatuře také podporují, že pohlaví může ovlivňovat skóre SET [35,36,37,38,39,40,41,42,43,44,45,46]. Například některé studie prokázaly vztah mezi pohlavím studentů a výsledky hodnocení: studentky dosáhly vyššího skóre než studenti [27]. Většina důkazů potvrzuje, že studenti hodnotí učitelky hůře než učitele [37, 38, 39, 40]. Například Boring a kol. [38] ukázali, že studenti i studentky věřili, že muži mají více znalostí a silnější vůdčí schopnosti než ženy. Skutečnost, že pohlaví a stereotypy ovlivňují SET, je také podpořena studií MacNella a kol. [41], který uvedl, že studenti v jeho studii hodnotili učitelky hůře než učitele v různých aspektech výuky [41]. Morgan a kol. [42] navíc poskytli důkazy o tom, že lékařky dostávaly nižší hodnocení výuky ve čtyřech hlavních klinických oborech (chirurgie, pediatrie, porodnictví a gynekologie a interní lékařství) ve srovnání s lékaři.
Ve studii Murraye a kol. (2020) [43] vědci uvedli, že atraktivita pedagogů a zájem studentů o kurz byly spojeny s vyšším skóre SET. Naopak obtížnost kurzu je spojena s nižším skóre SET. Studenti navíc udělovali vyšší skóre SET mladým bílým mužům, kteří udělují učitelům humanitních věd, a pedagogům s profesurními tituly. Mezi hodnocením výuky v SET a výsledky průzkumu mezi učiteli nebyla zjištěna žádná korelace. I další studie potvrzují pozitivní vliv fyzické atraktivity učitelů na výsledky hodnocení [44].
Clayson a kol. (2017) [45] uvádějí, že ačkoli panuje všeobecná shoda v tom, že SET poskytuje spolehlivé výsledky a že průměrné hodnoty tříd a učitelů jsou konzistentní, v odpovědích jednotlivých studentů stále existují nesrovnalosti. Stručně řečeno, výsledky této hodnotící zprávy naznačují, že studenti nesouhlasili s tím, co měli hodnotit. Míry spolehlivosti odvozené z hodnocení výuky studenty nejsou dostatečné k tomu, aby poskytly základ pro stanovení validity. SET proto může někdy poskytovat informace spíše o studentech než o učitelích.
SET v oblasti zdravotní výchovy se liší od tradičního SET, ale pedagogové často používají SET dostupný v rámci všeobecného vysokoškolského vzdělávání spíše než SET specifický pro programy zdravotnických profesí, o nichž se uvádí v literatuře. Studie prováděné v průběhu let však identifikovaly několik problémů.
Jones a kol. (1994) [46] provedli studii, která se zabývala otázkou, jak hodnotit pedagogické pracovníky lékařských fakult z pohledu pedagogů a administrátorů. Celkově se nejčastěji zmiňované problémy týkaly hodnocení výuky. Nejčastěji se jednalo o obecné stížnosti na nedostatečnost současných metod hodnocení výkonu, přičemž respondenti si také stěžovali na SET a nedostatečné uznávání výuky v akademických systémech odměňování. Mezi další uváděné problémy patřily nekonzistentní postupy hodnocení a kritéria pro povýšení napříč katedrami, nedostatek pravidelných hodnocení a nepropojení výsledků hodnocení s platy.
Royal a kol. (2018) [11] nastiňují některá omezení používání SET k hodnocení kurikula a fakulty v programech pro zdravotnické pracovníky na všeobecném vysokém školství. Výzkumníci uvádějí, že SET ve vysokém školství čelí různým výzvám, protože jej nelze přímo aplikovat na tvorbu kurikula a výuku kurzů na lékařských fakultách. Často kladené otázky, včetně otázek týkajících se instruktora a kurzu, jsou často sloučeny do jednoho dotazníku, takže studenti mají často problém s jejich rozlišením. Kurzy v lékařských programech navíc často vyučuje více členů fakulty. To vyvolává otázky ohledně validity vzhledem k potenciálně omezenému počtu interakcí mezi studenty a učiteli, které hodnotili Royal a kol. (2018)[11]. Ve studii Hwanga a kol. (2017) [14] vědci zkoumali koncept toho, jak retrospektivní hodnocení kurzů komplexně odráží studentské vnímání kurzů různých instruktorů. Jejich výsledky naznačují, že individualizované hodnocení výuky je nezbytné pro řízení kurzů na více katedrách v rámci integrovaného kurikula lékařské fakulty.
Uitdehaage a O'Neill (2015) [5] zkoumali, do jaké míry studenti medicíny záměrně absolvovali SET v rámci vícefakultního kurzu. Každý ze dvou preklinických kurzů obsahoval fiktivního lektora. Studenti musí poskytnout anonymní hodnocení všem lektorům (včetně fiktivních lektorů) do dvou týdnů od absolvování kurzu, ale mohou odmítnout lektora hodnotit. Následující rok se to stalo znovu, ale byl zahrnut i portrét fiktivního lektora. Šedesát šest procent studentů hodnotilo virtuálního lektora bez podobnosti, ale méně studentů (49 %) hodnotilo virtuálního lektora s podobností. Tato zjištění naznačují, že mnoho studentů medicíny vyplňuje SETy naslepo, i když jsou doplněny fotografiemi, bez pečlivého zvážení toho, koho hodnotí, natož pak výkon lektora. To brání zlepšování kvality programu a může to být škodlivé pro akademický pokrok učitelů. Výzkumníci navrhují rámec, který nabízí radikálně odlišný přístup k SET, který aktivně a aktivním způsobem zapojuje studenty.
Existuje mnoho dalších rozdílů ve vzdělávacích osnovách lékařských programů ve srovnání s jinými všeobecnými vysokoškolskými programy [11]. Lékařské vzdělávání, stejně jako profesní zdravotnická výchova, je jasně zaměřeno na rozvoj jasně definovaných profesních rolí (klinická praxe). V důsledku toho se osnovy lékařských a zdravotnických programů stávají statičtějšími s omezeným výběrem kurzů a fakulty. Je zajímavé, že kurzy lékařského vzdělávání jsou často nabízeny v kohortovém formátu, kdy všichni studenti absolvují stejný kurz ve stejnou dobu každý semestr. Zápis velkého počtu studentů (obvykle n = 100 nebo více) proto může ovlivnit formát výuky i vztah mezi učitelem a studentem. Navíc na mnoha lékařských fakultách nejsou psychometrické vlastnosti většiny nástrojů při prvním použití hodnoceny a vlastnosti většiny nástrojů mohou zůstat neznámé [11].
Několik studií z posledních několika let poskytlo důkazy o tom, že SET lze zlepšit řešením některých důležitých faktorů, které mohou ovlivnit efektivitu SET na instrumentální, administrativní a interpretační úrovni. Obrázek 3 ukazuje některé kroky, které lze použít k vytvoření efektivního modelu SET. Následující části poskytují podrobnější popis.
Zlepšit SET na instrumentální, manažerské a interpretační úrovni s cílem vyvinout efektivní SET modely.
Jak již bylo zmíněno, literatura potvrzuje, že genderová předpojatost může ovlivnit hodnocení učitelů [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson a kol. (2019) [40] provedli studii, která zkoumala, zda pohlaví studentů ovlivňuje jejich reakce na snahy o zmírnění předpojatosti. V této studii byl test SET proveden ve čtyřech třídách (dvě vyučované mužskými učiteli a dvě vyučované učitelkami). V rámci každého kurzu byli studenti náhodně rozděleni do skupin, které obdržely standardní hodnotící nástroj nebo stejný nástroj, ale s použitím jazyka navrženého tak, aby snížil genderovou předpojatost. Studie zjistila, že studenti, kteří používali nástroje hodnocení proti předpojatosti, dali učitelkám výrazně vyšší skóre v testu SET než studenti, kteří používali standardní hodnotící nástroje. Navíc mezi oběma skupinami nebyly žádné rozdíly v hodnocení učitelů mužů. Výsledky této studie jsou významné a ukazují, jak relativně jednoduchá jazyková intervence může snížit genderovou předpojatost v hodnocení výuky studenty. Proto je dobrou praxí pečlivě zvážit všechny testy SET a používat jazyk ke snížení genderové předpojatosti při jejich vývoji [40].
Aby bylo možné z jakéhokoli SET získat užitečné výsledky, je důležité předem pečlivě zvážit účel hodnocení a formulaci otázek. Ačkoli většina průzkumů SET jasně uvádí část o organizačních aspektech kurzu, tj. „Hodnocení kurzu“, a část o fakultě, tj. „Hodnocení učitele“, v některých průzkumech nemusí být rozdíl zřejmý, nebo může mezi studenty panovat zmatek ohledně toho, jak každou z těchto oblastí hodnotit jednotlivě. Proto musí být návrh dotazníku vhodný, musí objasnit dvě různé části dotazníku a studenty informovat o tom, co by mělo být v každé oblasti hodnoceno. Kromě toho se doporučuje pilotní testování, aby se zjistilo, zda studenti interpretují otázky zamýšleným způsobem [24]. Ve studii Oermanna a kol. (2018) [26] vědci prohledali a syntetizovali literaturu popisující použití SET v široké škále oborů v bakalářském a magisterském vzdělávání, aby poskytli pedagogům vodítko k používání SET v ošetřovatelství a dalších programech pro zdravotnické pracovníky. Výsledky naznačují, že nástroje SET by měly být před použitím vyhodnoceny, včetně pilotního testování nástrojů se studenty, kteří nemusí být schopni interpretovat položky nebo otázky nástroje SET tak, jak zamýšlel instruktor.
Několik studií zkoumalo, zda model řízení SET ovlivňuje zapojení studentů.
Daumier a kol. (2004) [47] porovnávali studentská hodnocení instruktorského školení absolvovaného ve třídě s hodnoceními shromážděnými online porovnáním počtu odpovědí a hodnocení. Výzkum ukazuje, že online průzkumy mají obvykle nižší míru odpovědí než průzkumy ve třídě. Studie však zjistila, že online hodnocení nepřineslo významně odlišné průměrné známky od tradičních hodnocení ve třídě.
Během vyplňování online (ale často tištěných) testů SET byla hlášena nedostatečná obousměrná komunikace mezi studenty a učiteli, což vedlo k nedostatku příležitostí k objasnění. Význam otázek, komentářů nebo studentských hodnocení v testu SET proto nemusí být vždy jasný [48]. Některé instituce tento problém řeší tak, že studenty na hodinu shromáždí a vyhradí jim konkrétní čas na online (anonymní) vyplnění testu SET [49]. Malone a kol. (2018) [49] ve své studii uspořádali několik schůzek, na kterých se studenty prodiskutovali účel testu SET, kdo uvidí výsledky testu SET a jak budou použity, a jakékoli další otázky, které studenti vznesou. Test SET se provádí podobně jako fokusní skupina: kolektivní skupina odpovídá na otevřené otázky prostřednictvím neformálního hlasování, debaty a objasnění. Míra odpovědí byla přes 70–80 %, což učitelům, administrátorům a kurikulárním komisím poskytlo rozsáhlé informace [49].
Jak již bylo zmíněno výše, ve studii Uitdehaage a O'Neilla [5] vědci uvedli, že studenti v jejich studii hodnotili neexistující učitele. Jak již bylo zmíněno, jedná se o běžný problém v kurzech na lékařských fakultách, kde každý kurz může být vyučován mnoha členy fakulty, ale studenti si nemusí pamatovat, kdo na každém kurzu přispěl nebo co který člen fakulty dělal. Některé instituce tento problém řeší poskytnutím fotografie každého přednášejícího, jeho/jejího jména a tématu/data prezentace, aby si studenti osvěžili paměť a předešli problémům, které by snižovaly efektivitu SET [49].
Snad nejdůležitějším problémem spojeným se SET je, že učitelé nejsou schopni správně interpretovat kvantitativní a kvalitativní výsledky SET. Někteří učitelé mohou chtít provádět statistická srovnání napříč roky, jiní mohou považovat drobné zvýšení/snížení průměrného skóre za smysluplné změny, někteří chtějí věřit každému průzkumu a jiní jsou vůči jakémukoli průzkumu vyloženě skeptičtí [45,50, 51].
Nesprávná interpretace výsledků nebo zpracování zpětné vazby od studentů může ovlivnit postoje učitelů k výuce. Výsledky Lutovace a kol. (2017) [52] Podpůrné školení učitelů je nezbytné a prospěšné pro poskytování zpětné vazby studentům. Lékařské vzdělávání naléhavě potřebuje školení ve správné interpretaci výsledků SET. Proto by pedagogové lékařských fakult měli absolvovat školení v tom, jak hodnotit výsledky a na jaké důležité oblasti by se měli zaměřit [50, 51].
Popsané výsledky tedy naznačují, že testy SET by měly být pečlivě navrženy, spravovány a interpretovány tak, aby výsledky SET měly smysluplný dopad na všechny relevantní zúčastněné strany, včetně fakulty, administrativy lékařských fakult a studentů.
Vzhledem k některým omezením systému SET bychom se měli i nadále snažit vytvořit komplexní systém hodnocení, který by snížil zkreslení v efektivitě výuky a podpořil profesní rozvoj lékařských pedagogů.
Úplnějšího pochopení kvality výuky klinických pedagogů lze dosáhnout shromažďováním a triangulací dat z různých zdrojů, včetně studentů, kolegů, administrátorů programů a sebehodnocení pedagogů [53, 54, 55, 56, 57]. Následující části popisují možné další nástroje/metody, které lze použít kromě efektivního SET, aby pomohly rozvíjet vhodnější a úplnější pochopení efektivity školení (obrázek 4).
Metody, které lze použít k vytvoření komplexního modelu systému pro hodnocení efektivity výuky na lékařské fakultě.
Fokusní skupina je definována jako „skupinová diskuse organizovaná za účelem prozkoumání specifického souboru otázek“ [58]. V posledních několika letech lékařské fakulty vytvořily fokusní skupiny, aby získaly kvalitní zpětnou vazbu od studentů a řešily některá úskalí online SET. Tyto studie ukazují, že fokusní skupiny jsou efektivní v poskytování kvalitní zpětné vazby a zvyšování spokojenosti studentů [59, 60, 61].
Ve studii Brundle et al. [59] vědci zavedli proces hodnocení studentů, který umožnil vedoucím kurzů a studentům diskutovat o kurzech ve fokusních skupinách. Výsledky naznačují, že diskuse ve fokusních skupinách doplňují online hodnocení a zvyšují spokojenost studentů s celkovým procesem hodnocení kurzů. Studenti si cení možnosti komunikovat přímo s vedoucími kurzů a věří, že tento proces může přispět ke zlepšení vzdělávání. Měli také pocit, že byli schopni porozumět pohledu vedoucího kurzu. Kromě studentů i vedoucí kurzů hodnotili, že fokusní skupiny usnadňují efektivnější komunikaci se studenty [59]. Využití fokusních skupin tak může lékařským fakultám poskytnout úplnější pochopení kvality každého kurzu a efektivity výuky příslušného fakultního sboru. Je však třeba poznamenat, že samotné fokusní skupiny mají určitá omezení, například se jich účastní pouze malý počet studentů ve srovnání s online programem SET, který je dostupný všem studentům. Vedení fokusních skupin pro různé kurzy může být navíc pro poradce i studenty časově náročný proces. To představuje značná omezení, zejména pro studenty medicíny, kteří mají velmi nabitý program a mohou absolvovat klinické stáže v různých geografických lokalitách. Fokusní skupiny navíc vyžadují velký počet zkušených facilitátorů. Začlenění fokusních skupin do procesu hodnocení však může poskytnout podrobnější a konkrétnější informace o efektivitě školení [48, 59, 60, 61].
Schiekierka-Schwacke a kol. (2018) [62] zkoumali vnímání nového nástroje pro hodnocení výkonu fakulty a studijních výsledků studentů na dvou německých lékařských fakultách studenty a fakultou. S fakultou a studenty medicíny byly provedeny diskuse v fokusních skupinách a individuální rozhovory. Učitelé ocenili osobní zpětnou vazbu poskytovanou hodnoticím nástrojem a studenti uvedli, že by měla být vytvořena zpětnovazební smyčka, včetně cílů a důsledků, která by podpořila hlášení hodnotících dat. Výsledky této studie tedy podporují důležitost uzavření komunikační smyčky se studenty a informování je o výsledcích hodnocení.
Programy vzájemného hodnocení výuky (PRT) jsou velmi důležité a ve vysokoškolském vzdělávání se zavádějí již mnoho let. PRT zahrnuje proces spolupráce, při kterém se pozoruje výuka a poskytuje pozorovateli zpětnou vazbu s cílem zlepšit její efektivitu [63]. Kromě toho mohou sebereflexní cvičení, strukturované následné diskuse a systematické přidělování vyškolených kolegů pomoci zlepšit efektivitu PRT a kulturu výuky na katedře [64]. Uvádí se, že tyto programy mají mnoho výhod, protože mohou učitelům pomoci získat konstruktivní zpětnou vazbu od svých kolegů, kteří se v minulosti mohli potýkat s podobnými obtížemi, a mohou poskytnout větší podporu tím, že jim poskytnou užitečné návrhy na zlepšení [63]. Navíc, pokud je vzájemné hodnocení konstruktivně využíváno, může zlepšit obsah kurzu a metody výuky a podpořit lékařské pedagogy ve zlepšování kvality jejich výuky [65, 66].
Nedávná studie Campbella a kol. (2019) [67] dokazuje, že model vzájemné podpory na pracovišti je přijatelnou a efektivní strategií rozvoje učitelů klinického zdraví. V jiné studii Caygill a kol. [68] provedli studii, v níž byl zdravotnickým pedagogům na Univerzitě v Melbourne zaslán speciálně navržený dotazník, aby se mohli podělit o své zkušenosti s používáním PRT. Výsledky naznačují, že mezi zdravotnickými pedagogy existuje o PRT velký zájem a že dobrovolný a informativní formát vzájemného hodnocení je považován za důležitou a cennou příležitost pro profesní rozvoj.
Stojí za zmínku, že programy PRT musí být pečlivě navrženy, aby se zabránilo vytváření kritického, „manažerského“ prostředí, které často vede ke zvýšené úzkosti mezi pozorovanými učiteli [69]. Cílem by proto mělo být pečlivě vypracovat plány PRT, které doplní a usnadní vytvoření bezpečného prostředí a poskytnou konstruktivní zpětnou vazbu. Proto je zapotřebí speciální školení pro školení hodnotitelů a programy PRT by měly zahrnovat pouze skutečně zainteresované a zkušené učitele. To je obzvláště důležité, pokud se informace získané z PRT používají při rozhodování fakulty, jako je povýšení na vyšší úrovně, zvýšení platu a povýšení na důležité administrativní pozice. Je třeba poznamenat, že PRT je časově náročné a stejně jako fokusní skupiny vyžaduje účast velkého počtu zkušených členů fakulty, což ztěžuje implementaci tohoto přístupu na lékařských fakultách s nízkými zdroji.
Newman a kol. (2019) [70] popisují strategie používané před, během a po školení, pozorování, která zdůrazňují osvědčené postupy a identifikují řešení problémů s učením. Výzkumníci poskytli recenzentům 12 návrhů, včetně: (1) moudře volit slova; (2) umožnit pozorovateli určit směr diskuse; (3) zachovat zpětnou vazbu důvěrnou a formátovanou; (4) zachovat zpětnou vazbu důvěrnou a formátovanou; Zpětná vazba se zaměřuje na pedagogické dovednosti spíše než na jednotlivého učitele; (5) Poznat své kolegy, (6) Buďte ohleduplní k sobě i k ostatním, (7) Pamatovat, že zájmena hrají důležitou roli při poskytování zpětné vazby, (8) Používat otázky k objasnění perspektivy výuky, (10) Nastolit důvěru v procesy a zpětnou vazbu při vzájemném pozorování, (11) učinit pozorování učení výhodným pro všechny, (12) vytvořit akční plán. Výzkumníci také zkoumají dopad zkreslení na pozorování a to, jak proces učení, pozorování a diskuse o zpětné vazbě může poskytnout cenné studijní zkušenosti oběma stranám, což vede k dlouhodobým partnerstvím a zlepšení kvality vzdělávání. Gomaly a kol. (2014) [71] uvádí, že kvalita efektivní zpětné vazby by měla zahrnovat (1) objasnění úkolu poskytnutím pokynů, (2) zvýšenou motivaci k povzbuzení k většímu úsilí a (3) vnímání zpětné vazby jako hodnotného procesu příjemcem. poskytnuto renomovaným zdrojem.
Přestože pedagogové lékařských fakult dostávají zpětnou vazbu k PRT, je důležité je proškolit v tom, jak zpětnou vazbu interpretovat (podobně jako se doporučuje absolvovat školení v interpretaci SET) a poskytnout jim dostatek času na konstruktivní reflexi obdržené zpětné vazby.
Čas zveřejnění: 24. listopadu 2023