- Email: [email protected]
„EUebm“ – Integration einer europaweit harmonisierten Aus- und Fortbildung zu Evidenzbasierter Medizin (EbM) in die Krankenversorgung
ARTICLE IN PRESS
www.elsevier.de/zefq Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) 103 (2009) 35–39
Schwerpunkt
’’
EUebm – Integration einer europaweit ’’ harmonisierten Aus- und Fortbildung zu Evidenzbasierter Medizin (EbM) in die Krankenversorgung Susanne Weinbrenner1,, Berit Meyerrose1, Antje Vega-Perez2, Regina Kulier3, Sjors FPJ Coppus4, Regina Kunz5 1¨
Arztliches Zentrum fu¨r Qualita¨t in der Medizin (A¨ZQ), Berlin Charite´ Universita¨tsmedizin, Abteilung fu¨r Pa¨diatrie mit Schwerpunkt Ha¨matologie Onkologie, Berlin 3 Universita¨t Birmingham 4 Medizinisch akademisches Zentrum, Universita¨t Amsterdam, Abteilung klinische Epidemiologie and Biostatistik 5 Basler Institut fu¨r Klinische Epidemiologie, Universita¨tsspital Basel 2
Zusammenfassung Integrierte Lehr-/Lernansa¨tze mit einem engen Bezug zum perso¨nlichen Berufsalltag sind eher dazu geeignet, Einstellungs- und Verhaltensa¨nderungen – in Erga¨nzung zum Zugewinn an Wissen und Fertigkeiten – zu erzielen, als konventionelle Bildungsmaßnahmen. Dennoch findet die u¨berwiegende Mehrheit der Fortbildungsangebote in Evidenzbasierter Medizin ausserhalb der beruflichen Umgebung, in Wochenendkursen oder Abendveranstaltungen statt. Um diesem Defizit zu begegnen, wurde im Rahmen des europa¨ischen Forschungsprojektes EUebm ein modulares Basiscurriculum fu¨r Evidenzbasierte Medizin entwickelt, das die Harmonisierung der EbM-Ausbildung in Europa sowie eine sta¨rkere Integration der Ausbildung in den klinischen Alltag zum Ziel hat. Die Module des Curriculums sollen sich nahtlos in die ta¨glich Arbeit mit und am Patienten einfu¨gen und somit eine bessere Verzahnung zwischen der konkreten kli-
nischen Arbeit und dem Erlernen der EbM-Techniken sowie deren Umsetzung in der Versorgung eigener Patienten ermo¨glichen. In einem Survey, der bei allen Projektpartnern in Deutschland, England, Italien, den Niederlanden, O¨sterreich, Polen, der Schweiz, Spanien und Ungarn durchgefu¨hrt wurde, wurde der Bedarf bzgl. Aus- und Fortbildung in EbM in den einzelnen La¨ndern ermittelt. Unter Beru¨cksichtigung der Befragungsergebnisse sowie von bereits vorhandenen Vorarbeiten, wie z.B. das Curriculum des Deutschen Netzwerks EbM oder Materialien des Zentrums fu¨r EbM in Oxford wurde ein internetbasiertes Lehr-/Lernmodul zu Systematischen U¨bersichtsarbeiten und Metaanalysen entwickelt und in fu¨nf der beteiligten La¨nder getestet. Die Testung konnte zeigen, dass auf diese Weise eine Harmonisierung der EbM-Ausbildung sowie eine sta¨rkere Integration der Ausbildung in den klinischen Alltag machbar ist.
Schlu¨sselwo¨rter: Evidenzbasierte Medizin, berufliche Ausbildung, Fortbildung, Wissen, Einstellung, Verhalten (Gesundheit)
Korrespondenzadresse: Dr. S. Weinbrenner, MPH, A¨rztliches Zentrum fu¨r Qualita¨t in der Medizin, Wegelystraße 3, 10623 Berlin.
E-Mail: [email protected] (S. Weinbrenner). Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) doi:10.1016/j.zefq.2008.12.021
35
ARTICLE IN PRESS EUebm – Integrating a Europe-wide Harmonised Training and Continuing Medical Education in Evidence-based Medicine (EbM) with Patient Care Summary Integrative concepts of teaching and learning with close reference to individual work routines are better suited to bring about attitudinal and behavioural modification – apart from a gain in knowledge and skills – than traditional educational approaches. All the same, the vast majority of continuing training courses in Evidence-based Medicine takes place during weekend courses or evening classes, outside the work environment. To counteract this deficit a modular curriculum framework for Evidencebased Medicine was developed within the scope of the European research project EUebm which aims to achieve both a harmonisation of EbM education and training in Europe and a better integration of education and training with everyday clinical practice. The modules of this curriculum are intended to seamlessly fit into our day-to-day clinical work for and with patients and thus facilitate close interaction between the actual clinical
work and the learning of EbM techniques and their implementation into our own patients’ care. On the basis of a survey conducted among all the project partners in Austria, England, Germany, Hungary, Italy, the Netherlands, Poland, Spain and Switzerland the demand for training and continuing education in EbM in the individual countries was identified. Taking into account the results of this survey as well as previous work such as, for example, the curriculum of the German Network for Evidence-based Medicine or material provided by the Centre for Evidence-based Medicine in Oxford, an Internet-based teaching and learning module on systematic reviews and meta-analyses was developed and tested in five of the participating countries. The test demonstrated that in this way harmonisation of EbM education and training and a better integration of training with our everyday clinical work becomes feasible.
Key words: evidence-based medicine, international educational exchange, professional training, continuing medical education, health knowledge, attitudes, practice
36
’’
Mit dem enormen Zuwachs an medizinischem Wissen steigt die Diskrepanz zwischen wissenschaftlichen Erkenntnissen einerseits und ihrer Verbreitung sowie der Anwendung im klinischen Alltag andererseits. Dabei ist die Fa¨higkeit, sich effizient hochwertige Information zu beschaffen und diese auf klinische Situationen anzuwenden, von zunehmender Bedeutung fu¨r eine qualitativ hochwertige medizinische Versorgung. Die Strategien und Techniken der Evidenzbasierten Medizin haben sich in dieser Situation durch den Ansatz, das beste verfu¨gbare externe Wissen mit der internen Expertise des Arztes und den Pra¨ferenzen des Patienten zu verbinden, als Instrumentarium des Wissensmanagements bewa¨hrt [1]. Die Kenntnisse bezu¨glich EbM sind jedoch in der A¨rzteschaft und anderen Gesundheitsberufen noch nicht ausreichend verbreitet. Aus diesem Grund wurden in den vergangenen Jahren in Europa entsprechende Curricula entwickelt und Fortbildungsmaßnahmen angeboten [2,3]. In Deutschland und in vielen anderen La¨ndern handelt es sich dabei u¨berwiegend um konventionelle Fortbildungsformen (Frontalunterricht, Kurzzeitkurse u.a.), die in den meisten Fa¨llen losgelo¨st vom klinischen Alltag
stattfinden. Diese Vorgehensweise ist in der Erwachsenenbildung ineffektiv. Hier sind eher Integrierte Lehr- und Lernansa¨tze mit’’ einem engen Bezug zum perso¨nlichen Berufsalltag dazu geeignet, Einstellungs- und Verhaltensa¨nderungen zu erzielen [4]. Wie kann EbM in einer Weise gelehrt werden, welche auf den Transfer von neuem Wissen und Fertigkeiten in Einstellung und Verhalten zielt? Eine Gruppe von europa¨ischen Wissenschaftlern aus Deutschland, England, Italien, den Niederlanden, O¨sterreich, Polen, der Schweiz, Spanien und Ungarn mit langja¨hriger Erfahrung in der Anwendung und Unterrichtung von EbM schloss sich 2005 zu einer Studiengruppe zusammen, um dieser Frage nachzugehen. Die Gruppe setzte sich zum Ziel, ein EbM-Curriculum zu entwickeln, das europaweit einheitlich ist, direkt in der Krankenversorgung angewendet werden kann und auf den Bedarf der unterschiedlichen Teilnehmer zugeschnitten ist. Durch Harmonisierung beruflicher Weiterbildung in Evidenzbasierter Medizin soll EbM in Europa auf breiter Basis implementiert und die Vergleichbarkeit von Qualifikationen innerhalb Europas gesichert werden. In einer anschließenden Pilotevaluation sollte gepru¨ft werden, ob das entwickelte Modul diese Anforderungen erfu¨llt.
Das Projekt wurde durch das Leonardo ’’ da Vinci-Berufsbildungsprogramm der Europa¨ischen Union gefo¨rdert. ’’
Hintergrund
Methoden Zu Beginn des Projektes wurde in allen Partnerla¨ndern eine internetgestu¨tzte Befragung durchgefu¨hrt. Ziel dieser Befragung war es zum einen, den Status der EbM-Fortbildung in den jeweiligen La¨ndern zu erheben, zum anderen sollte ermittelt werden, wie hoch der Bedarf an EbM-Fortbildungen ist. Die Ergebnisse dieser Befragung flossen in die konkrete Konzeptionierung und Gestaltung der Lehr- und Lerneinheiten ein. Um nicht nur einen Zuwachs an Wissen und Fa¨higkeiten, sondern auch eine A¨nderung der Haltung und Verhaltensweisen zu erzielen, orientiert sich das didaktische Grundkonzept des Curriculums an den Erkenntnissen der modernen Erwachsenenbildung [4–6], die bei der Umsetzung einer praxisnahen, kontinuierlichen medizinischen Fortbildung im Rahmen dieses Projektes Anwendung finden sollten. Bei der Umsetzung wurde besonderes Gewicht auf die mo¨glichst umfa¨ngliche Integrierbarkeit der Kurseinheit in den klinischen Alltag gelegt. Damit wurden Mo¨glichkeiten geschaffen, einerseits Wissen und Kenntnisse der Kursteilnehmer aktiv
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
ARTICLE IN PRESS Ergebnisse
Abb. 1. Internet-Pra¨sentation der E-Learning-Session.
nutzen zu ko¨nnen und andererseits konkrete Fragen und Probleme aus dem klinischen Alltag aufzunehmen. Um zu u¨berpru¨fen, ob auch im klinischen Kontext ein internetgestu¨tztes Angebot angewendet werden kann, wurde der Kurs als E-Learning-Angebot konzipiert (siehe Abb. 1 [7–9]). E-Learning ist in diesem Zusammenhang in den vergangenen Jahren zunehmend als Option in den Fokus der Diskussion geru¨ckt, da die Anwendung den Teilnehmern einen individuell strukturierten Ablauf ermo¨glicht. Der Kurs wurde so konzipiert, dass ein Kursteilnehmer durch einen klinischen Facilitator’’ darin unterstu¨tzt wird, kli’’nische Probleme zu identifizieren, diese aufzunehmen und entsprechend der fu¨nf Schritte der EbM zu bearbeiten. Jede Sitzung besteht aus einer Kombination patientennaher, durch den Tutor supervidierter Lernlektion und selbststa¨ndiger Aneignung des Inhaltes der E-Learning-Module im Internet oder u¨ber CD-ROMs. Die Materialien bestehen aus Dias, Scripten und einem begleitenden Videoclip. Am Ende jedes Schrittes sind Aufgaben zu bearbeiten und als Erfolgskontrolle Multiple Choice Fragen (MCQ) zu beantworten [8,9]. Im Rahmen der Pilotevaluation von Ma¨rz bis Juli 2007 wurde der Kurs an 101 Teilnehmern verschiedener Fachrichtungen in Großbritannien (Gyna¨kologen), Spanien (Allgemeinmediziner), Ungarn (verschiedene Spezialisie-
rungen), der Schweiz (Gyna¨kologen) und Deutschland (Psychiater) getestet. Bevor sie den EbM-Kurs absolvierten, mussten die Kursteilnehmer einen Fragebogen zur Bewertung ihres Vorwissens und ihrer Haltung gegenu¨ber Evidenzbasierter Medizin ausfu¨llen. Die Teilnehmer der Evaluationsstudie erhielten je ein Handbuch mit den Zielen und Inhalten des Curriculums sowie zusa¨tzlich alle relevanten methodischen oder klinischen Artikel. Der Kurs wurde – mit Ausnahme von Großbritannien, wo er einta¨gig absolviert wurde – u¨ber 2–3 Tage verteilt in Kleingruppen von den Lernenden durchlaufen. Nach jedem Modul mussten die Lernenden einen Multiple-Choice-Fragebogen zur Messung des Wissenszuwachses und am Ende des Kurses einen Bewertungsbogen fu¨r die Anwendbarkeit der Lerneinheiten und zur Beurteilung der Einstellung ausfu¨llen. Nach Abschluss der Unterrichtseinheit zum Thema Systematische U¨bersichtsarbeiten’’ ’’wurde mit einem eigens entwickelten Fragebogen ermittelt, ob sich bei den Kursteilnehmern nach Abschluss des Kurses A¨nderungen im Wissen und in den Einstellungen ergeben haben [8,9]. Die Fragen wurden an validierte Fragebo¨gen zur Einscha¨tzung von Wissen und Haltungen zu EbM adaptiert [10,11] und enthielten 2 Arten von Antwortmo¨glichkeiten: wahr oder falsch, bzw. die treffendste Antwort von 5 mo¨glichen.
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
Als u¨bergeordnetes Ziel des gesamten Fortbildungsmoduls wurde angestrebt, die Kursteilnehmer mit den Grundkenntnissen der EbM vertraut zu machen (siehe Abb. 2 [8,9]). Zielgruppe waren junge A¨rzte in Weiterbildung. Als ein Ergebnis der Eingangs-Befragung wurden konkrete Lernziele fu¨r die Kursteilnehmer definiert, nach denen sich dann der Aufbau der einzelnen Module richtete. In erster Linie sollten die Teilnehmer durch den Kurs befa¨higt werden, fu¨r Probleme aus dem klinischen Alltag strukturierte Fragen zu formulieren und sie in das PICO-Schema (Population, Intervention, Comparator, Outcome) zu u¨bertragen. Weiterhin wurde definiert, dass die Kursteilnehmer nach Absolvierung der Lerneinheiten in der Lage sein sollten, effizient nach relevanter Literatur fu¨r ihr Problem zu suchen und die Qualita¨t der gefundenen Literatur und deren Anwendbarkeit sowie ihre U¨bertragbarkeit auf die eigene klinische Praxis zu bewerten. Schließlich sollten die Lernenden durch den Kurs mit Strategien der Implementierung und Barrieren der Umsetzbarkeit von Lo¨sungsstrategien vertraut gemacht werden. Aus diesen definierten Inhalten ergab sich eine Einteilung des Curriculums in 5 Teilmodule mit einer erweiterten Aufteilung des 3. Moduls: 1. Definition klinischer Fragestellungen 2. Systematische Evidenzrecherche 3. Bewertung von U¨bersichtsarbeiten sowie Interpretation der Ergebnisse 3a. Grundprinzipien randomisierter, kontrollierter Studien/Validita¨t von Studien 3b. Vierfeldertafel/Relatives Risiko 4. Anwendung der Evidenz auf den Patienten 5. Implementierung der Evidenz in die Praxis. Die Module wurden in Form eines E-Learning-Kurses umgesetzt, dessen Bearbeitung durch einen so genannten Facilitator/Tutor unterstu¨tzt wird. Aufgabe des Tutors ist es, das Aufgreifen klinischer Fragestellungen zu fo¨rdern
37
ARTICLE IN PRESS schungsergebnissen im Vergleich zur Situation vor dem Kurs.
Ziel: Heranführen der Kursteilnehmer an die Grundlagen von EbM Zielgruppe: Ärzte in Weiterbildung. Lernziele: Nach Abschluss des Kurses sollten die Teilnehmer dazu in der Lage sein folgende Dinge zu tun: •
aus einer klinischen Frage eine suchtaugliche Frage entwickeln
•
eine systematische Literaturrecherche durchführen und wenn möglich systematische
•
die gefundene Literatur kritisch bewerten und zwar sowohl die der Reviews als auch
•
die klinische Anwendbarkeit der Studienergebnisse abschätzen
•
die gefundenen Erkenntnisse effektiv in der klinischen Praxis umsetzen
Übersichtsarbeiten identifizieren die der eingeschlossenen Primärstudien
E-Learning-Module: Es gibt fünf Module mit entsprechendem Material zur Unterstützung Module 1: Formulieren einer suchtauglichen Frage Module 2: Systematische Literatursuche Module 3: Kritische Bewertung systematischer Übersichtsarbeiten Module 4: Anwendbarkeit der Erkenntnisse auf den individuellen Patienten Module 5: Implementierung der Erkenntnisse in die klinische Praxis Lehr- / Lernmethoden •
Die Kursteilnehmer verfolgen und steuern ihre Fortbildungsziele und -abläufe selbständig. Sie führen nach jedem Teilmodul eine formal Prüfung durch
Bewertung o Multiple Choice Frage zur Überprüfung des Wissensstandes o Fragebogen zur Ermittlung von Einstellungen Quelle: Kulier et al. 2008 [9].
Abb. 2. U¨berblick u¨ber Curriculum und Materialien.
und bei der Bearbeitung des Moduls Hilfestellung zu geben. Dadurch wird eine Lernsituation geschaffen, die es den Kursteilnehmern ermo¨glicht, das Erlernen der EbM-Techniken an ihren individuellen Bedu¨rfnissen auszurichten. Die Evaluation der Lehr- und Lerneinheit wurde mit Hilfe einer Pra¨-/Postbefragung der Kursteilnehmer durchgefu¨hrt. Die Antworten der Wissenserfassungsbo¨gen vor und nach dem Kurs wurden mithilfe eines WilcoxonTests verglichen. Aus der Differenz zwischen den jeweiligen Scores wurde die A¨nderung der Kenntnisse berechnet. Eine positive Differenz bedeutete einen Wissenszuwachs und wurde als Prozentangabe der maximal erreichbaren Punktzahl angegeben. Die Daten wurden als Prozentwert der Mittelwertsdifferenz und der Standardabweichung zwischen Scores vor dem Kurs und nach dem Kurs berechnet. Die Verbesserungen betrugen im Durchschnitt
38
1.87 Punkte fu¨r Modul 1, 1.81 Punkte fu¨r Modul 2, je 1.9 Punkte fu¨r Modul 3 und 4 sowie 1.14 Punkte fu¨r Modul 5. In Prozent angegeben erreichten die Teilnehmer durchschnittlich 14% des maximal mo¨glichen Wissenszuwachses in Modul 1, 26% in Modul 2, 11% in Modul 3, 12% in Modul 4 und 14% in Modul 5. Mit Ausnahme einzelner Module in einzelnen La¨ndern waren alle Unterschiede in den Testscores vor und nach dem Kurs statistisch signifikant. In den la¨nderspezifischen Analysen fu¨r Ungarn und Deutschland zeigte sich ebenfalls eine statistische Signifikanz, wa¨hrend der Wissenszuwachs fu¨r Modul 4 in Spanien, Großbritannien und der Schweiz, fu¨r Modul 3 in Spanien und der Schweiz und fu¨r Modul 2 in Spanien nicht statistisch signifikant war (Abb. 3 [9]). Die Teilnehmer fu¨hlten sich nach eigener Einscha¨tzung im Rahmen der Fragebogenerhebung nach dem Kurs sicherer in der Bewertung von For-
Diskussion Im Rahmen der Pilotevaluation des Kurses konnte gezeigt werden, dass mit EUebm die Erarbeitung eines europaweit einheitlichen, internetgestu¨tzten Fortbildungsangebotes zu EbM gelungen ist. Es wurde zum einen deutlich, dass die technische Anwendung funktioniert, zum zweiten machen die positiven Befragungsergebnisse aus den fu¨nf Testla¨ndern (Deutschland, England, Ungarn, Schweiz und Spanien) deutlich, dass die Absolvierung des Internetkurses mit einem Zuwachs an Wissen und einer A¨nderung der Haltung einhergeht. Die statistische Auswertung der Studienergebnisse (Abb. 3 [9]) ist jedoch vorsichtig zu interpretieren, da die Studie in einem Pra¨-Post-Design, das heißt ohne Kontrollgruppe, innerhalb einer sehr kurzen Zeit und mo¨glicherweise mit erho¨htem Input durch engagierte Tutoren durchgefu¨hrt wurde. Es kann aus diesem Grund nicht gefolgert werden, dass diese Lernform den konventionellen Kursen u¨berlegen ist und dass der Zuwachs and Kenntnissen und Fa¨higkeiten u¨ber la¨ngere Zeit erhalten bleibt. Insgesamt ermutigen die Ergebnisse dieser Studie jedoch, die Forschung und Entwicklung in diesem Bereich voranzutreiben, was auch die EU im Rahmen des Leonardo-Fo¨rderprogramms mit der Fo¨rderung eines Anschlussprojektes EU TTT (Train the Trainer) zur Fo¨rderung der Tutorenausbildung honoriert hat. Daru¨ber hinaus zeigte der Wunsch einer großen Anzahl der Teilnehmer, dass in den einzelnen La¨ndern ein Forschungsprogramm zum Thema Evidenzbasierte Medizin aufgelegt werden sollte, dass die Bedu¨rfnisse der Anwender getroffen werden konnten.
Danksagung An dieser Stelle mo¨chten wir ganz besonders unseren Projektpartner fu¨r die gute Zusammenarbeit danken. Daru¨ber hinaus gilt unser Dank Allen, die das
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
ARTICLE IN PRESS Birmingham
Germany
Geneva
15,0
10,0
5,0
0,0 Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Mod 1
Mod 2
Mod 3
Mod 4
Mod 5
Mod 1
Mod 2
Mod 3
Mod 4
Mod 5
All countries Hungary
Spain
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
15,0
10,0
5,0
0,0
Pre-test
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Pre-test
Post-test
Post-test
Quelle: Kulier et al. 2008 [9].
Abb. 3. Ergebnisse des Zuwachses an Wissen und Fertigkeiten u¨ber die Gruppen.
Projekt durch Ihre Teilnahme an der Befragung oder an der Evaluation unterstu¨tzt haben.
Literatur [1] Kunz R, Ollenschla¨ger G, Raspe H, Jonitz G, Donner-Banzhoff N, Herausgeber. Lehrbuch Evidenz-basierte Medizin in Klinik und Praxis. 2nd ed. Ko¨ln: Dt. A¨rzte-Verl.; 2007. [2] Deutsches Netzwerk Evidenzbasierte Medizin (DNEbM), Bundesa¨rztekammer (BA¨K). Curriculum Evidenzbasierte Medizin. 2005 [cited: 2008 Apr 04]. Available from: /http://www.ebm-netzwerk.de/grundlagen/ curriculumS. [3] Oxford Centre for Evidence Based Medicine (CEBM). Courses & Events. 2008
[4]
[5]
[6] [7]
[8]
[cited: 2008 Apr 04]. Available from: /http://www.cebm.net/?o=1018S. Coomarasamy A, Khan KS. What is the evidence that postgraduate teaching in evidence based medicine changes anything? A systematic review. BMJ 2004; 329(7473):1017. Green ML. Evidence-based medicine training in graduate medical education: past, present and future. J Eval Clin Pract 2000; 6(2):121–38. Harden RM, Laidlaw JM. Effective continuing education: the CRISIS criteria. Med Educ 1992;26(5):408–22. European Union Evidence Based Medicine Unity (EUebm). EU-EBM Unity Project. Courses. 2008 [cited: 2008 Apr 04]. Available from: /http://www.ebm-unity.org/S. Coppus SF, Emparanza JI, Hadley J, Kulier R, Weinbrenner S, Arvanitis TN, et al. A clinically integrated curriculum in evidence-
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
based medicine for just-in-time learning through on-the-job training: the EU-EBM project. BMC Med Educ 2007;7:46. [9] Kulier R, Hadley J, Weinbrenner S, Meyerrose B, Decsi T, Horvath AR, et al. Harmonising Evidence-Based Medicine teaching: a study of the outcomes of E-learning in five European countries. BMC Med Educ 2008; angenommen. [10] Fritsche L, Greenhalgh T, Falck-Ytter Y, Neumayer HH, Kunz R. Do short courses in evidence based medicine improve knowledge and skills? Validation of Berlin questionnaire and before and after study of courses in evidence based medicine. BMJ 2002;325(7376):1338–41. [11] Taylor R, Reeves B, Mears R, Keast J, Binns S, Ewings P, et al. Development and validation of a questionnaire to evaluate the effectiveness of evidence-based practice teaching. Med Educ 2001;35(6):544–7.
39
www.elsevier.de/zefq Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) 103 (2009) 35–39
Schwerpunkt
’’
EUebm – Integration einer europaweit ’’ harmonisierten Aus- und Fortbildung zu Evidenzbasierter Medizin (EbM) in die Krankenversorgung Susanne Weinbrenner1,, Berit Meyerrose1, Antje Vega-Perez2, Regina Kulier3, Sjors FPJ Coppus4, Regina Kunz5 1¨
Arztliches Zentrum fu¨r Qualita¨t in der Medizin (A¨ZQ), Berlin Charite´ Universita¨tsmedizin, Abteilung fu¨r Pa¨diatrie mit Schwerpunkt Ha¨matologie Onkologie, Berlin 3 Universita¨t Birmingham 4 Medizinisch akademisches Zentrum, Universita¨t Amsterdam, Abteilung klinische Epidemiologie and Biostatistik 5 Basler Institut fu¨r Klinische Epidemiologie, Universita¨tsspital Basel 2
Zusammenfassung Integrierte Lehr-/Lernansa¨tze mit einem engen Bezug zum perso¨nlichen Berufsalltag sind eher dazu geeignet, Einstellungs- und Verhaltensa¨nderungen – in Erga¨nzung zum Zugewinn an Wissen und Fertigkeiten – zu erzielen, als konventionelle Bildungsmaßnahmen. Dennoch findet die u¨berwiegende Mehrheit der Fortbildungsangebote in Evidenzbasierter Medizin ausserhalb der beruflichen Umgebung, in Wochenendkursen oder Abendveranstaltungen statt. Um diesem Defizit zu begegnen, wurde im Rahmen des europa¨ischen Forschungsprojektes EUebm ein modulares Basiscurriculum fu¨r Evidenzbasierte Medizin entwickelt, das die Harmonisierung der EbM-Ausbildung in Europa sowie eine sta¨rkere Integration der Ausbildung in den klinischen Alltag zum Ziel hat. Die Module des Curriculums sollen sich nahtlos in die ta¨glich Arbeit mit und am Patienten einfu¨gen und somit eine bessere Verzahnung zwischen der konkreten kli-
nischen Arbeit und dem Erlernen der EbM-Techniken sowie deren Umsetzung in der Versorgung eigener Patienten ermo¨glichen. In einem Survey, der bei allen Projektpartnern in Deutschland, England, Italien, den Niederlanden, O¨sterreich, Polen, der Schweiz, Spanien und Ungarn durchgefu¨hrt wurde, wurde der Bedarf bzgl. Aus- und Fortbildung in EbM in den einzelnen La¨ndern ermittelt. Unter Beru¨cksichtigung der Befragungsergebnisse sowie von bereits vorhandenen Vorarbeiten, wie z.B. das Curriculum des Deutschen Netzwerks EbM oder Materialien des Zentrums fu¨r EbM in Oxford wurde ein internetbasiertes Lehr-/Lernmodul zu Systematischen U¨bersichtsarbeiten und Metaanalysen entwickelt und in fu¨nf der beteiligten La¨nder getestet. Die Testung konnte zeigen, dass auf diese Weise eine Harmonisierung der EbM-Ausbildung sowie eine sta¨rkere Integration der Ausbildung in den klinischen Alltag machbar ist.
Schlu¨sselwo¨rter: Evidenzbasierte Medizin, berufliche Ausbildung, Fortbildung, Wissen, Einstellung, Verhalten (Gesundheit)
Korrespondenzadresse: Dr. S. Weinbrenner, MPH, A¨rztliches Zentrum fu¨r Qualita¨t in der Medizin, Wegelystraße 3, 10623 Berlin.
E-Mail: [email protected] (S. Weinbrenner). Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) doi:10.1016/j.zefq.2008.12.021
35
ARTICLE IN PRESS EUebm – Integrating a Europe-wide Harmonised Training and Continuing Medical Education in Evidence-based Medicine (EbM) with Patient Care Summary Integrative concepts of teaching and learning with close reference to individual work routines are better suited to bring about attitudinal and behavioural modification – apart from a gain in knowledge and skills – than traditional educational approaches. All the same, the vast majority of continuing training courses in Evidence-based Medicine takes place during weekend courses or evening classes, outside the work environment. To counteract this deficit a modular curriculum framework for Evidencebased Medicine was developed within the scope of the European research project EUebm which aims to achieve both a harmonisation of EbM education and training in Europe and a better integration of education and training with everyday clinical practice. The modules of this curriculum are intended to seamlessly fit into our day-to-day clinical work for and with patients and thus facilitate close interaction between the actual clinical
work and the learning of EbM techniques and their implementation into our own patients’ care. On the basis of a survey conducted among all the project partners in Austria, England, Germany, Hungary, Italy, the Netherlands, Poland, Spain and Switzerland the demand for training and continuing education in EbM in the individual countries was identified. Taking into account the results of this survey as well as previous work such as, for example, the curriculum of the German Network for Evidence-based Medicine or material provided by the Centre for Evidence-based Medicine in Oxford, an Internet-based teaching and learning module on systematic reviews and meta-analyses was developed and tested in five of the participating countries. The test demonstrated that in this way harmonisation of EbM education and training and a better integration of training with our everyday clinical work becomes feasible.
Key words: evidence-based medicine, international educational exchange, professional training, continuing medical education, health knowledge, attitudes, practice
36
’’
Mit dem enormen Zuwachs an medizinischem Wissen steigt die Diskrepanz zwischen wissenschaftlichen Erkenntnissen einerseits und ihrer Verbreitung sowie der Anwendung im klinischen Alltag andererseits. Dabei ist die Fa¨higkeit, sich effizient hochwertige Information zu beschaffen und diese auf klinische Situationen anzuwenden, von zunehmender Bedeutung fu¨r eine qualitativ hochwertige medizinische Versorgung. Die Strategien und Techniken der Evidenzbasierten Medizin haben sich in dieser Situation durch den Ansatz, das beste verfu¨gbare externe Wissen mit der internen Expertise des Arztes und den Pra¨ferenzen des Patienten zu verbinden, als Instrumentarium des Wissensmanagements bewa¨hrt [1]. Die Kenntnisse bezu¨glich EbM sind jedoch in der A¨rzteschaft und anderen Gesundheitsberufen noch nicht ausreichend verbreitet. Aus diesem Grund wurden in den vergangenen Jahren in Europa entsprechende Curricula entwickelt und Fortbildungsmaßnahmen angeboten [2,3]. In Deutschland und in vielen anderen La¨ndern handelt es sich dabei u¨berwiegend um konventionelle Fortbildungsformen (Frontalunterricht, Kurzzeitkurse u.a.), die in den meisten Fa¨llen losgelo¨st vom klinischen Alltag
stattfinden. Diese Vorgehensweise ist in der Erwachsenenbildung ineffektiv. Hier sind eher Integrierte Lehr- und Lernansa¨tze mit’’ einem engen Bezug zum perso¨nlichen Berufsalltag dazu geeignet, Einstellungs- und Verhaltensa¨nderungen zu erzielen [4]. Wie kann EbM in einer Weise gelehrt werden, welche auf den Transfer von neuem Wissen und Fertigkeiten in Einstellung und Verhalten zielt? Eine Gruppe von europa¨ischen Wissenschaftlern aus Deutschland, England, Italien, den Niederlanden, O¨sterreich, Polen, der Schweiz, Spanien und Ungarn mit langja¨hriger Erfahrung in der Anwendung und Unterrichtung von EbM schloss sich 2005 zu einer Studiengruppe zusammen, um dieser Frage nachzugehen. Die Gruppe setzte sich zum Ziel, ein EbM-Curriculum zu entwickeln, das europaweit einheitlich ist, direkt in der Krankenversorgung angewendet werden kann und auf den Bedarf der unterschiedlichen Teilnehmer zugeschnitten ist. Durch Harmonisierung beruflicher Weiterbildung in Evidenzbasierter Medizin soll EbM in Europa auf breiter Basis implementiert und die Vergleichbarkeit von Qualifikationen innerhalb Europas gesichert werden. In einer anschließenden Pilotevaluation sollte gepru¨ft werden, ob das entwickelte Modul diese Anforderungen erfu¨llt.
Das Projekt wurde durch das Leonardo ’’ da Vinci-Berufsbildungsprogramm der Europa¨ischen Union gefo¨rdert. ’’
Hintergrund
Methoden Zu Beginn des Projektes wurde in allen Partnerla¨ndern eine internetgestu¨tzte Befragung durchgefu¨hrt. Ziel dieser Befragung war es zum einen, den Status der EbM-Fortbildung in den jeweiligen La¨ndern zu erheben, zum anderen sollte ermittelt werden, wie hoch der Bedarf an EbM-Fortbildungen ist. Die Ergebnisse dieser Befragung flossen in die konkrete Konzeptionierung und Gestaltung der Lehr- und Lerneinheiten ein. Um nicht nur einen Zuwachs an Wissen und Fa¨higkeiten, sondern auch eine A¨nderung der Haltung und Verhaltensweisen zu erzielen, orientiert sich das didaktische Grundkonzept des Curriculums an den Erkenntnissen der modernen Erwachsenenbildung [4–6], die bei der Umsetzung einer praxisnahen, kontinuierlichen medizinischen Fortbildung im Rahmen dieses Projektes Anwendung finden sollten. Bei der Umsetzung wurde besonderes Gewicht auf die mo¨glichst umfa¨ngliche Integrierbarkeit der Kurseinheit in den klinischen Alltag gelegt. Damit wurden Mo¨glichkeiten geschaffen, einerseits Wissen und Kenntnisse der Kursteilnehmer aktiv
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
ARTICLE IN PRESS Ergebnisse
Abb. 1. Internet-Pra¨sentation der E-Learning-Session.
nutzen zu ko¨nnen und andererseits konkrete Fragen und Probleme aus dem klinischen Alltag aufzunehmen. Um zu u¨berpru¨fen, ob auch im klinischen Kontext ein internetgestu¨tztes Angebot angewendet werden kann, wurde der Kurs als E-Learning-Angebot konzipiert (siehe Abb. 1 [7–9]). E-Learning ist in diesem Zusammenhang in den vergangenen Jahren zunehmend als Option in den Fokus der Diskussion geru¨ckt, da die Anwendung den Teilnehmern einen individuell strukturierten Ablauf ermo¨glicht. Der Kurs wurde so konzipiert, dass ein Kursteilnehmer durch einen klinischen Facilitator’’ darin unterstu¨tzt wird, kli’’nische Probleme zu identifizieren, diese aufzunehmen und entsprechend der fu¨nf Schritte der EbM zu bearbeiten. Jede Sitzung besteht aus einer Kombination patientennaher, durch den Tutor supervidierter Lernlektion und selbststa¨ndiger Aneignung des Inhaltes der E-Learning-Module im Internet oder u¨ber CD-ROMs. Die Materialien bestehen aus Dias, Scripten und einem begleitenden Videoclip. Am Ende jedes Schrittes sind Aufgaben zu bearbeiten und als Erfolgskontrolle Multiple Choice Fragen (MCQ) zu beantworten [8,9]. Im Rahmen der Pilotevaluation von Ma¨rz bis Juli 2007 wurde der Kurs an 101 Teilnehmern verschiedener Fachrichtungen in Großbritannien (Gyna¨kologen), Spanien (Allgemeinmediziner), Ungarn (verschiedene Spezialisie-
rungen), der Schweiz (Gyna¨kologen) und Deutschland (Psychiater) getestet. Bevor sie den EbM-Kurs absolvierten, mussten die Kursteilnehmer einen Fragebogen zur Bewertung ihres Vorwissens und ihrer Haltung gegenu¨ber Evidenzbasierter Medizin ausfu¨llen. Die Teilnehmer der Evaluationsstudie erhielten je ein Handbuch mit den Zielen und Inhalten des Curriculums sowie zusa¨tzlich alle relevanten methodischen oder klinischen Artikel. Der Kurs wurde – mit Ausnahme von Großbritannien, wo er einta¨gig absolviert wurde – u¨ber 2–3 Tage verteilt in Kleingruppen von den Lernenden durchlaufen. Nach jedem Modul mussten die Lernenden einen Multiple-Choice-Fragebogen zur Messung des Wissenszuwachses und am Ende des Kurses einen Bewertungsbogen fu¨r die Anwendbarkeit der Lerneinheiten und zur Beurteilung der Einstellung ausfu¨llen. Nach Abschluss der Unterrichtseinheit zum Thema Systematische U¨bersichtsarbeiten’’ ’’wurde mit einem eigens entwickelten Fragebogen ermittelt, ob sich bei den Kursteilnehmern nach Abschluss des Kurses A¨nderungen im Wissen und in den Einstellungen ergeben haben [8,9]. Die Fragen wurden an validierte Fragebo¨gen zur Einscha¨tzung von Wissen und Haltungen zu EbM adaptiert [10,11] und enthielten 2 Arten von Antwortmo¨glichkeiten: wahr oder falsch, bzw. die treffendste Antwort von 5 mo¨glichen.
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
Als u¨bergeordnetes Ziel des gesamten Fortbildungsmoduls wurde angestrebt, die Kursteilnehmer mit den Grundkenntnissen der EbM vertraut zu machen (siehe Abb. 2 [8,9]). Zielgruppe waren junge A¨rzte in Weiterbildung. Als ein Ergebnis der Eingangs-Befragung wurden konkrete Lernziele fu¨r die Kursteilnehmer definiert, nach denen sich dann der Aufbau der einzelnen Module richtete. In erster Linie sollten die Teilnehmer durch den Kurs befa¨higt werden, fu¨r Probleme aus dem klinischen Alltag strukturierte Fragen zu formulieren und sie in das PICO-Schema (Population, Intervention, Comparator, Outcome) zu u¨bertragen. Weiterhin wurde definiert, dass die Kursteilnehmer nach Absolvierung der Lerneinheiten in der Lage sein sollten, effizient nach relevanter Literatur fu¨r ihr Problem zu suchen und die Qualita¨t der gefundenen Literatur und deren Anwendbarkeit sowie ihre U¨bertragbarkeit auf die eigene klinische Praxis zu bewerten. Schließlich sollten die Lernenden durch den Kurs mit Strategien der Implementierung und Barrieren der Umsetzbarkeit von Lo¨sungsstrategien vertraut gemacht werden. Aus diesen definierten Inhalten ergab sich eine Einteilung des Curriculums in 5 Teilmodule mit einer erweiterten Aufteilung des 3. Moduls: 1. Definition klinischer Fragestellungen 2. Systematische Evidenzrecherche 3. Bewertung von U¨bersichtsarbeiten sowie Interpretation der Ergebnisse 3a. Grundprinzipien randomisierter, kontrollierter Studien/Validita¨t von Studien 3b. Vierfeldertafel/Relatives Risiko 4. Anwendung der Evidenz auf den Patienten 5. Implementierung der Evidenz in die Praxis. Die Module wurden in Form eines E-Learning-Kurses umgesetzt, dessen Bearbeitung durch einen so genannten Facilitator/Tutor unterstu¨tzt wird. Aufgabe des Tutors ist es, das Aufgreifen klinischer Fragestellungen zu fo¨rdern
37
ARTICLE IN PRESS schungsergebnissen im Vergleich zur Situation vor dem Kurs.
Ziel: Heranführen der Kursteilnehmer an die Grundlagen von EbM Zielgruppe: Ärzte in Weiterbildung. Lernziele: Nach Abschluss des Kurses sollten die Teilnehmer dazu in der Lage sein folgende Dinge zu tun: •
aus einer klinischen Frage eine suchtaugliche Frage entwickeln
•
eine systematische Literaturrecherche durchführen und wenn möglich systematische
•
die gefundene Literatur kritisch bewerten und zwar sowohl die der Reviews als auch
•
die klinische Anwendbarkeit der Studienergebnisse abschätzen
•
die gefundenen Erkenntnisse effektiv in der klinischen Praxis umsetzen
Übersichtsarbeiten identifizieren die der eingeschlossenen Primärstudien
E-Learning-Module: Es gibt fünf Module mit entsprechendem Material zur Unterstützung Module 1: Formulieren einer suchtauglichen Frage Module 2: Systematische Literatursuche Module 3: Kritische Bewertung systematischer Übersichtsarbeiten Module 4: Anwendbarkeit der Erkenntnisse auf den individuellen Patienten Module 5: Implementierung der Erkenntnisse in die klinische Praxis Lehr- / Lernmethoden •
Die Kursteilnehmer verfolgen und steuern ihre Fortbildungsziele und -abläufe selbständig. Sie führen nach jedem Teilmodul eine formal Prüfung durch
Bewertung o Multiple Choice Frage zur Überprüfung des Wissensstandes o Fragebogen zur Ermittlung von Einstellungen Quelle: Kulier et al. 2008 [9].
Abb. 2. U¨berblick u¨ber Curriculum und Materialien.
und bei der Bearbeitung des Moduls Hilfestellung zu geben. Dadurch wird eine Lernsituation geschaffen, die es den Kursteilnehmern ermo¨glicht, das Erlernen der EbM-Techniken an ihren individuellen Bedu¨rfnissen auszurichten. Die Evaluation der Lehr- und Lerneinheit wurde mit Hilfe einer Pra¨-/Postbefragung der Kursteilnehmer durchgefu¨hrt. Die Antworten der Wissenserfassungsbo¨gen vor und nach dem Kurs wurden mithilfe eines WilcoxonTests verglichen. Aus der Differenz zwischen den jeweiligen Scores wurde die A¨nderung der Kenntnisse berechnet. Eine positive Differenz bedeutete einen Wissenszuwachs und wurde als Prozentangabe der maximal erreichbaren Punktzahl angegeben. Die Daten wurden als Prozentwert der Mittelwertsdifferenz und der Standardabweichung zwischen Scores vor dem Kurs und nach dem Kurs berechnet. Die Verbesserungen betrugen im Durchschnitt
38
1.87 Punkte fu¨r Modul 1, 1.81 Punkte fu¨r Modul 2, je 1.9 Punkte fu¨r Modul 3 und 4 sowie 1.14 Punkte fu¨r Modul 5. In Prozent angegeben erreichten die Teilnehmer durchschnittlich 14% des maximal mo¨glichen Wissenszuwachses in Modul 1, 26% in Modul 2, 11% in Modul 3, 12% in Modul 4 und 14% in Modul 5. Mit Ausnahme einzelner Module in einzelnen La¨ndern waren alle Unterschiede in den Testscores vor und nach dem Kurs statistisch signifikant. In den la¨nderspezifischen Analysen fu¨r Ungarn und Deutschland zeigte sich ebenfalls eine statistische Signifikanz, wa¨hrend der Wissenszuwachs fu¨r Modul 4 in Spanien, Großbritannien und der Schweiz, fu¨r Modul 3 in Spanien und der Schweiz und fu¨r Modul 2 in Spanien nicht statistisch signifikant war (Abb. 3 [9]). Die Teilnehmer fu¨hlten sich nach eigener Einscha¨tzung im Rahmen der Fragebogenerhebung nach dem Kurs sicherer in der Bewertung von For-
Diskussion Im Rahmen der Pilotevaluation des Kurses konnte gezeigt werden, dass mit EUebm die Erarbeitung eines europaweit einheitlichen, internetgestu¨tzten Fortbildungsangebotes zu EbM gelungen ist. Es wurde zum einen deutlich, dass die technische Anwendung funktioniert, zum zweiten machen die positiven Befragungsergebnisse aus den fu¨nf Testla¨ndern (Deutschland, England, Ungarn, Schweiz und Spanien) deutlich, dass die Absolvierung des Internetkurses mit einem Zuwachs an Wissen und einer A¨nderung der Haltung einhergeht. Die statistische Auswertung der Studienergebnisse (Abb. 3 [9]) ist jedoch vorsichtig zu interpretieren, da die Studie in einem Pra¨-Post-Design, das heißt ohne Kontrollgruppe, innerhalb einer sehr kurzen Zeit und mo¨glicherweise mit erho¨htem Input durch engagierte Tutoren durchgefu¨hrt wurde. Es kann aus diesem Grund nicht gefolgert werden, dass diese Lernform den konventionellen Kursen u¨berlegen ist und dass der Zuwachs and Kenntnissen und Fa¨higkeiten u¨ber la¨ngere Zeit erhalten bleibt. Insgesamt ermutigen die Ergebnisse dieser Studie jedoch, die Forschung und Entwicklung in diesem Bereich voranzutreiben, was auch die EU im Rahmen des Leonardo-Fo¨rderprogramms mit der Fo¨rderung eines Anschlussprojektes EU TTT (Train the Trainer) zur Fo¨rderung der Tutorenausbildung honoriert hat. Daru¨ber hinaus zeigte der Wunsch einer großen Anzahl der Teilnehmer, dass in den einzelnen La¨ndern ein Forschungsprogramm zum Thema Evidenzbasierte Medizin aufgelegt werden sollte, dass die Bedu¨rfnisse der Anwender getroffen werden konnten.
Danksagung An dieser Stelle mo¨chten wir ganz besonders unseren Projektpartner fu¨r die gute Zusammenarbeit danken. Daru¨ber hinaus gilt unser Dank Allen, die das
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
ARTICLE IN PRESS Birmingham
Germany
Geneva
15,0
10,0
5,0
0,0 Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Mod 1
Mod 2
Mod 3
Mod 4
Mod 5
Mod 1
Mod 2
Mod 3
Mod 4
Mod 5
All countries Hungary
Spain
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
15,0
10,0
5,0
0,0
Pre-test
Mod 1 Mod 2 Mod 3 Mod 4 Mod 5
Pre-test
Post-test
Post-test
Quelle: Kulier et al. 2008 [9].
Abb. 3. Ergebnisse des Zuwachses an Wissen und Fertigkeiten u¨ber die Gruppen.
Projekt durch Ihre Teilnahme an der Befragung oder an der Evaluation unterstu¨tzt haben.
Literatur [1] Kunz R, Ollenschla¨ger G, Raspe H, Jonitz G, Donner-Banzhoff N, Herausgeber. Lehrbuch Evidenz-basierte Medizin in Klinik und Praxis. 2nd ed. Ko¨ln: Dt. A¨rzte-Verl.; 2007. [2] Deutsches Netzwerk Evidenzbasierte Medizin (DNEbM), Bundesa¨rztekammer (BA¨K). Curriculum Evidenzbasierte Medizin. 2005 [cited: 2008 Apr 04]. Available from: /http://www.ebm-netzwerk.de/grundlagen/ curriculumS. [3] Oxford Centre for Evidence Based Medicine (CEBM). Courses & Events. 2008
[4]
[5]
[6] [7]
[8]
[cited: 2008 Apr 04]. Available from: /http://www.cebm.net/?o=1018S. Coomarasamy A, Khan KS. What is the evidence that postgraduate teaching in evidence based medicine changes anything? A systematic review. BMJ 2004; 329(7473):1017. Green ML. Evidence-based medicine training in graduate medical education: past, present and future. J Eval Clin Pract 2000; 6(2):121–38. Harden RM, Laidlaw JM. Effective continuing education: the CRISIS criteria. Med Educ 1992;26(5):408–22. European Union Evidence Based Medicine Unity (EUebm). EU-EBM Unity Project. Courses. 2008 [cited: 2008 Apr 04]. Available from: /http://www.ebm-unity.org/S. Coppus SF, Emparanza JI, Hadley J, Kulier R, Weinbrenner S, Arvanitis TN, et al. A clinically integrated curriculum in evidence-
Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 35–39 www.elsevier.de/zefq
based medicine for just-in-time learning through on-the-job training: the EU-EBM project. BMC Med Educ 2007;7:46. [9] Kulier R, Hadley J, Weinbrenner S, Meyerrose B, Decsi T, Horvath AR, et al. Harmonising Evidence-Based Medicine teaching: a study of the outcomes of E-learning in five European countries. BMC Med Educ 2008; angenommen. [10] Fritsche L, Greenhalgh T, Falck-Ytter Y, Neumayer HH, Kunz R. Do short courses in evidence based medicine improve knowledge and skills? Validation of Berlin questionnaire and before and after study of courses in evidence based medicine. BMJ 2002;325(7376):1338–41. [11] Taylor R, Reeves B, Mears R, Keast J, Binns S, Ewings P, et al. Development and validation of a questionnaire to evaluate the effectiveness of evidence-based practice teaching. Med Educ 2001;35(6):544–7.
39