Stichproben in der ambulanten Qualitätssicherung am Beispiel der Koloskopie

ARTICLE IN PRESS

www.elsevier.de/zefq Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) 103 (2009) 159–164

Im Blickpunkt

Stichproben in der ambulanten Qualita¨tssicherung am Beispiel der Koloskopie Rupert Pfandzelter1,, Andreas Walter1, Karl Wegscheider2 1

Kassena¨rztliche Bundesvereinigung, Berlin Universita¨tsklinikum Hamburg-Eppendorf, Institut fu¨r Medizinische Biometrie und Epidemiologie, Hamburg

2

Zusammenfassung Hintergrund: Stichproben sind ein vom Gesetzgeber vorgesehenes und etabliertes Instrument zur Sicherung und Fo¨rderung der Qualita¨t a¨rztlicher Leistungen. Dabei werden a¨rztliche Dokumentationen erbrachter Leistungen zufa¨llig ausgewa¨hlt und in einem Peer-Review-Verfahren nach definierten Qualita¨tskriterien gutachterlich bewertet. Stichproben sind zum Beispiel vorgesehen fu¨r ambulant im Rahmen der vertragsa¨rztlichen Versorgung durchgefu¨hrte Koloskopien zur Aufrechterhaltung der fachlichen Befa¨higung von koloskopierenden A¨rzten. Ziel: In der Koloskopie besonderes erfahrene A¨rzte bewerten im Auftrag der zusta¨ndigen Kassena¨rztlichen Vereinigung regelma¨ßig die bildlichen Dokumentationen zufa¨llig ausgewa¨hlter und im Rahmen der vertragsa¨rztlichen Versorgung durchgefu¨hrter Koloskopien. Aus medizinischen Gru¨nden ist dabei eine bestimmte Rate mangelhafter Koloskopien grundsa¨tzlich zu tolerieren. Wird diese Ma¨ngelrate u¨berschritten, kann die Kassena¨rztliche Vereinigung Maßnahmen ergreifen. Die Frage ist, wie Umfang und Verfahren der Stichprobenziehung zu wa¨hlen sind, um eine hinreichende Testgu¨te im Sinne von Sensitivita¨t und Spezifita¨t bei vertretbarem Aufwand zu gewa¨hrleisten. Methode: Berechnet werden wesentliche Kenngro¨ßen von Stichproben, wie die falsch-positive Rate (dem Arzt wird zu unrecht eine mangelhafte Qualita¨t unterstellt) und falsch-negative Rate (vorhandene Ma¨ngel werden fa¨lschlicherweise nicht erkannt). Die Berechnungen erfolgen analytisch beziehungsweise, bei komplexen Stichprobenszenarien, numerisch mittels Computersimulationen. Ergebnisse: Die Berechnungen zeigen, dass einstufige Stichprobenziehungen zu kaum akzeptablen Werten fu¨r die falsch-positiven und falsch-

negativen Raten fu¨hren, wenn der Aufwand fu¨r Gutachter und Arzt begrenzt bleiben soll. Plausible Annahmen fu¨r die tatsa¨chlich vorhandene Ma¨ngelrate resultieren zum Beispiel bei einer Stichprobe, in der 20 Koloskopien zufa¨llig ausgewa¨hlt werden, zu einer falsch-positiven Rate von 6% und einer falsch-negativen Rate von 47%. Die aus juristischer Sicht besonders problematische falsch-positive Rate kann reduziert werden durch ein zweistufiges Verfahren, bei dem, nach einer ersten positiven Stichprobe, weitere Koloskopien aus derselben Grundgesamtheit ausgewa¨hlt werden. Eine deutliche Reduktion der falsch-negativen Rate wird erreicht durch (mehrmaliges) Wiederholen der Stichprobenziehung (insbesondere bei wechselnder Grundgesamtheit) und Betrachtung kumulativer Wahrscheinlichkeiten. Schlussfolgerungen: Im Gegensatz zu Vollerhebungen erlauben Stichproben lediglich Wahrscheinlichkeitsaussagen. Im Rahmen der Qualita¨tssicherung wird in der Regel die falsch-negative Rate von Stichproben betrachtet, das heißt, die Wahrscheinlichkeit, dass vorhandene Ma¨ngel nicht erkannt werden. Sobald jedoch aus praktischen oder prinzipiellen Gru¨nden eine bestimmte in der Stichprobe entdeckte Ma¨ngelrate grundsa¨tzlich zu akzeptieren ist, ist auch die falsch-positive Rate zu beru¨cksichtigen, insbesondere, wenn auf der Basis einer positiven Stichprobe Konsequenzen zu ergreifen sind. Auf die jeweilige Problemstellung angewandte Wahrscheinlichkeitsrechnungen gestatten es, einen fu¨r die erwarteten Ziele einer Stichprobenpru¨fung gu¨nstigen Arbeitspunkt hinsichtlich Umfang und Verfahren der Stichprobenziehung zu finden.

Schlu¨sselwo¨rter: Stichproben, Koloskopie, Qualita¨tssicherung, vertragsa¨rztliche Versorgung

Korrespondenzadresse: PD Dr. rer. nat. Rupert Pfandzelter, Kassena¨rztliche Bundesvereinigung, Dezernat 2, Ambulante Qualita¨tsfo¨rderung und -darstellung,

Herbert-Lewin-Platz 2, 10623 Berlin. E-Mail: [email protected] (R. Pfandzelter). Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) doi:10.1016/j.zefq.2009.03.002

159

ARTICLE IN PRESS Sampling Studies in Ambulatory Quality Assurance – using the example of colonoscopy Summary Background: Sampling inspections are an approved instrument for assuring and promoting the quality of healthcare. Individual documentations of medical services are requested from physicians and randomly selected for quality rating by experienced peer reviewers. For example, sampling inspections are stipulated by law for certain ambulatory services (e.g., colonoscopies) delivered by SHI-authorised physicians in order to maintain professional performance standards of colonoscopists. Objectives: On behalf of the regional Association of Statutory Health Insurance Physicians (ASHIP) experienced colonoscopists regularly rate selected visual documentations (videotapes, photographs) of colonoscopies performed by SHI-authorised physicians in the ambulatory care sector. For anatomical reasons, however, a certain proportion of colonoscopies of inadequate quality will generally be tolerated. Whenever this value is exceeded, ASHIP may impose sanctions against the physician. The question is how sampling inspections have to be performed and dimensioned in order to ensure that the tests be sufficiently meaningful in terms of sensitivity and specificity. Methods: Relevant sampling test parameters such as the false-positive rate (physicians are wrongly accused of inadequate quality) and the falsenegative rate (existing deficiencies are not identified) are calculated. The calculations are performed analytically or, in the case of complex sampling test scenarios, numerically by means of computer simulations.

Results: The calculations show that single-stage sampling tests usually do not result in acceptable values for the false-positive and the false-negative rates. For example, a sampling test which requires the documentation of 20 colonoscopies will – assuming some reasonable tolerance of inadequately performed colonoscopies – result in a false-positive rate of 6% and a false-negative rate of 47%. The false-positive-rate, which is particularly relevant from a legal point of view, can be reduced by providing a two-stage sampling test. A significant reduction of the false-negative-rate may be achieved by (multiple) repetition of the single-stage sampling test and consideration of cumulative probabilities. Conclusions: In principle, sampling inspections permit statements in terms of probabilities only. In sampling inspections of healthcare quality false-negative rates are usually considered, i.e., the probability that the test is unable to identify existing quality deficiencies. However, false-positive rates also need to be considered in cases where sanctions may be imposed against the physician on the basis of a positive sampling test. Numerical calculations of false-positive and false-negative rates for simple and complex sampling test scenarios should be performed in order to choose the optimum procedure and dimension of a sampling test.

Key words: sampling studies, colonoscopy, healthcare quality, ambulatory healthcare

1. Einfu¨hrung Zur sicheren Bestimmung der Ha¨ufigkeitsverteilung einer bestimmten Eigenschaft bei Elementen einer Menge (Grundgesamtheit) werden alle Elemente dieser Menge mittels einer Total- oder Vollerhebung u¨berpru¨ft. Oft ist es jedoch unmo¨glich oder aus praktischen Gru¨nden zumindest zu aufwa¨ndig, alle Elemente der Menge zu untersuchen und man beschra¨nkt sich auf die Untersuchung einer mehr oder weniger großen Teilmenge der Grundgesamtheit. Eine solche Stichprobe ist allerdings nur sinnvoll, wenn die daraus ermittelte Ha¨ufigkeitsverteilung der zu untersuchenden Eigenschaft mit der Verteilung in der Grundgesamtheit hinreichend genau u¨bereinstimmt. Eine solche U¨bereinstimmung kann mit den bei der Bewertung von Diagnoseverfahren u¨blicherweise verwendeten Kenngro¨ßen Sensitivita¨t und Spezifita¨t beschrieben werden. Im medizinischen Bereich kommen Stichproben zum Beispiel im Rahmen der Qualita¨tssicherung zum Einsatz. Zur Sicherung und Fo¨rderung der Qualita¨t von a¨rztlichen Leistungen sieht der Ge-

160

setzgeber im Sozialgesetzbuch 5. Buch (SGB V) beispielsweise vor, dass die Qualita¨t der im Rahmen der ambulanten vertragsa¨rztlichen Versorgung erbrachten Leistungen mittels einer stichprobenhaften Bewertung der a¨rztlichen Dokumentationen regelma¨ßig zu pru¨fen sind. So gibt y 136 Abs. 2 SGB V vor, dass die Kassena¨rztlichen Vereinigungen auf der Basis von Richtlinien des Gemeinsamen Bundesausschusses [1] die Qualita¨t der in der vertragsa¨rztlichen Versorgung erbrachten Leistungen im Einzelfall durch Stichproben zu pru¨fen haben. Stichproben werden unter anderem durchgefu¨hrt, um Anforderungen an die Strukturqualita¨t (fachliche Befa¨higung des Arztes, Praxisausstattung) zu u¨berpru¨fen. Grundlage hierfu¨r sind Qualita¨tssicherungsvereinbarungen zwischen der Kassena¨rztlichen Bundesvereinigung und dem GKV-Spitzenverband gema¨ß y 135 Abs. 2 SGB V. Ziel dieser Untersuchung ist, am Beispiel der Koloskopie mit Hilfe von statistischen Methoden ein unter Beru¨cksichtigung der spezifischen Rahmenbedingungen der Qualita¨tssicherung im vertragsa¨rztlichen Sektor angemesse-

nes Stichprobensetting und den damit zusammenha¨ngenden Pru¨faufwand zu bestimmen. Vor dem Hintergrund begrenzter Ressourcen ist das Spannungsfeld zwischen der naturgema¨ßen Ungenauigkeit von Stichproben und der notwendigen Rechtssicherheit eines Verfahrens zur Durchsetzung von Sanktionen besonders zu beachten.

2. Die Koloskopie In Deutschland wurden 2006 im vertragsa¨rztlichen Bereich ca. 1,2 Mio. Koloskopien von 2.900 A¨rzten durchgefu¨hrt. Zur Aufrechterhaltung der fachlichen Befa¨higung und Fertigkeiten des koloskopierenden Arztes hat der Arzt gegenu¨ber der zusta¨ndigen Kassena¨rztlichen Vereinigung ja¨hrlich die selbsta¨ndige Durchfu¨hrung von mindestens 200 Koloskopien nachzuweisen. Entscheidend fu¨r die Qualita¨t der Untersuchung ist dabei, dass die Koloskopien vollsta¨ndig und ma¨ngelfrei durchgefu¨hrt wurden. Eine vollsta¨ndige oder totale Koloskopie ist gegeben, wenn der Blinddarm (das Caecum) erreicht und damit der gesamte Dickdarm (das Colon) untersucht werden

Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 159–164 www.elsevier.de/zefq

ARTICLE IN PRESS

Gema¨ß der Qualita¨tssicherungsvereinbarung zur Koloskopie [5] wird die Qualita¨t der im Rahmen der vertragsa¨rztlichen Versorgung durchgefu¨hrten Koloskopien von einer Qualita¨tssicherungskommission hinsichtlich der Ma¨ngelfreiheit und Totalita¨t u¨berpru¨ft. Die 17 Kommissionen werden ta¨tig im Auftrag der jeweiligen Kassena¨rztlichen Vereinigungen und setzen sich aus a¨rztlichen Gutachtern zu-

4. Zuverla¨ssigkeit der Stichprobe Aus einer eventuellen Nichterkennbarkeit von charakteristischen Strukturen des Caecums auf einer Photo- oder Videodokumentation kann, wie in Abschnitt 2 dargestellt, nicht in allen Fa¨llen geschlossen werden, dass die Koloskopie nicht ada¨quat durchgefu¨hrt wurde. Mit anderen Worten, die Darstellung charakteristischer Strukturen stellt eine hinreichende, aber nicht notwendige Bedingung fu¨r eine totale Koloskopie dar. Unter Beru¨cksichtigung der Ergebnisse von Rex [4] ist es deshalb angemessen, eine Ma¨ngelrate von 10% bei den begutachteten Dokumentationen grundsa¨tzlich zu tolerieren. Das heißt, eine gute Qualita¨t der von einem Arzt durchgefu¨hrten Kolosko-

Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 159–164 www.elsevier.de/zefq

pien kann attestiert werden, wenn bei mindestens 90% der eingereichten Dokumentationen vorgegebene charakteristische Strukturen des Caecums identifiziert werden ko¨nnen. Dies hat jedoch zur Folge, dass im Rahmen einer stichprobenhaften U¨berpru¨fung nicht nur Fa¨lle zu erwarten sind, bei denen vorhandene Ma¨ngel fa¨lschlicherweise nicht erkannt werden ( falsch-negative Rate ¼ 1-Sensitivita¨t), ’’ sondern zusa¨tzlich auch Fa¨lle, bei denen u¨berproportional viele mangelhafte Dokumentationen gezogen werden und dem Arzt deshalb zu unrecht eine unzureichende Qualita¨t unterstellt wird ( falsch-positive Rate ¼ 1-Spezifita¨t). ’’ der Arzt in diesem Fall dennoch Da mit Konsequenzen zu rechnen ha¨tte, ist es, nicht zuletzt auch aus juristischen Gru¨nden, wichtig, den Anteil falschpositiver Beurteilungen sehr gering zu halten. Andererseits macht eine stichprobenbasierte Qualita¨tssicherungsmaßnahme nur Sinn, wenn sowohl der Aufwand fu¨r den Arzt und die Gutachter als auch der Anteil falsch-negativer Beurteilungen in einem vertretbaren Rahmen bleiben. Um den optimalen Arbeitspunkt im Hinblick auf Aufwand, falsch-negative Rate und falsch-positive Rate zu finden, wurden verschiedene Szenarien berechnet. Zuna¨chst wird, grob vereinfacht, angenommen, dass bei allen koloskopierenden A¨rzten dieselbe tatsa¨chliche Ma¨ngelrate bei den Dokumentationen durchgefu¨hrter Koloskopien vorliegt. Mathematisch entspricht dies einer Verteilung mit einem zu wa¨hlenden Erwartungswert und verschwindender Streuung (Varianz). Dieser Fall ist unrealistisch, soll aber zur Beleuchtung der Problemstellung, insbesondere im Hinblick auf die Raten falschnegativer und falsch-positiver Stichproben, dienen. Realistisch ist es vielmehr, von unterschiedlichen Ma¨ngelraten bei verschiedenen A¨rzten auszugehen. Dabei wird – in einem zweiten Schritt – angenommen, dass die tatsa¨chliche Ma¨ngelrate bei koloskopierenden A¨rzten durch eine stetige, eingipflige Verteilung mit zu wa¨hlender Varianz und Erwartungswert beschrieben werden kann. Ein verbreitetes Wahrscheinlichkeitsmodell ’’

3. Durchfu¨hrung der Stichprobe

sammen, die in diesem Gebiet besonders erfahren sind. Da die regelma¨ßige U¨berpru¨fung der Dokumentationen aller 1,6 Mio. durchgefu¨hrten Koloskopien bei den im Bereich der Kassena¨rztlichen Vereinigung koloskopierenden A¨rzten im Sinne einer Vollerhebung kaum leistbar ist, greift man auf Stichproben zuru¨ck. Dabei werden zwar von jedem Arzt Photo- oder Videodokumentationen angefordert, allerdings jeweils nur zu einer begrenzten Anzahl zufa¨llig ausgewa¨hlter koloskopischer Untersuchungen. Diese Dokumentationen werden von der Kommission insbesondere auf die Sichtbarkeit der charakteristischen anatomischen Strukturen u¨berpru¨ft. Stellt die Kommission dabei Qualita¨tsma¨ngel fest, kann die Kassena¨rztliche Vereinigung Maßnahmen ergreifen. Im Falle von wiederholt festgestellten Ma¨ngeln kann dies zum Verlust der Genehmigung zur Durchfu¨hrung und Abrechnung von Koloskopien in der vertragsa¨rztlichen Versorgung fu¨hren. Da dies eine fu¨r den Arzt schwerwiegende Konsequenz darstellt, ist sicherzustellen, dass zum einen die Korrelation zwischen photographisch dargestellten Strukturen und tatsa¨chlicher Qualita¨t der durchgefu¨hrten Untersuchung gesichert ist, zum anderen die Stichprobe hinreichend sensitiv und spezifisch ist.

’’

konnte. Als Mangel gilt insbesondere eine Verschmutzung des Colons. So zeigen kontrollierte Studien, dass eine inada¨quate Reinigung des Colons nicht nur einen negativen Einfluss auf Schwierigkeit und Dauer der Untersuchung hat, sondern vor allem die Detektionswahrscheinlichkeit von Polypen deutlich reduziert [2]. Die Qualita¨t der Koloskopie hinsichtlich ihrer Ma¨ngelfreiheit und Totalita¨t kann dokumentiert werden, indem charakteristische anatomische Strukturen (Bauhin’sche Klappe, Zoekumtriangel, Appendixorifizium) bei der Intubation des Caecums photographiert werden. Allerdings sind solche Photographien fu¨r einen Gutachter oft nicht eindeutig zu bewerten, selbst wenn der koloskopierende Arzt bei der Untersuchung das Caecum mit Sicherheit identifiziert hat, das heißt, die Koloskopie vollsta¨ndig und korrekt durchgefu¨hrt wurde. Diese Unsicherheit bei der gutachterlichen Bewertung wird zuru¨ckgefu¨hrt auf anatomische Variationen der Patienten mit der Folge, dass charakteristische Strukturen des Caecums bei einigen Patienten nicht klar dargestellt werden ko¨nnen [3]. Eine gro¨ßere, aber dennoch begrenzte Aussagekraft kann zwar erreicht werden, wenn kombinierte Photographien oder Videosequenzen wa¨hrend der Untersuchung aufgenommen werden [3,4]. Dies erho¨ht allerdings den Aufwand sowohl fu¨r den koloskopierenden Arzt als auch den Gutachter betra¨chtlich, insbesondere, wenn bestimmte Sequenzen auf analogen Videoba¨ndern aufzufinden ist.

161

ARTICLE IN PRESS

Wir nehmen zuna¨chst an, dass bei allen u¨berpru¨ften A¨rzten eine tatsa¨chliche Ma¨ngelrate von jeweils 10% der durchgefu¨hrten Koloskopien vorliegen mo¨ge (Ma¨ngelrate m ¼ 0,1). Wenn, im Gegensatz zur Empfehlung in Abschnitt 4, kein einziger Mangel toleriert werden ko¨nnte, wa¨re die Rate falsch-positiver Stichproben FP somit gleich Null, da keiner der A¨rzte die (unrealistisch strengen) Qualita¨tsanforderungen erfu¨llen

Abb. 1. Hypothetische Verteilung der tatsa¨chlichen Ma¨ngelrate m.

162

und einer noch zu tolerierenden Ma¨ngelrate k von ebenfalls 10% ergibt sich bei einer einmaligen Stichprobe von n ¼ 20 eine beachtliche Rate falsch-positiver Stichproben von FP ¼ 32,3%, d.h. jedem dritten Arzt wu¨rde fa¨lschlicherweise mangelhafte Qualita¨t attestiert, da per definitionem nun jeder Arzt die Qualita¨tsanforderungen tatsa¨chlich erfu¨llt (FN ¼ 0). Nicht wesentlich besser stellt sich die Situation bei einer zweimaligen unabha¨ngigen Stichprobe dar. Selbst unter der denkbaren Pra¨misse, dass ein Arzt nur dann einer mangelhaften Qualita¨t bezichtigt wu¨rde, wenn beide Stichproben ein jeweils positives Ergebnis zeigen, wa¨re die falsch-positive Rate immer noch FP ¼ 10,4%. Anhand dieser (rein hypothetischen) Beispiele erkennt man, dass Gro¨ße und Verfahren einer Stichprobenzeihung sorgfa¨ltig zu wa¨hlen sind, um die kritischen Gro¨ßen falsch-positive Rate ’’ und falsch-negative Rate hinreichend ’’ klein zu halten. Fu¨r eine plausible, das heißt realistische Berechnung wa¨hlen wir nun eine Betaverteilung der tatsa¨chlichen Ma¨ngelrate mit p ¼ 1 und q ¼ 19, entsprechend einem Erwartungswert von 5,0% und einer Varianz von 0,23% (Abb. 1). Bei einer noch tolerierbaren Ma¨ngelrate k von 10%, wu¨rden dann 13,5% der koloskopierenden A¨rzte die Qualita¨tsanforderungen tatsa¨chlich nicht mehr erfu¨llen (die durchschnittliche tatsa¨chliche Ma¨ngelrate der durchgefu¨hrten Koloskopien wa¨re bei diesen A¨rzten 14,5%). Umgekehrt wu¨rden 86,5% der A¨rzte gute Qualita¨t liefern mit einer durchschnittlichen Ma¨ngelrate von nur 3,5%. Die Simulationsrechnungen ergeben fu¨r diese Verteilung der Ma¨ngelrate und einer einmaligen Stichprobe der Gro¨ße n ¼ 20 eine Rate falsch-positiver Stichproben von FP ¼ 5,9% und eine Rate falsch-negativer Stichproben von FN ¼ 46,6%. Beide Gro¨ßen sind zu hoch. Grundsa¨tzlich gibt es nun zwei Auswege: entweder eine Vergro¨ßerung des Stichprobenumfangs oder eine (unabha¨ngige) Wiederholung der Stichprobe, z.B. im darauf folgenden Jahr. Eine deutliche Vergro¨ßerung von n widerspricht dem Sinn einer Stichprobe und ha¨tte lediglich einen begrenzten ’’

5. Ergebnisse und Diskussion

ko¨nnte. Die Rate falsch-negativer Stichproben FN hingegen ha¨ngt von der gewa¨hlten Gro¨ße n der Stichprobe ab, das heißt, wie viele der durchgefu¨hrten Koloskopien zufa¨llig ausgewa¨hlt und u¨berpru¨ft werden. Sie kann errechnet werden aus der hypergeometrischen Wahrscheinlichkeit. Zum Beispiel erha¨lt man bei 200 insgesamt durchgefu¨hrten Koloskopien und Stichprobengro¨ßen n ¼ 10, 20 und 40 falsch-negative Raten FN ¼ 34,0%, 10,9% und 0,9%. Das heißt, bei einem noch vertretbaren Aufwand fu¨r die Ziehung der Stichproben von n ¼ 20 wu¨rden immer noch 11% der A¨rzte, die per definitionem die strengen Qualita¨tskriterien nicht erfu¨llen, in der Stichprobe fa¨lschlicherweise nicht auffa¨llig. Dies wa¨re ggf. zu tolerieren, da im Falle von regelma¨ßig wiederholten Stichproben die kumulative Wahrscheinlichkeit fu¨r einen bestimmten Arzt nicht auffa¨llig zu werden schnell gegen Null ginge. Zum Beispiel betra¨gt fu¨r eine zweimalige unabha¨ngige Stichprobe mit jeweils n ¼ 20 FN ¼ 1,2%. Komplexer wird die Situation, wenn, wie in Abschnitt 4 begru¨ndet, eine bestimmte Ma¨ngelrate toleriert werden kann, da dann nicht nur die falsch-negative Rate, sondern auch die falschpositive Rate zu beru¨cksichtigen sind. Unter obiger Annahme einer fu¨r alle A¨rzte gleichen Ma¨ngelrate m von 10%

’’

hierfu¨r ist die Betaverteilung u¨ber einem Intervall [0,1] (entsprechend 0% bzw. 100% Ma¨ngelrate), parametrisiert durch Werte p und q, aus denen Erwartungswert und Varianz berechnet werden. Die resultierende Wahrscheinlichkeitsverteilung fu¨r die Stichprobenergebnisse ergibt sich dann aus einer Faltung aus Betaverteilung und Binomialverteilung, welche die Stichprobenziehung bei einem ausgewa¨hlten Arzt beschreibt. Wenngleich analytische Rechnungen grundsa¨tzlich mo¨glich sind, wurden Computersimulationen durchgefu¨hrt, die es erlauben, auch komplexe Stichprobenszenarien (z.B. mehrstufige Stichprobenziehungen) mit vertretbarem Aufwand zu studieren.

Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 159–164 www.elsevier.de/zefq

ARTICLE IN PRESS

Anteil falsch pos. Ärzte [%]

Testgüte in Abhängigkeit von der Stichprobengröße - falsch-positiv und falsch-negativ Betaverteilung (p=1, q=19) Maximal tolerierbare Mängelrate k = 10% 50%

46,6% 34,9%

40%

30,8% 26,4%

30%

24,4% 20,3%

20% 10%

5,9%

5,2%

4,5%

3,9%

20

40

60

80

3,7%

3,1%

100

140

0% Stichprobengröße falsch-positive Ergebnisse

falsch-negative Ergebnisse

Abb. 2. Rate falsch-positiver und falsch-negativer Ergebnisse in Abha¨ngigkeit von der Gro¨ße einer einstufigen Stichprobe und gegebener Betaverteilung.

Anteil falsch pos. Ärzte [%]

Testgüte in Abhängigkeit von der Stichprobengröße - falsch-positiv und falsch-negativ Betaverteilung (p=1, q=19) Maximal tolerierbare Mängelrate k =10% 100% 80%

67,4% 59,3%

55,9%

0,97%

0,93%

0,80%

20

60

60% 40% 20% 0% 100

Stichprobengröße falsch-positive Ergebnisse

falsch-negative Ergebnisse

Abb. 3. Rate falsch-positiver und falsch-negativer Ergebnisse in Abha¨ngigkeit von der Gro¨ße der konsekutiven Stichprobe einer zweistufigen Stichprobenziehung (1. Stichprobe: 20, k ¼ 10%) und gegebener Betaverteilung.

Effekt, solange man mit n nicht in die – gerade nicht gewu¨nschte – Gro¨ßenordnung einer Vollerhebung kommt. So erha¨lt man fu¨r n ¼ 40 FP ¼ 5,2% und FN ¼ 34,9%, fu¨r n ¼ 60 FP ¼ 4,5% und FN ¼ 30,8% und fu¨r n ¼ 100 FP ¼ 3,7% und FN ¼ 24,4% (Abb. 2). Wenngleich diese Abnahmen gering sind, kann der Effekt genutzt werden, um die Wahrscheinlichkeit einer fu¨r den betroffenen Arzt u.U. mit gravierenden Folgen behafteten falsch-positiven Stichprobe deutlich unter eine tolerable Grenze von 5% zu dru¨cken. Der damit verbundene Mehraufwand ist dann gering, wenn die Erho¨hung der

Stichprobengro¨ße auf diejenigen A¨rzte beschra¨nkt wird, fu¨r die in einer ersten, kleineren Stichprobe bereits ein positives Ergebnis festgestellt wurde. Ein solches zweistufiges Verfahren, bei dem z.B. nach einer ersten Stichprobe mit n ¼ 20 im Falle eines positiven Ergebnisses weitere n ¼ 20 Koloskopien (aus derselben Grundgesamtheit) u¨berpru¨ft werden, reduziert, bei einem Mehraufwand von lediglich 12,3%, die Rate FP von 5,9% auf 0,97%, wa¨hrend die Rate FN von 46,6% auf 67,4% zunimmt. Erho¨ht man nun die Gro¨ße der zweiten Stichprobe, ergibt sich folgendes Bild:

Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 159–164 www.elsevier.de/zefq

Fu¨r n ¼ 60 (zweite Stichprobe) erha¨lt man FP ¼ 0,93% und FN ¼ 59,3% und fu¨r n ¼ 100 FP ¼ 0,80% und FN ¼ 55,9% (Abb. 3). Im Gegensatz zur Rate falsch-positiver Stichproben kann die Rate falsch-negativer Stichproben im Rahmen von Stichprobenpru¨fungen nur wirksam gesenkt werden durch unabha¨ngige Wiederholungen der Stichproben. Unter der Annahme einer zeitlich konstanten Verteilung der Ma¨ngelrate fu¨hrt z.B. eine fu¨nfmalige unabha¨ngige (d.h. bei wechselnder Grundgesamtheit) Stichprobe zu einer dramatischen Reduktion der kumulativen Wahrscheinlichkeit falsch-negativer Stichproben von FN ¼ 46,6% auf 2,1% (jeweils eine Stichprobe, n ¼ 20, k ¼ 10%). Bei der zugrunde gelegten Betaverteilung der tatsa¨chlichen Ma¨ngelrate m ist zu beru¨cksichtigen, dass die Anzahl der A¨rzte mit zunehmender Ma¨ngelrate u¨ber 10% stark abnimmt. Im oben diskutierten Falle eines zweistufigen Stichprobenverfahrens und einer dort tolerierbaren Ma¨ngelrate von jeweils k ¼ 10% sinkt dementsprechend FN von 67,4% bei A¨rzten mit einer tatsa¨chlichen Ma¨ngelrate m von u¨ber 10% auf FN ¼ 42,6%, bei m gro¨ßer 15%. Bei m gro¨ßer 20% bzw. 25% ergibt sich FN ¼ 23,9% bzw. 10,8% (Abb. 4). Um zu pru¨fen, wie robust diese berechneten Werte hinsichtlich der a priori gewa¨hlten Ma¨ngelverteilung sind, wurden Vergleichsrechnungen mit abweichenden Parametern durchgefu¨hrt. Eine Betaverteilung mit p ¼ 0,5 und q ¼ 9,5 fu¨hrt zu einem gro¨ßeren Anteil an A¨rzten, die die Qualita¨tsanforderungen tatsa¨chlich nicht mehr erfu¨llen (16,3%). Die durchschnittliche Ma¨ngelrate dieser A¨rzte wa¨re 17,3%, die durchschnittliche Ma¨ngelrate der A¨rzte mit hinreichender Qualita¨t nurmehr 2,6%. Wird wiederum eine tolerierte Ma¨ngelrate k von 10% zugrundegelegt, erha¨lt man Werte fu¨r FP und FN, die den oben berechneten Werten a¨hnlich sind und die gezogenen Schlussfolgerungen besta¨tigen. Zum Beispiel erha¨lt man fu¨r das zweistufige Stichprobenverfahren FP ¼ 0,72% (statt 0,97%) und FN ¼ 56,7% (statt 67,4%).

163

ARTICLE IN PRESS Testgüte in Abhängigkeit vom Anteil auffälliger Koloskopien - falsch negativ beta-Verteilung (p=1, q=19) 10% auffällige Koloskopien in der Stichprobe werden noch akzeptiert Anteil falsch neg. Ärzte [%]

100% 80%

den, das bei einem moderaten Pru¨faufwand fu¨r die Qualita¨tssicherungskommissionen der Kassena¨rztlichen Vereinigungen eine hinreichende Zuverla¨ssigkeit der Stichprobenpru¨fungen bietet.

67,4%

60%

Finanzierung der Arbeit

42,6% 40%

23,9% 10,8%

20% 0% >10%

>15%

>20%

Diese Arbeit wurde von der Kassena¨rztlichen Bundesvereinigung ohne weitere externe Finanzierung durchgefu¨hrt.

>25%

Ärzte mit einem Anteil von ... auffälliger Koloskopien falsch negative Ergebnisse an allen 'auffälligen' Ärzten

6. Schlussfolgerungen Stichproben erlauben lediglich Wahrscheinlichkeitsaussagen. Im Rahmen der a¨rztlichen Qualita¨tssicherung wird in der Regel die falsch-negative Rate von Stichproben betrachtet, das heißt, die Wahrscheinlichkeit, dass vorhandene Ma¨ngel nicht erkannt werden. Sobald jedoch, wie am Beispiel der Koloskopie begru¨ndet, eine bestimmte in der Stichprobe entdeckte Ma¨ngelrate grundsa¨tzlich zu akzeptieren ist, wird auch die falsch-positive Rate relevant, insbesondere fu¨r den Arzt, der zu unrecht einer mangelhaften Qualita¨t bezichtigt wird und deshalb mit Konsequenzen zu rechnen hat. Die durchgefu¨hrten Berechnungen zeigen, dass einmalige Stichproben in der

Koloskopie zu kaum akzeptablen Werten fu¨r die falsch-positiven und falschnegativen Raten fu¨hren, wenn der Aufwand fu¨r Gutachter und Arzt begrenzt bleiben soll. Falsch-positive Raten ko¨nnen sinnvoll reduziert werden durch ein zweistufiges Verfahren, bei dem, nach einer ersten positiven Stichprobe, weitere Koloskopien aus derselben Grundgesamtheit ausgewa¨hlt werden. Eine deutliche Reduktion der falsch-negativen Rate wird erreicht durch (mehrmaliges) Wiederholen der Stichprobe (insbesondere bei wechselnder Grundgesamtheit) und Betrachtung kumulativer Wahrscheinlichkeiten. Aufgrund der Ergebnisse der durchgefu¨hrten statistischen Analysen zur Gu¨te der einzelnen Stichprobensettings konnte ein Verfahren identifiziert wer-

Jahresbericht DNEbM e.V. vero¨ffentlicht

Der Jahresbericht des Deutschen Netzwerk Evidenzbasierte Medizin e.V. fu¨r das Jahr 2008 ist im Internet unter: http://www.ebm-netzwerk.de/netzwerkarbeit/ images/jahresbericht2008.pdf vero¨ffentlicht

164

Literatur [1] Richtlinie zu Auswahl, Umfang und Verfahren bei Qualita¨tspru¨fungen im Einzelfall nach y 136 Abs. 2 SGB V ( Qualita¨tspru¨fungs’’ Richtlinie vertragsa¨rztliche Versorgung ), Gemeinsamer Bundesausschuss, 18. April 2006. [2] Froehlich F, Wietlisbach V, Gonvers J-J, Burnand B, Vader J-P. Impact of colonic cleaning on quality and diagnostic yield of colonoscopy: the European Panel of Appropriateness of Gastrointestinal Endoscopy European multicenter study. Gastrointest Endosc 2005;61:378–84. [3] Rex DK. Still photography versus videotaping for documentation of cecal intubation: a prospective study. Gastrointest Endosc 2000;51:451–9. [4] Cafazzo JA, Eng P, Theal JJ, Medad I, Rossos PG. Digital video for the documentation of colonoscopy. Gastrointest Endosc 2004;60: 580–4. [5] Voraussetzungen gema¨ß y 135 Abs. 2 SGB V zur Ausfu¨hrung und Abrechnung von koloskopischen Leistungen (Qualita¨tssicherungsvereinbarung zur Koloskopie), Kassena¨rztliche Bundesvereinigung und Spitzenverba¨nde der Krankenkassen, 24. Juli 2006. ’’

Abb. 4. Rate falsch-negativer Ergebnisse in Abha¨ngigkeit vom Anteil auffa¨lliger Koloskopien (m) bei einer zweistufigen Stichprobenziehung (1. und konsekutive Stichprobe: 20, k ¼ 10%) und gegebener Betaverteilung.

Magazin

und wird auf diesem Wege allen Mitgliedern vorgelegt.

dem Jahr 2008 sowie der Gescha¨ftsstelle und dem Vorstand lesen.

Im Jahresbericht ko¨nnen Sie u.a. u¨ber die Ta¨tigkeiten der einzelnen Fachbereiche aus

Z. Evid. Fortbild. Qual. Gesundh. wesen 103 (2009) 159–164 www.elsevier.de/zefq