Qualitätsmanagement einer regionalen Suchthilfeorganisation: EFQM Selbstbewertung
Abstract
Zusammenfassung.Fragestellung: Wie lässt sich das Qualitätsmanagementsystem EFQM (European Foundation for Quality Management) in der Suchthilfe bei unterschiedlichen Einrichtungen einsetzen? Wie beurteilen Mitarbeiter von Suchthilfeeinrichtungen die Qualität ihrer Einrichtungen nach dem EFQM-Modell? Welche Stärken und Folgerungen ergeben sich hinsichtlich einer nachhaltigen Verbesserung der Einrichtungen? Methodik: In einer multiplen Einzelfallstudie wurden die EFQM Qualitätskriterien mit 42 Teilkriterien durch alle Mitarbeitenden von sechs Einrichtungen einer regionalen Suchthilfe beurteilt und in einem Konsensprozess der jeweiligen Einrichtung dokumentiert. Die Ergebnisse wurden visualisiert und auf einem Benchmark-Symposium präsentiert. Die Einrichtungen und die regionale Suchthilfe als Gesamtorganisation entwickelten jeweils Verbesserungsvorschläge für unterschiedliche Qualitätsbereiche. Ergebnisse: Die Akzeptanz des EFQM-Ansatzes durch die Mitarbeiter gemessen an ihrer Beteiligung an den Qualitätsmanagementprozessen betrug 92 %. Die Qualitätsbeurteilung war im Durchschnitt hoch, bei der Präventionseinrichtung und der Tagesklinik am höchsten, während bei der Substitutionseinrichtung und dem Wohnheim für chronisch Abhängige fast durchgängig die niedrigsten Werte erreicht wurden. Sehr positiv wurden in der Regel die „Professionalität“ (Ausbildung, Kompetenzen der Mitarbeiter), die „Kooperationen“, die „Kundenzufriedenheit“ und die „Schlüsselergebnisse“ bewertet. Eher als weniger positiv wurden dagegen die EFQM-Kriterien „gesellschaftliche Verantwortung“ und die „Mitarbeiterzufriedenheit“ eingestuft. Insgesamt wurden mehr als 144 Stärken und 182 Verbesserungen definiert. In einem Benchmark-Symposium wurden die Einrichtungsbefunde transparent dargestellt. Ein strategischer Qualitätsplan wurde mit Stärken (Kompetenz, Vernetzung, Richtlinien) und Verbesserungsvorschlägen (Katamnesen, Öffentlichkeitsarbeit, Innovation) erstellt mit dem Ziel der Nachhaltigkeit und der kontinuierlichen Weiterentwicklung. Schlussfolgerung: Das EFQM-Protokoll wird von Mitarbeitern in Suchthilfeeinrichtungen sehr gut akzeptiert. Durch die EFQM-Selbstbewertung können sowohl Stärken als auch Schwächen in der Qualität von Einrichtungen einer regionalen Suchthilfeorganisation erfasst werden. Vor allem Substitutionseinrichtung und Wohnheime für Abhängige bedürfen einer Weiterentwicklung und intensiven Förderung. Mittels Benchmarking werden die Qualitätsunterschiede der Einrichtungen klarer identifiziert und abgegrenzt. Die Verbesserungsvorschläge als Qualitätspläne erfordern in den nächsten Jahren eine Überprüfung ihrer Umsetzung.
Abstract.Question: How can the EFQM (European Foundation for Quality Management) quality management system be used in a regional addiction treatment service? How do employees of addiction treatment services assess the quality of their services according to the EFQM model? Which strengths and improvements for the quality strategy plan can be identified? Method: Multiple case study, the EFQM quality criteria with 42 criteria parts are assessed and documented by all employees of six services, following a consensus protocol. The results are visualized and presented at a benchmark symposium. The services and the regional addiction treatment service develop a plan for improvement. Results: The acceptance of the EFQM-approach by the employees is very high in terms of their participation in the quality management processes. The quality level in general is high, the highest rating is attributed to the prevention service and the day clinic, a lower rating is given for the substitution services and service for the chronically addicted clients. The “professionalism” (training, competences of the employees), the “co-operations”, the “customer satisfaction” and the “key results” are very positively evaluated. On the other hand, the EFQM criteria “society results” and “employee satisfaction” are rated rather poorly. In total, more than 144 strengths and 182 improvements are specified. The results were presented in a benchmark symposium. A strategic quality plan was generated with strengths (competence, networking, guidelines) and suggestions for improvement (follow-up studies, improvement of public relations, innovation) with the aim to achieve sustainability and continuous improvement. Conclusion: The EFQM protocol is very well accepted by staff. The EFQM self-assessment can capture both strengths and weaknesses of the services. The substitution services and sheltered homes for chronic clients need further improvement. Benchmarking helps to identify quality differences. During the next years the improvement plans require a review to evaluate the implementation.
Einleitung
Das Thema „Qualität“ ist im Gesundheitssystem und in der Suchthilfe seit Jahren aktuell. Fachverbände haben Qualitätsprogramme initiiert, Einrichtungen erheben die Zufriedenheit der Klienten und der Mitarbeiter, Ergebnisse von Interventionen werden systematisch erfasst, die Berufsgruppen haben Qualitätsstandards erstellt und Kostenträger fordern ein Qualitätszertifikat (Schaub & Uchtenhagen, 2013; Teruya, 2012; DHS, 2002; Schubert, 2001). Es gibt erste Studien zum Benchmarking mit dem Ziel, Kriterien und Prozesse für „Best Practice“ zu ermitteln und davon zu lernen (Beurs, Barendregt & Warmerdam, 2017; Nolte, 2010). Dennoch findet man nur wenige Publikationen, die einen praxisnahen Einblick geben zum Vorgehen und zu den Ergebnissen des Qualitätsmanagements in Suchthilfeeinrichtungen. Es fehlt an Transparenz und Austausch über das komplexe Thema Qualität in der Suchthilfe. Die vorliegende Studie zeigt in einer multiplen Falldarstellung, wie von Einrichtungen einer regionalen Suchthilfeorganisation in einem dynamischen Selbstbewertungsprozess die Struktur-, Prozess- und Ergebnis-Qualität entsprechend dem EFQM-Modell erfasst und ein Qualitätsplan zur Weiterentwicklung und Verbesserung der Arbeit der Einrichtung erstellt wurde.
Hintergrund und Theorie
In den achtziger Jahren des letzten Jahrhunderts hat Donabedian (1985) die drei Pfeiler der Qualität für das Gesundheitswesen mit den Qualitätsbereichen Struktur-, Prozess- und Ergebnis-Qualität erstellt. In den Jahren zuvor hat Deming das zirkuläre Prinzip der Qualitätsverbesserung mit den Begriffen Plan-Do-Check-Act (PDCA- oder Deming-Zyklus) bezogen auf Produktionsprozesse in der Industrie mit Erfolg eingeführt (Sokovic, 2010). Der PDCA-Zyklus ist das gängige Handlungsmodell zur Verbesserung der Qualität in Organisationen.
Vor dem Ende des Millenniums rief der Generalsekretär der Europäischen Kommission, Jacques Delors, die führende Manager Europas zusammen, gründete die European Foundation for Quality Management (EFQM), und lancierte das Europäische Modell der integralen Qualität, das EFQM Modell (Malorny, 1999). Zahlreiche namhafte Europäische Firmen, aber auch Organisationen der staatlichen und nicht-staatlichen Verwaltung griffen den EFQM-Ansatz auf. Dabei ging es nicht um eine neue Form der Qualitätskontrolle, sondern vor allem um die Möglichkeit, zusammen mit den Mitarbeitern der Organisationen auf der Basis des EFQM-Modells eine kritische Selbstbewertung (Self-Assessment) der Qualität einer Organisation oder Einrichtung durchzuführen (Dale, 2003). Ziel war dabei, die Stärken und Verbesserungspotentiale der Europäischen Industrie und der Institutionen (Brandt, 2001) zu bestimmen und Nachhaltigkeit (Beständigkeit, Dauerhaftigkeit) und Qualität zu garantieren.
Das EFQM-Modell ist ein offener konzeptioneller Bewertungsrahmen (sog. „non-prescriptive framework“), der die gesamte Organisation in all ihren Facetten umfassen soll. Die einzelnen Qualitätskriterien (siehe Abbildung 1), können den drei Oberbegriffen Struktur-, Prozess- und Ergebnis-Qualität zugeordnet werden. Um die EFQM Qualitätskriterien zu konkretisieren werden für jedes Kriterium Teilkriterien (insgesamt 42) definiert. Für die Durchführung wurde der PDCA-Zyklus weiter entwickelt zur RADAR Logik (Results=Ergebnisse, Approach=Vorgehen, Ansatz, Deployment=Umsetzung, Assessment=Bewertung und Refinement=Verbesserung). Zudem wird mit den EFQM Grundkonzepten der Excellence die Brücke zur Europäischen Vertragswerken und der Vereinten Nationen geschlagen. Dem EFQM Ansatz liegt folgende Prämisse zu Grunde: „Exzellente Organisationen erzielen dauerhafte herausragende Leistungen, welche die Erwartungen aller ihrer Interessengruppen erfüllen oder übertreffen“ (EFQM, 2012; Zink, 1995, Garvin, 1991).
Der EFQM-Ansatz hat nicht das Ziel, Mindeststandards zu definieren und zu überprüfen, sondern beabsichtigt vor allem die Förderung einer Organisationskultur der ständigen Verbesserung und Nachhaltigkeit bei allen Mitarbeitern in allen Abteilungen einer Organisation. Der systematische Vergleich der eigenen Ergebnisse und Vorgehensweisen mit denen von anderen vergleichbaren Organisationen steht dabei im Mittelpunkt (EFQM, 2012; Moeller, 2001; Nabitz & Klazinga, 1999). Der erste Schritt dazu ist die kritische Selbstbewertung mittels der definierten Kriterien des EFQM-Modells. Die Validität der Qualitätskriterien wird als Inhaltsvalidität (Bortz & Döring, 2006) in der Regel vorausgesetzt. Um die Bewertungen zu objektiveren wird ein Konsensurteil gebildet. Der zweite Schritt ist der Vergleich mit anderen Organisationen und letztlich der Vergleich mit den Besten in der Branche. Dieses Vorgehen ist eine anerkannte Methodik des Qualitätsmanagements (Camp, 1989) und wird als Benchmarking „… an opportunity to learn from the experience of other …“ (Love, 2004) bezeichnet. Der dritte Schritt ist der Wettbewerb um den jährlichen nationalen und europäischen Qualitätspreis.
Übersichtsartikel und Studien weisen darauf hin, dass ein umfassender integraler Ansatz wie EFQM mehr bewirkt als einzelne isolierte Qualitätsprojekte (Grol & Wensing, 2015). Durch kontrollierte Effektstudien (Randomised Controlled Trails) wurde im Bereich der Industrie nachgewiesen, dass Organisationen mit einem integralen Qualitätsmanagement erfolgreicher sind als Organisationen, die mit einzelnen Qualitätsprojekten arbeiten wie z. B. mit einer spezifischen Erfolgskontrolle von Produkten (Boulter, Bendell & Dahlgaard 2013; Hendricks & Singhal, 1997). Soweit den Autoren bekannt gibt es noch keine Replikationen der kontrollierten Effektstudien im Gesundheitswesen oder in der Suchthilfe.
Für die Ambulante Suchthilfe initiierte die Koordinationsstelle Sucht des Landschaftsverbands Westfalen Lippe in Nordrhein-Westfalen (LWL) das Landesprojekt Qualitätsmanagement „QM-Projekt LWL“ (Pittrich, Rometsch, & Winkler, 2002). Dessen Ziel bestand darin, die Leistungsfähigkeit der Beratungsstellen zu verbessern und die Mitarbeitenden mit dem Thema „integrale Qualität und ständige Verbesserung“ vertraut zu machen. Dazu wurden die Kriterien des EFQM Modells und die RADAR-Bewertungssystematik vereinfacht und angepasst. Einige wenige Publikationen zeigen, dass sowohl kleinere als auch größere Einrichtungen der Suchthilfe erfolgreich mit dem EFQM Modell arbeiten (Pittrich, Rometsch & Pursche, 2002; Nabitz, Schaefer & Walburg 2006).
Fragestellung
Im der folgenden Studie wird das Qualitätsmanagement von sechs Einrichtungen einer regionalen Suchthilfeorganisation erfasst, dokumentiert und miteinander verglichen. Die folgenden Fragen stehen im Mittelpunkt:
- 1Wie erfolgreich lässt sich das EFQM Modell bei sechs unterschiedlichen Einrichtungen einer regionalen Suchthilfeorganisation durchführen?
- 2Wie beurteilen die Mitarbeiter die Struktur-, Prozess- und Ergebnis-Qualität ihrer Einrichtungen an Hand der Kriterien und Teilkriterien des EFQM-Modells?
- 3Zu welchen Folgerungen hinsichtlich einer Verbesserung der Qualitätskultur und der Nachhaltigkeit kommen die sechs Einrichtungen und die regionale Suchthilfe als Ganzes?
Im Hintergrund stehen Fragen nach der Vergleichbarkeit dieser Einrichtungen und des Nutzens, den diese Einrichtungen aus dem Vergleich mit anderen ziehen können.
Methodik
Design der Studie
Die EFQM-Selbstbewertung in dieser Studie wurde in 2014 durchgeführt. Sie wird als eine multiple Fallstudie dargestellt mit einem standardisierten Ratingsystem der Qualitätskriterien und einem Protokoll zur Durchführung. Fallstudien sind erste Schritte, um die Praktikabilität und Validität des EFQM-Ansatzes nachzuweisen (Yin, 2014). Replikationen und kontrollierte multizentrische Studien zum Qualitätsniveau und über die Wirksamkeit der Qualitätsverbesserung sollten folgen, erfordern aber einen größeren Aufwand an Zeit sowie umfangreiche personellen und materiellen Ressourcen.
Einrichtungen einer regionalen Suchthilfeorganisation
Das umfassende Untersuchungsobjekt dieser Studie ist eine regionale Suchthilfeorganisation mit sechs Einrichtungen (siehe Tabelle 1): Prävention (1), Fachambulanz (2), Tagesklinik (3), Substitutionsambulanz Methadon (4), Substitutionsambulanz Heroin (5) und Wohnheim (6). Die Suchthilfeorganisation wurde 1971 als „Ein-Mann-Stelle“ für alkohol- und medikamentengefährdete Menschen gegründet und entwickelte sich durch Fusionen zur regionalen Suchthilfe mit sechs Einrichtungen. Sie war eine der ersten Organisation, die 1998 an dem „QM-Project LWL“ teilnahm. In der damaligen Beratungsstelle konnte nachgewiesen werden, dass sich die Qualität erfasst mit den EFQM Kriterien über drei Messzeitpunkte (Nabitz, Schaefer & Walburg 2006) verbessert hatte.
Die regionale Suchthilfe hat die Aufgabe, in einer Region qualifizierte und spezialisierte Hilfe bei unterschiedlichster Suchtproblemen anzubieten. Die Zielgruppen sind suchtgefährdete, suchtkranke Menschen und deren soziales Umfeld. Das Hilfeangebot umfasst im Einzelnen Prävention, Erziehungshilfen, ambulante Beratung, Vermittlung, Behandlung, ambulante Rehabilitation, Tagesklinik, Substitution und Betreuung von chronifizierten Klienten. Die klinischen Resultate basieren auf katamnestische Erhebungen (Schaefer et al 2013) und Kasuistiken. Die Einrichtungen erfüllen im Jahr 2014 alle Qualitätsauflagen, z. B. Vorgaben der Leistungsträger und ISO Zertifizierung. Das Qualitätszerifikat wurde von einer autorisierten Beratungsfirma ausgestellt (DIOcert, 2013).
Beurteiler der Qualitätskriterien
Der EFQM-Ansatz wurde den 72 Mitarbeitern zu Beginn der Studie im Vorjahr vorgestellt, bei der Durchführung der EFQM-Selbstbewertung im Herbst waren 59 Mitarbeiter einschließlich der leitenden Mitarbeiter beteiligt. Die Daten beziehen sich auf die Selbstbewertung dieser Mitarbeitenden. Die regionale Suchthilfe hatte zum Zeitpunkt der sechs Konsensus-Workshops 64 Mitarbeiter, das heißt 92 % der Mitarbeitenden haben die EFQM-Selbstbewertung ausgeführt. An dem Benchmark-Symposium nahmen 63 Mitarbeiter und 4 Leistungsträger teil.
Das Ausbildungsniveau der 59 Mitarbeitenden ist sehr hoch (83 % Universitäts- oder Fachhochschulabschluss). Das Durchschnittsalter liegt bei 45 Jahren, 62 % sind Frauen, 11 Jahre ist die mittlere Beschäftigungsdauer. Die Krankenstatistik weist niedrige Fehlzeiten aus (Hahn, 2014). Einzelheiten sind in der Tabelle 1 zu finden.
Erhebungsinstrument: Das Arbeitsbuch
Das Arbeitsbuch „EFQM Diagnose Suchtberatungsstellen“ (Pursche et al 1999) wurde im Rahmen des „QM-Projekts LWL“ von einer Expertengruppe mit dem Ziel zusammengestellt, das Qualitätsniveau einer Einrichtung einfach, schnell und reliabel mittels einer Selbstbewertung zu bestimmen. Für diese Studie wurde das Arbeitsbuch textuell angepasst.
Die 42 Teilkriterien des Arbeitsbuchs erfassen die EFQM-Kriterien und damit die Qualitätsbereiche Struktur-, Prozess- und Ergebnis-Qualität einer Einrichtung. In Tabelle 2 sind die Qualitätsbereiche, die EFQM-Kriterien und die Teilkriterien des EFQM-Modells aufgelistet. Die Ratingsystematik fúr die Struktur- und Prozess-Qualität ist eine 6-stufigen Ordinalskala mit den folgenden Kategorien: (0) wird nicht thematisiert, Mako; (1) wird systematisch entwickelt, Plan; (2) wird systematisch entwickelt und umgesetzt, Do; (3) wird systematisch entwickelt, umgesetzt und evaluiert, Check; (4) wird systematisch entwickelt, umgesetzt, evaluiert und bei Bedarf angepasst, Act, (5) wird entwickelt, umgesetzt, evaluiert, angepasst und integriert, Best Practice. Für die Ergebnis-Qualität gilt ebenfalls ein 6-stufige Ordinalskala jedoch gerichtet auf Ergebnismessungen: (0) wird nicht gemessen; (1) wird systematisch gemessen; (2) wird systematisch gemessen und Ziele werden formuliert; (3) wird systematisch gemessen, Ziele werden formuliert und erreicht; (4) wird systematisch gemessen, Ziele werden formuliert und erreicht mit positivem Trend; (5) seit Jahren Praxis positiver Trend seit 3 Jahren, Best Practice.
Die Ratingsystematik mit den sechs Kategorien des Arbeitsbuches entspricht den Handlungsschritten des PDCA-Zyklus. Die RADAR-Systematik ist davon eine Weiterentwicklung (EFQM, 2003; EFQM 2005). Die Ratings-Systematik des Arbeitsbuches und die RADAR-Systematik haben ihren praktischen Wert bewiesen und haben eine überzeugende Inhaltsvaliditäts sind jedoch noch nicht mit empirischen Studien abgesichert.
Für jedes der 42 Teilkriterien des Arbeitsbuches werden pro Einrichtung die Konsensuswerte der Mitarbeiter in Tabelle 2 dargestellt. Pro Einrichtung und pro EFQM Teilkriterium wurden Mittelwerte berechnet und in der Tabellen und dem Qualitätsnetz abgebildet. Für die Interpretation der Mittelwerte werden fünf Qualitätsniveaus unterschieden:
- 1Niedriges Niveau (Mittelwert: 0 bis 1,4): Struktur- und Prozessqualität sind noch kein Thema in der Einrichtung ist. Die Ergebnis-Qualität wird noch nicht gemessen.
- 2Mittleres Niveau (Mittelwert: 1,5 bis 2,4): Ein systematischer Qualitätsansatz ist vorhanden (Deming-Zyclus „Plan“). Die Ergebnisse werden systematisch gemessen.
- 3Hohes Niveau (Mittelwert: 2,5 bis 3,4): Verbesserungen werden umgesetzt (Deming-Zyclus „Do“). Messungen und Ziele einiger Indikatoren werden definiert und erreicht.
- 4Sehr hohes Niveau (Mittelwert: 3,5 bis 4,4) Ein Evaluationssystem wird nachgewiesen (Deming-Zyclus „Check“). Die Ziele der wichtigsten Indikatoren werden erreicht.
- 5Best Practice Niveau (Mittelwert: 4,4 bis 5,0): Eine sehr hohe Struktur- und Prozessqualität ist vorhanden. Der PDCA-Zyklus ist integriert. Der Trend der wichtigsten Indikatoren ist von drei Jahren positiv. Das Prinzip der Nachhaltigkeit und ständigen Verbesserung wird realisiert.
Die Vergleichbarkeit der Bewertung der verschiedenen Einrichtungen ist durch die Anwendung des EFQM-Protokolls (gleiche Vorgehensweise und gleiche Kriterien) begründet. Dennoch ist nicht auszuschließen, dass es bei stark heterogenen Einrichtungstypen zu unterschiedlichen Bedeutungen kommt, die im Einzelfall diskutiert werden müssen.
Protokoll: Schrittweises Vorgehen
Das EFQM-Selbstbewertungsprotokoll (Pursche, et al, 1999) unterscheidet eine Vorbereitungs-, eine Konsensworkshop- und eine Strategiephase für Verbesserungsvorschläge (siehe Abbildung 2).
In der Vorbereitungsphase wurden eine Informations- und Schulungsveranstaltung mit allen Mitarbeitenden (N = 72) durchgeführt. Danach erhielt jeder Mitarbeitende eine Daten- und eine Dokumentenmappe (Schaefer, 2013). Darin enthalten waren die Ergebnisse der Kunden- und Mitarbeiterzufriendenheit der jeweiligen Einrichtung (Hahn, 2014). Auf der Basis der Dokumentenmappe bewertet jeder Mitarbeitende im Rahmen einer Hausarbeit die eigene Einrichtung an Hand der 10 EFQM-Qualitätskriterien und der 42 Teilkriterien. Der Beurteilungszeitraum umfasste die letzten 12 Monate. Im Anschluss an eine 14-tägige Bearbeitungsfrist folgte die Workshop Phase.
Kernstück des EFQM-Qualitätsmanagements ist der Konsensus-Workshop, an dem insgesamt 59 Mitarbeitende der Einrichtungen teilnahmen (92 % von 64 Mitarbeitern zum Zeitpunkt des Konsensus-Workshops). Die Leitung der Workshops lag bei einem zertifizierten EFQM Assessor. Die individuellen Ratings der 42 Teilkriterien der Struktur-, Prozess- und Ergebnis-Qualität wurden auf einem Poster gesammelt, visualisiert, diskutiert und zu einem Konsenswert zusammengeführt. Die Unterschiedlichkeit der individuellen Bewertungen spielte bei der Diskussion im Konsensus-Workshop eine zentrale Rolle, wurde aber nicht statistisch erfasst. Die dynamische Diskussion über abweichende Bewertungen, unterschiedliche Wertschätzung der Teilkriterien und Kritik bildeten die Basis für die Entwicklung von Verbesserungspotentialen. Das Resultat des Konsensus-Workshops war für jede Einrichtung ein Qualitätsprofil (10 Qualitätskriterien und 42 Teilkriterien), ein grafisches Qualitätsnetz mit den 10 Qualitätskriterien, eine Liste von Stärken und Verbesserungen und ein Qualitätsplan.
In der Strategiephase wurden die Ergebnisse pro Einrichtung dokumentiert (EFQM-Selbstbewertung) und auf dem Benchmark-Symposiums präsentiert. An diesem Symposium nahmen alle Mitarbeitenden (N=63) der Einrichtungen sowie Vertreter der Leistungsträger teil (N=4). Das Benchmark-Symposium diente dazu, Transparenz herzustellen, die Vergleichbarkeit, aber auch die Unterschiedlichkeit zu diskutieren und „Best Practice“ differenziert nach Einrichtungstypen zu identifizieren. Anschließend wurde der strategische Qualitätsplan für die einzelnen Einrichtungen und für die regionale Suchthilfe erstellt mit dem Ziel der Nachhaltigkeit und der kontinuierlichen Verbesserung.
Ergebnisse
Die nachfolgenden Selbstbewertungen in Tabelle 2 sind das Ergebnis der Konsensus-Workshops der einzelnen Einrichtungen (Schaefer et al., 2014). Sie stellen die Datengrundlage dar für das spätere Benchmark-Symposium und für die Folgerungen zur Verbesserung der Suchteinrichtungen.
Qualitätsbewertung der Einrichtungen
Zwei Einrichtungen (Prävention und Tagesklinik) erhalten die höchste durchschnittliche Bewertung von jeweils 4,5 (Maximalwert 5) über alle 42 Teilkriterien (Spannweite: 2,5–5 bzw. 3,0–5). Eine der beiden Substitutionseinrichtungen weist mit 1,7 die durchschnittlich niedrigste Bewertung auf (Spannweite 0,5 bis 4,0), während die andere mit einem Durchschnittswert von 3,5 deutlich günstiger bewertet wird (Spannweite 1,0–5,0).
Zum Qualitätskriterium „Führung (1)“ (Engagement, Moderation, Würdigung, Transparenz) ergeben sich in allen Einrichtungen bis auf eine gute Qualitätseinschätzungen von 3,0 (Wohnheim) bis 5,0 (Präventionseinrichtung). Eine Ausnahme bildet eine der beiden Substitutionsambulanzen mit 1,4, die durchgehend die ungünstigsten Qualitätswerte zeigt.
Bei dem Kriterium „Strategie (2)“ (Leitbild, Kommunikation über Rahmenbedingungen) beurteilt sich die Tagesklinik am besten mit 5,0, während die beiden Substitutionsambulanzen die ungünstigsten Werte erreichen (1,4 bzw. 2,2).
Zum Kriterium „Mitarbeiter (3)“ (Personalplanung, Ziel- abstimmung u. a.) gibt es in keiner Einrichtung die optimale Bewertung 5,0. Eine schwache Bewertung erreicht neben den beiden Substitutionsambulanzen (2 bzw. 2,5) das Wohnheim mit 2,5.
Bei „Partnerschaft und Ressourcen (4)“ (Partnerschaft, materielle Mittel, technischer Informationsfluss, Budgetierung) ergibt sich ebenfalls keine optimale Bewertung, die ungünstige Bewertungen beziehen sich wiederum auf eine Substitutionsambulanz (2,0) und auf das Wohnheim (3,5). Der gleiche Trend ergibt sich bei der Einschätzung der „Professionalität (5)“.
Hinsichtlich der „Prozesse (6)“ (definierte Leistungen, individueller Behandlungsplan, Prozessschemata u. a.) beurteilt sich die Tagesklinik am höchsten mit 5,0, eine Substitutionsambulanz und das Wohnheim am niedrigsten mit 1,7 und 2,5.
Die „Kundenzufriedenheit (7)“ (Zufriedenheit der Klienten, der Leistungsträger und der zuweisenden Stellen) wird am höchsten in der Präventionseinrichtung mit 5,0 geschätzt, deutlich am schlechtesten in der Substitutionsambulanz (1,7).
Bei der „Mitarbeiterzufriedenheit (8)“ (Zufriedenheit mit Arbeitsbedingungen u. Ä. m.) wird in keiner Einrichtung der Maximalwert 5 erreicht (4,5 bis 2,3), am niedrigsten sind die Werte bei den beiden Tageskliniken (1,3 bzw. 2,5) und im Wohnheim (2,3).
Zur „Gesellschaftlichen Verantwortung (9)“ (Überprüfung des Images, Präsenz in den Medien u. a.) wird die höchste Qualitätsstufe in der Präventionseinrichtung erreicht (5,0), während wiederum die Substitutionsambulanzen und das Wohnheim die niedrigsten Werte haben.
Hinsichtlich der „Schlüsselergebnisse (10)“ (Finanzielle Situation, Klientenergebnisse) erhält die Präventionseinrichtung mit 5,0 den höchst möglichen Wert und eine Substitutionsambulanz den deutlich niedrigsten Wert (1,3), die Werte der anderen Einrichtungen liegen zwischen 3,3 und 4,7.
Bei 36 von 42 Teilkriterien kommt es zu einer maximalen oder idealen Bewertung von 5,0. Das heißt, es gibt bezüglich 36 Teilkriterien zumindest eine der sechs Einrichtungen die als „Best Practice“ gelten kann. Im Rahmen des Benchmarks ist die Einrichtung, die auf Niveau 5,0 bewertet wurde, das „gute Beispiel“, der Maßstab oder das Vorbild für die anderen Einrichtungen.
Qualitätsnetz
Sowohl die Konsensbewertungen der einzelnen Einrichtungen als auch der regionalen Suchthilfeorganisation als Ganzes (als Durchschnittswerte aller Einrichtungen) werden grafisch in Form von Qualitätsnetzen abgebildet. Dabei werden die Konsensbewertungen in die fünf Qualitätsniveaus eingeteilt. Aus Gründen der Übersicht wird in Abbildung 3 nur das Qualitätsnetz für die regionale Suchthilfe als Ganzes in diesem Artikel dargestellt. Die EFQM-Kriterien werden in zwei Bereiche aufgeteilt, nämlich in die Bereiche Struktur- und Prozess-Qualität (Führung, Strategie, Mitarbeitende u.a) und in den Bereich Ergebnis-Qualität (Kundenzufriedenheit, Mitarbeiterzufriedenheit u. a.).
Mit Ausnahme des Kriteriums 9 „Gesellschaftliche Verantwortung“ liegen alle Bewertungen der regionalen Suchthilfe auf dem Niveau 3 (Mittelwert 2,5 bis 3,4) oder 4 (Mittelwert 3,5 bis 4,4), also einem hohen oder sehr hohen Qualitätsniveau. Das bedeutet, dass die jeweiligen Qualitätskriterien „systematisch entwickelt, umgesetzt und evaluiert“ (Niveau 3) und bei Niveau 4 auch angepasst (kompletter PDCA-Zyclus) wurden. Das Kriterium 9 „Gesellschaftliche Verantwortung“, erreicht nur Niveau 2 (Mittelwert 1,5 bis 2,4) und befindet sich demnach auf mittleren Niveau.
Die Schritte des PDCA-Zyklus als iterativem Handlungsmodell für das Qualitätsmanagement werden in den Einrichtungen realisiert jedoch mit der Ausnahme von der Substitutionsambulanz Heroin. Alle Strukturkriterien „Führung (1)“, „Strategien (2)“, „Partnerschaft und Ressourcen (4)“, „Mitarbeiter (3)“ wurden als qualitativ hoch bis sehr hoch bewertet, d. h. es wurden dazu jeweils Pläne erstellt, umgesetzt und evaluiert und zum Teil auch angepasst. Bei den Ergebniskriterien fällt auf, dass das schon erwähnte Kriterium „Gesellschaftliche Verantwortung (9)“ niedrig bewertet wurde, was vor allem auf der Schwierigkeit beruht, die gesellschaftliche Relevanz der Suchthilfe konkret zu erfassen und zu messen. Die „Schlüsselergebnisse (10)“ werden dagegen sehr hoch auf Qualitätsniveau 4 bewertet, d. h. die Zielvorgaben werden erreicht und dieser Trend ist seit Jahren positiv. „Kunden- und Mitarbeiterzufriedenheit“ liegen auf Niveau 4 (Mittelwert: 3,4 bis 4,5) und damit ebenfalls recht hoch.
Qualitätspläne: Stärken, Schwächen und Verbesserungspläne
Während der einzelnen Konsensus-Workshops wurden die Stärken, Schwächen und Verbesserungsvorschläge frei formuliert und im Anschluss von der Einrichtungsleitung zusammengefasst. Die Leitung der Einrichtungen entschied über die Priorität der Verbesserungen, erstellte einen Einrichtungsqualitätsplan und präsentierte diesen auf dem Benchmark-Symposium. Dieses war ein erster Versuch, Ergebnisse und Erfahrungen zwischen den Einrichtungen systematisch auszutauschen und miteinander zu vergleichen. Damit wurde ein Dialog zwischen den Einrichtungen angestoßen und ein erster Schritt vollzogen in Richtung Benchmarking. Gleichzeitig wurde ein Impuls gesetzt zur ständigen Verbesserung und Nachhaltigkeit.
Die sechs Einrichtungen der regionalen Suchthilfeorganisation benannten 144 Stärken und 182 Schwächen, die gleichzeitig als Verbesserungenvorschläge formuliert wurden. Kleine Einrichtungen formulierten 15 Stärken, eine große Einrichtung gab 52 Stärken an. Kleine Einrichtungen spezifizierten 14 Verbesserungen und große Einrichtung mehr als 65 (siehe Tabelle 3).
Die Präsentationen der einzelnen Einrichtungen waren auch der Ausgangspunkt für den Qualitätsplan der regionalen Suchthilfeorganisation als ganzes. Dabei wurden sechs Stärken, z. B. „Hohe Kompetenz“, „Gute Vernetzung im Hilfesystem“ genannt und acht Verbesserungen geplant wie z. B. „Katamnesen“, und „Darstellung in der Öffentlichkeit“. Die Details sind in der Tabelle 3 Qualitätspläne dargestellt.
Jede Einrichtung bestimmte neben dem Veränderungsplan auch ihr eigenes Motto für die nächsten Jahre. Für die regionale Suchthilfeorganisation als Ganzes lautet das Motto „Gemeinsam finden wir Lösungen“. Die Ergebnisse wurden in einem Kompendium zusammengefasst (Nabitz, 2014).
Diskussion
In den nächsten drei Abschnitten werden die Ergebnisse zu den drei Fragestellungen der Studie diskutiert. Danach werden einige methodische Probleme angesprochen.
Durchführbarkeit, Akzeptanz und Praktikabilität des EFQM-Ansatzes
Die Durchführung der Studie hat gezeigt, dass die Anwendung des EFQM-Ansatzes für die umfassende Qualitätsbewertung von Einrichtungen auch im Suchtbereich praktikabel ist und von den Mitarbeitern der Einrichtungen sehr gut angenommen wird, was die hohe Akzeptanz in den einzelnen Phasen zeigt. Im Vergleich zu Evaluationsstudien über Therapieergebnisse, die in der Regel weitgehend unabhängig von den Mitarbeitern erfolgen, ist dieser Qualitätsansatz viel umfassender und bezieht die Mitarbeiter in weitaus höherem Ausmaß in die Beurteilung mit ein. Das große Engagement und die hohe Akzeptanz der Mitarbeiter kommen indirekt über die hohe Beteiligungsquote von mehr als 90 % zum Ausdruck. Das bedeutet aber nicht, dass Evaluationsstudien überflüssig sind, sondern sie produzieren Schlüsselergebnisse, die in die Qualitätsbeurteilung einfließen.
Im Vergleich zu den meisten Qualitätssystemen, wie zum Beispiel ISO (International Standardization Organization) oder KTQ (Kooperation für Transparenz im Gesundheitswesen) stellt der EFQM Ansatz die kontinuierliche Verbesserung durch Wiederholung des PDCA-Zyklus und die Nachhaltigkeit des Qualitätsmanagements in den Vordergrund. Es werden dabei keine Mindeststandards gefordert und überprüft, sondern es wird die Verantwortlichkeit aller Mitarbeiter für die Qualität der Einrichtung eingefordert. Die klassischen Ansätze der Qualitätserfassung richten sich bevorzugt auf eine Qualitätskontrolle durch externe Auditoren, wodurch sehr leicht eine Gegenüberstellung in „Wir“ die Mitarbeitenden und „Ihr“ die Kontrolleure (Schuler – Lehrer, Lehrling – Meister) entstehen kann, was die Motivation aller Beteiligten hemmen kann und die Verantwortlichkeit zur Verbesserung eher behindert. Unabhängig von dieser Methodik ist jedoch die Vermittlung durch die Person ein entscheidender Faktor, wie wir aus Meta-Analysen über Einflussfaktoren bei edukativen Maßnahmen (Hattie, 2013) wissen.
Bewertung der Qualität der Einrichtungen
Die relativ hohe Struktur-, Prozess- und Ergebnisqualität der Einrichtungen und der regionalen Suchthilfeorganisation wird durch eine Reihe von unabhängigen Außenkriterien bestätigt. So erfüllen die Einrichtungen seit Jahren alle Vorrausetzungen, Vorgaben und Aufträge der Leistungsträger, siehe Tabelle 1. Die sehr hohen Werte der Präventionseinrichtung, die als „Best Practice“ bezeichnet werden kann, werden durch Preise und Auszeichnungen für die Präventionsarbeit belegt.
Die Selbstbeurteilung der Qualität weist auch auf klare Defizite hin, vor allem in den Einrichtungen der Substitutionsbehandlung und dem Wohnheim für chronisch Abhängige. Diese Defizite bei der Substitution sind nicht neu und werden durch Evaluationsstudien bestätigt (Wittchen et al 2011). Defizitär sind in der Methadon-Substitutionsambulanz alle Qualitätsbereiche, während in der Diamorphin-Ambulanz bis auf die Qualitätskriterien „Strategie“ (Leitbild, Informationen über Klienten, dynamische Prozesse) und „Mitarbeiterzufriedenheit“ (Arbeitsbedingungen und Zufriedenheit der Mitarbeiter) akzeptable Qualitätswerte erreicht werden. Eine ebenfalls niedrige Qualitätsbeurteilung wurde dem Wohnheim gegeben, wobei besonders die „gesellschaftliche Verantwortung“ und das „Qualitätssystem“ der Einrichtungen als ungünstig bewertet wurden.
Verbesserungspläne
Die meisten Verbesserungsvorschläge kommen von der Fachambulanz, auch wenn man die Zahl der Mitarbeiter berücksichtigt. Unter den Vorschlägen wird auch die Erhebung von Katamnesen genannt, deren Auswertung wegen deren unterschiedliche Patientengruppen und Behandlungsangeboten (siehe Tabelle 1) nicht einfach sein wird, aber gerade deshalb einer evaluativen Untersuchung bedarf. Neben den spezifischen Vorschlägen für jede Einrichtung wurden im Rahmen des Benchmarkings acht allgemeine strategische Pläne formuliert, die für die Zielvereinbarung der regionalen Suchhilfeorganisation mit den Leistungsträgern Eingang finden werden.
Entscheidend ist natürlich die offen Frage, was von den Verbesserungsideen in den Einrichtungen wie umgesetzt wird. Dazu können hier keine Aussagen gemacht werden. Eine weitere EFQM Selbstbewertung als Fortsetzung des PDCA-Zyklus oder eine entsprechende Evaluationsstudie könnten darüber Aufschluss geben.
Methodische Probleme und Forschungsbedarf
Untersuchungsdesign und Aussagekraft
In dieser Studie sind die sechs Suchthilfeeinrichtungen die Untersuchungsobjekte, sowohl als Einzeleinrichtungen als auch als regionales Suchthilfesystem insgesamt. Diese Einrichtungen sind die Komponenten einer regionalen Suchthilfe und stellen eine Vollerhebung dar; sie sind insofern nicht selektiv ausgewählt, stellen jedoch hinsichtlich der Population von allen Suchthilfeeinrichtungen in der Bundesrepublik eine selektive Auswahl dar. Ergebnisse können daher nicht generalisiert werden, sondern haben exemplarischen Charakter bezüglich des jeweiligen Einrichtungstyps beschränkt auf den ambulanten und tagesklinischen Bereich der Suchthilfe.
In der Evaluationsforschung und in den Organisationswissenschaften wird von einem positiven Befund auf Grund einer Single Case oder Business Case Studie gesprochen (Zikmund, 1988). Gut dokumentierte Fallstudien machen Aussagen über die erfassten Einrichtungen, darüber hinaus gehende Folgerungen sind im Einzelnen zu diskutieren.
Studien zum Qualitätsmanagement, die sich mit dem Erfolg der vorgeschlagenen Verbesserungen beschäftigen, sind selten und deshalb dringend notwendig. Umfangreiche experimentelle Studien, die als randomisierte kontrollierte Studie in der Industrie durchgeführt wurden (Boulter, Bendell & Dahlgaard 2013; Hendricks & Singhal, 1997) sind nicht ohne weiteres auf das Gesundheitswesen übertragbar, könnten aber für das Gesundheitswesen ein Anstoß sein, um neue Formen von Effektstudien zu entwickeln.
Erhebungsinstrument
Die Qualitätsbewertung in dieser Studie wurden mit dem Arbeitsbuch EFQM Selbstbeurteilung ausgeführt, abgeleitet von dem Arbeitsbuch EFQM Diagnose Suchtberatung (Pursche et al, 1999). Die Rolle der Teilkriterien für die 10 Qualitätskriterien des EFQM-Modells ist empirisch-statistisch ungeklärt und konnte wegen der zu kleinen Stichprobe von Einrichtungen hier auch nicht überprüft werden. Dazu ist eine größere Einrichtungsstichprobe erforderlich. Die 10 Qualitätskriterien und 42 Teilkriterien haben zunächst eine Inhalts- und Konstruktvalidität (s. Bortz & Döring, 2006). Bislang wurde keine wissenschaftliche Analyse des Arbeitsbuches durchgeführt. Gestützt und begründet wird Reliabilität und Validität der Daten hauptsächlich durch das Konsensprinzip.
Selbstbewertung
Die Bewertungen der 42 Teilkriterien durch 59 Mitarbeiter bilden in dieser Studie die Datenbasis. Die Methode der Selbstbewertung kann leicht zu einer Verzerrung zugunsten positiver Ergebnisse führen. Kritische Bewertungen sind manchmal nicht erwünscht, weil es dadurch zu negativen Reaktionen bei den Leistungsträgern kommen könnte. Das Prinzip des Konsensus kann einerseits verzerrte Sichtweisen ausgleichen, andererseits aber auch zu besonders erwünschten Einschätzungen beitragen. Dennoch gelten die Bewertungen eines Konsensus-Workshop als die beste Abbildungen der tatsächlichen Qualität der Einrichtungen. Dieses Vorgehen ist im EFQM Ansatz gängig und hat sich vielfach bewährt (EFQM, 2003b).
Benchmarking
Ein häufig vorgebrachter Einwand gegen ein Benchmarking verschiedener Therapieeinrichtungen ist, dass die untersuchten Einrichtungen nicht vergleichbar seien. Eine Alternative durch experimentelle Effektstudien wird durch das Problem der Randomisierung und durch die Vielfalt möglicher Einflussfaktoren sehr erschwert. Deshalb ist der experimentelle Ansatz zum Qualitätsmanagement im klinischen Bereich mit einem vertretbaren Aufwand kaum machbar.
Im Benchmarking werden die Einflussfaktoren durch eine einheitliche Definition der Qualitätskriterien und einem Protokoll kontrolliert. Die Patientenselektion kann dennoch einen erheblichen Einfluss auf die Qualitätskriterien haben. Ein standardisiertes Konsensverfahren garantiert dann am ehesten, dass durch eine abgewogene Bewertung ein objektives Rating zu Stande kommt. Wenn die Qualitätskriterien in gleicher Weise erfasst werden, und ein Konsensusverfahren zur Beurteilung angewandt wird, können Einrichtungen zunächst als grundsätzlich vergleichbar angesehen werden, auch wenn bei näherer Analyse sich herausstellen sollte, dass die Unterschiede auf Selektionsprozesse zurückzuführen sind oder erhebliche Strukturunterschiede zwischen den Einrichtungen bestehen (Müller-Fahrnow, 2002). Die Folgerung ist, dass die ausgewählten Einrichtungen in dieser Studie bezüglich der EFQM Kriterien bedingt vergleichbar sind. Bei größeren Stichproben von Einrichtungen könnten verstärkt Gruppen mit gleichen Einrichtungstypus gebildet werden, so dass die Vergleichbarkeit verbessert wird.
Schlussfolgerung
Diese Studie zeigt, dass eine EFQM-Selbstbewertung von verschiedenen Einrichtungen der regionalen Suchthilfe zu validen und hilfreichen Ergebnissen führt und ein hohes Niveau der Struktur- Prozess- und Ergebnisqualität der Einrichtungen belegt. Durch die Anwendung des gleichen Erhebungsinstrumentes und des gleichen Protokolls zum Vorgehen werden Stärken und Qualitätsprobleme bezüglich der 42 Teilkriterien der Einrichtungen sichtbar. Zudem entwickelt der Konsensus-Workshop bei den Mitarbeitern eine Basis für Eigenverantwortung zur Qualitätsverbesserung in ihren Einrichtungen.
Das standardisierte und transparente Vorgehen erlaubt auch einen ersten Schritt in Richtung Benchmarking, wodurch Maßnahmen der Qualitätsverbesserung identifiziert, diskutiert und geplant werden, deren Auswirkungen in dieser Studie jedoch offen bleiben muss. Zur Abklärung der Qualitätsverbesserung ist entweder eine weitere Durchführung einer EFQM-Selbstbewertung oder eine Evaluationsstudie erforderlich.
Schlussfolgerungen für die Praxis
- •Eine EFQM-Selbstbewertung fördert die Akzeptanz und das Engagement der Mitarbeiter für das Thema Qualität mehr als eine Qualitätskontrolle oder eine wissenschaftlichen Evaluationsstudie.
- •Die Qualitätsbewertung der Einrichtungen regionale Suchthilfe erreicht hohe Werte insbesondere bei der Präventionseinrichtung und der Tagesklinik, die als „Best Practice“ gelten können.
- •Vor allem die Substitutionseinrichtungen, aber auch das Wohnheim für chronisch Abhängige, bedürfen fortgesetzter intensiver Förderung der Qualität.
- •Die Ergebnisse dieser Studie sollten in anderen Studie mit vergleichbaren Einrichtung repliziert werden.
- •Im Anschluss an eine EFQM-Selbstbewertung sind die nächsten Schritte die Durchführung der Qualitätspläne und die Überprüfung ihrer Umsetzung.
Danksagung
Ein besondere Dank gilt den Mitarbeitenden der sechs Einrichtungen (1. Prävention = Einrichtung update; 2, Fachambulanz = Fachambulanz Sucht im Wingert, 3. Tagesklinik = Klinik im Wingert, 4. Substitutionsambulanz Methadon = Substitutionsambulanz Heerstrasse, 5. Substitutionsambulanz Heroin = Diamorphinambulanz, 6. Wohnheim = stationäre Wohneinrichtung für chronische Alkoholabhängige Villa Noah) der Ambulanten Suchthilfe Bonn, dem Caritasverband für die Stadt Bonn e. V. sowie dem Diakonischen Werk Bonn und Region – gemeinnützige GmbH für die Unterstützung und Finanzierung.
Die Transparenz und Offenheit der Einrichtungen und der regionalen Suchthilfeorgnnisation Bonn bezüglich der detaillierten Darstellung der Einrichtungen (Factsheet Tabelle 1) und der Qualitätsbewertung (Tabelle 2) verdient besondere Anerkennung. Diese Form des Informationsaustauschs ist vorbildlich und eine wesentlicher Beitrag um die Qualität der Suchthilfe ständig zu verbessern.
Literatur
(2017). Behandeluitkomsten. Bron voor kwaliteitsbeleid in de GGZ. Amsterdam: Boom
(2013). „Total quality beyond North America: A comparative analysis of the performance of European Excellence Award winners”. International Journal of Operations & Production Management, 33 (2), 197–215.
(2006). Forschungsmethoden und Evaluation. (4. Aufl.). Heidelberg: Springer.
(2001).
Qualitätsmanagement Gesundheitsförderung im Krankenhaus . Handbuch zur EFQM-Einführung. Neuwied: Luchterhand.(1989). Benchmarking: The Search for Industry Best Practices That Lead to Superior Performance. Milwaukee, Wisconsin: ASQ Quality Press
(2003). Managing Quality. Oxford: Blackwell Publishing.
DHS (2002). Qualitätsentwicklung und Dokumentation in der Suchtkrankenhilfe. Hamm: DHSDonabedian ,A (1985). Exploring in Quality Assessment and Monitoring. (Vol I,II,III). Ann Arbor, Michigan: Health Administration Press.DIOcert (2013). Auditbericht Erstzertifizierung. Klinik Im Wingert. Mainz: DIOcert.EFQM (2012). EFQM Excellence Modell. Frankfurt: EFQM Brussels Representative Office und Deutsche Gesellschaft für Qualität e. V. DGQ.EFQM (2003b). Excellence bewerten. Eine praktische Anleitung für erfolgreiche Entwicklung, Umsetzung und Review einer Selbstbewertungsstrategie für Ihre Organisation. Frankfurt: EFQM Brussels Representative Office und Deutsche Gesellschaft für Qualität e. V. DGQEFQM (2005). Excellence bestimmen. Eine Fragebogen-Methode. Frankfurt: EFQM Brussels Representative Office und Deutsche Gesellschaft für Qualität e. V. DGQ Frankfurt.(1991). How the Baldrige Award really works. Harvard Business Review, 69(6), 80–95.
(2015). Implementatie: Effectieve verbetering van de patientenzorg. Springer Media B. V.
(2014). Ambulante Suchthilfe Gesamtauswertung: Kunden- und Mitarbeiterbefragung. Bonn: ASH
(2013). Lernen sichtbar machen. Baltmannsweiler: Schneider
(1997). Does implementing an effective TQM program actually improve operating performance? Empirical evidence from firms that have won quality awards. Management Science, 43, 1258–1274.
(2004).
Benchmarking . In: Dale B. G. Managing quality. Oxford: Blackwell Publishing.(1999). TQM Umsetzen. Stuttgart: Schaffer-Poeschel Verlag.
(2001). The EFQM Excellence Model. German experiences with the EFQM approach in health care. International Journal for Quality in Health Care, 13, 45–49.
(2002). Sucht-Rehabilitation in Deutschland: Bestandsaufnahme und Perspektiven. Frankfurt a. M.: DRV Schriften
(2006). EFQM Qualitätsmanagement: Einzelfallstudie in einer Beratungsstelle. Sucht, 52 (1), 35–47.
(2014). EFQM Selbstbewertung ASH. Berichte der Workshops. Bonn. Ambulante Suchthilfe.
(1999). EFQM approach and the Dutch Quality Award. International Journal of Health Care Quality Assurance, 12, 65–70.
(2010). International benchmarking of healthcare quality. A review of the literature. Santa Monica: Rand publication
(2002). EFQM in der Ambulanten Suchtkrankenhilfe. Konzepte, Analysen, Praxisbeispiele. Münster: Landschaftsverband Westfalen Lippe.
(2002). QM Modellprojekt. Qualitätsmanagement in der ambulanten Suchtkrankenhilfe NW. Münster: Landschaftsverband Westfalen Lippe.
(1999). Arbeitsbuch EFQM Diagnose SB. Münster: Landschaftsverband Westfalen-Lippe.
(2013). Gemeinsam finden wir Lösungen. Jahresbericht 2013. Bonn: Caritas-Verband Bonn und Diakonische Werk Bonn und Region
(2014). Gemeinsam finden wir Lösungen. Jahresbericht 2014. Bonn: Caritas-Verband Bonn und Diakonische Werk Bonn und Region
(2013). Building an European consensus on minimum quality standards for drug treatment, rehabilitation and harm reduction. European Addiction Research, 19, 314–324.
(2001). Qualitätsmanagement im Gesundheits- und Sozialwesen. Neuwied: Luchterhand.
(2010), Quality Improvement Methodologies – PDCA Cycle, RADAR Matrix, DMAIC and DFSS. Journal of Achievements in Materials and Manufacturing Engineering 43(1), 476–483.
(2012). Assessing the quality of care for substance use disorder conditions – implications for the State of California. Los Angeles: UCLA Integrated Substance Abuse Programs.
(2011). Effekte der langfristigen Substitution Opioidabhängiger: Prädiktoren, Moderatoren und Outcome. Ergebnisse und Schlussfolgerungen der PREMOS-Studie (Predictors, Moderators and Outcome of Substitution Treatment). Suchtmedizin 13, Sonderheft, 198–299.
(2014). Case Study Research: Design and Methods. 5th Edition. Thousands Oaks California: Sage Publications.
(1988). Business Research Methods. New York: The Dryden Press.
(1995). TQM als integratives Managementkonzept. Das Europäische Qualitätsmodell und seine Umsetzung. München: Carl Hanser Verlag.
