Wirkung und Wirksamkeit in der Eingliederungshilfe – ein Vorgehen für die Praxis

Mit der Einführung des Bundesteilhabegesetzes ist eine umfangreiche und lebhafte Debatte über die Möglichkeiten der Erfassung von Wirkung und Wirksamkeit in der Eingliederungshilfe entstanden (vgl. u. a. Boecker & Weber, 2021; Tornow, 2019, 2022). Mit der Veröffentlichung von Eckpunkten zu diesem Thema durch den Deutschen Verein (vgl. Deutscher Verein für öffentliche und private Fürsorge, 2022) wurde versucht, diese Diskussion zu bündeln. Da die Umsetzung der im Gesetz festgeschriebenen Wirkungskontrolle und auch die Überprüfung der Wirksamkeit von Leistungen durch die Bundesländer erfolgt, wird dort aktuell in den Verhandlungen der Rahmenverträge festgehalten, wie zukünftig mit diesem Thema umgegangen werden soll. Schon jetzt ist absehbar, dass die Regelungen sehr unterschiedlich sein werden und zum Teil auch Wirkung und Wirksamkeit im eigentlichen Sinne nicht wirklich in den Blick nehmen (vgl. Weber, Löwenhaupt & Bartsch, 2022). Insofern erscheint es sinnvoll, wie Tornow (2022) in einem Beitrag im Nachrichtendienst des Deutschen Vereins fordert, nun zügig von den Diskussionen in die konkrete Umsetzung in der Praxis zu kommen. Dieser Beitrag will dazu Vorschläge unterbreiten. Zuvor werden noch einige begriffliche und konzeptionelle Aspekte geklärt, da diese Auswirkungen auf die praktische Umsetzung haben.

Vier Klärungen zu Beginn

Wirkung und Wirksamkeit können nicht getrennt voneinander betrachtet werden.

Beschäftigt man sich mit den Begriffen Wirkung und Wirksamkeit, so lohnt sich ein erster Blick auf deren Definitionen. Auch wenn die Begriffe im Bundesteilhabegesetz nicht weiter bestimmt sind, gibt es hilfreiche Definitionen in der sozialwissenschaftlichen Literatur, insbesondere zur Evaluation, die herangezogen werden können.

Wirkung meint „eingetretene Veränderungen oder Stabilisierungen bei den Zielgruppen eines (…) Programms [oder auch Leistung bzw. Angebot, Anm. d. Verf.] (…), die ursächlich auf dieses Programm zurückgehen.“
Balzer & Beywl, 2015, S. 192

In dieser Definition sind zwei Aspekte zentral: Um von einer Wirkung sprechen zu können, muss in einem ersten Schritt eine Veränderung oder Stabilisierungen bei den Personen, die an der Leistung oder dem Angebot teilnehmen, nachgewiesen werden. Zum Zweiten muss aber auch ein Nachweis des sogenannte kausalen Mechanismus erbracht werden: Die gefundenen Veränderungen oder Stabilisierungen gehen auf das Angebot oder die Leistung im ursächlichen Sinne zurück und wurden nicht durch andere Faktoren bedingt. Auch wenn in den Debatten innerhalb der Sozialen Arbeit und der Eingliederungshilfe immer wieder versucht, wird diese notwendige Bedingung in Abrede zu stellen, so ist sie doch zwangsläufig Bestandteil der Definition von Wirkung. Dies hat zur Folge, dass eine Befassung mit Wirkung und Wirksamkeit in der Praxis Aussagen zu diesem kausalen Mechanismus zwingend notwendig macht.

Doch was versteht man nun unter dem Begriff Wirksamkeit?

Unter Wirksamkeit wird der „Grad, zu dem ein Programm erwiesenermaßen bestimmte Wirkungen auslöst, die in seinen Zielen anzustrebend vorgegeben sind“ (EvalWiki, 2015) verstanden.

Hier ändert sich die Perspektive: Während sich der Begriff der Wirkung auf einzelne Personen richtet, betrachtet Wirksamkeit das Programm bzw. eine Leistung oder ein Angebot insgesamt. Dabei wird geprüft, in welchem Ausmaß die Personen von bestimmten Wirkungen profitieren.

Innerhalb der Diskussion in der Eingliederungshilfe hat sich bisher durchgesetzt, dass der Begriff der Wirkung auf der individuellen Ebene verortet wird. Der Begriff der Wirksamkeit ist dagegen im Vertragsrecht und somit zwischen dem Träger der Eingliederungshilfe und dem Leistungserbringer angesiedelt. Durch diese rechtlich bedingte Trennung werden beide Bereiche inzwischen auch konzeptionell getrennt voneinander diskutiert.

Was aber nicht so sein darf, denn: Eine Aussage über die Wirksamkeit einer Leistung setzt zwingend voraus, dazu auch die Wirkung der Leistung bzw. des Angebotes bei den leistungsberechtigten Personen zu betrachten. Wirkung und Wirksamkeit hängen also immer zusammen! Das zeigt sich auch in der oben dargestellten Definition von Wirksamkeit und es ist erfreulich, dass dieser Sachverhalt in den Eckpunkten des Deutschen Vereins auch so festgehalten wurde (vgl. Deutscher Verein für öffentliche und private Fürsorge, 2022, S. 10). Dies bedeutet im Umkehrschluss, dass die Leistungserbringer mit ihrer Leistung bzw. ihrem Angebot immer auch einen Einfluss auf die Wirkungen bei der leistungsberechtigten Person haben und im Idealfall dafür (mit)verantwortlich sind, dass diese entstehen.

Zielerreichung ist noch keine Wirkung

In der Debatte wird zudem immer wieder argumentiert, dass Zielerreichung einer Wirkung gleichzusetzen wäre. Dies ist nicht so! Die Zielerreichung ist Voraussetzung dafür, dass eine potentielle Wirkung überhaupt entstehen kann. Wenn sich aber, etwa im Gesamtplanverfahren, zeigt, dass zuvor vereinbarte Ziele erreicht wurden, dann kann zunächst lediglich von einem Effekt gesprochen werden. Ein Effekt liegt also vor, wenn Veränderungen oder Stabilisierung eintreten, die den zuvor definierten Zielen einer Leistung oder eines Angebotes entsprechen (vgl. Ottmann & König, 2018, 2019a, 2023). Noch nicht geklärt ist hier aber die Frage nach dem kausalen Mechanismus: Wurde das Ziel tatsächlich ursächlich durch die Leistung der Eingliederungshilfe erreicht? Oder sind andere Faktoren für die Zielerreichung verantwortlich, z. B. eine Unterstützung aus dem sozialen Umfeld?

Aus diesem Grund können Zielerreichung und Wirkung nicht gleichgesetzt werden. Vielmehr sollte bei der Überprüfung von Zielen in der Bedarfsermittlung oder im Gesamtplan immer die Frage gestellt werden, wie dieses Ziel erreicht wurde, also welche Aspekte dafür ausschlaggebend waren. Dies kann etwa im Rahmen einer Wirkungsplausibilisierung geschehen, wie wir später in diesem Beitrag noch aufzeigen werden.

Qualität und Wirkung sind zwei getrennte Resultate der Eingliederungshilfe

Eine weitere Vermischung von Begriffen in der aktuellen Debatte zeigt sich bei den Begriffen Qualität und Wirkung bzw. Wirksamkeit, vor allem dort, wo der Begriff der Ergebnisqualität mit der Wirkung gleichgesetzt wird. Eine solche Formulierung findet sich auch in den Eckpunkten des Deutschen Vereins. Doch so wie Zielerreichung nicht gleich Wirkung ist, ist auch Ergebnisqualität nicht gleich Wirkung. Dies hängt zum einen wiederum mit dem vorauszusetzenden kausalen Mechanismus zusammen; zum anderen werden bei der Untersuchung von Ergebnisqualität nicht nur Veränderungen oder Stabilisierungen betrachtet, sondern es können auch andere Aspekte untersucht werden, wie etwa das Erreichen eines bestimmten Zustands, ohne auf die vorherige Veränderung einzugehen.

In diesem Sinne argumentiert Bleck (2016) ebenfalls, dass Qualität und Wirkung zwei getrennte Resultate Sozialer Arbeit sind, bei denen es durchaus Überschneidungen geben kann. Trotzdem sollte man in der Diskussion die Begriffe Ergebnisqualität und Wirkung nicht synonym verwenden.

Darüber hinaus greift es, wie in manchen Bundesländern aktuell vorgesehen, zu kurz davon auszugehen, dass bei nachgewiesenem Vorliegen von Struktur- und Prozessqualität automatisch auch Wirkungen entstehen (vgl. Weber et al., 2022).

Der Kontext muss immer mitbetrachtet werden

Leistungen der Eingliederungshilfe finden immer in der sozialen Realität statt. Neben der Leistung der Eingliederungshilfe existieren somit stets auch weitere Kontextfaktoren, die einen Einfluss darauf haben (können), dass eine Wirkung bei der leistungsberechtigten Person entsteht oder eben auch nicht. Dies muss bei der Betrachtung von Wirkung und Wirksamkeit in der Eingliederungshilfe immer mitbedacht werden!

Gerade deshalb eignet sich der Ansatz der Realistic Evaluation (vgl. Pawson & Tilley, 1997) als sehr passendes Grundverständnis bei der Wirkungs- und Wirksamkeitsbetrachtungen in der Eingliederungshilfe. In diesem Ansatz wurde festgehalten, dass eine Wirkung (Outcome) immer durch einen Mechanismus (in unserem Fall die Leistung der Eingliederungshilfe) und dem Kontext entsteht (sog. KMO-Konfiguration). Die Tatsache, dass weitere Faktoren einen Einfluss auf die Erzielung einer Wirkung haben, spielt auch dann eine Rolle, wenn eine Analyse ergibt, dass eine Leistung der Eingliederungshilfe nicht wirksam ist. In solchen Fällen könnten beispielsweise bestimmte Kontextfaktoren nicht vorhanden sind, die neben der Leistung selbst eine Mitvoraussetzung für die Entstehung bestimmter Wirkungen darstellen.

Wie kann ein Vorgehen in der Praxis aussehen?

Nach diesen wichtigen Klärungen skizzieren wir nachfolgend ein Vorgehen für die Praxis. Hierbei unterscheiden wir zwischen der Wirkungskontrolle auf der individuellen Ebene und der Analyse der Wirksamkeit von Leistungen und Angeboten. Bei letzterer gehen wir vor allem auf die Rolle der Leistungserbringer ein. Am Ende dieses Abschnittes wird ein Vorschlag vorgestellt, wie es gelingen kann, diese beiden Perspektiven der Wirkung und der Wirksamkeit zu einer gemeinsamen Bewertung einer Leistung der Eingliederungshilfe vereinen zu können.

Wirkungskontrolle auf individueller Ebene: Wirkungsplausibilisierung mitdenken!

Wie oben bereits angedeutet, reicht es nicht aus, auf individueller Ebene nur die Zielerreichung zu überprüfen. Neben der Frage, ob die in der Bedarfsermittlung vereinbarten Ziele erreicht wurden, sollte deshalb auch eine sog. Wirkungsplausibilisierung (vgl. Balzer, 2012; Balzer & Beywl, 2015) durchgeführt werden. Die Methode der Wirkungsplausibilisierung kann genutzt werden, wenn ein empirisch aufwändiger Wirkungsnachweis mit Vergleichs- bzw. Kontrollgruppen nicht möglich ist.

Wenn die angestrebten Ziele erreicht worden sind sollte daher immer auch geklärt werden, ob dies auf die Leistung bzw. das Angebot der Eingliederungshilfe zurückgeführt werden kann oder ob es noch andere Faktoren gibt, durch die das Ziel erreicht wurde. Diese Fragen können in ein Gespräch mit der leistungsberechtigten Person gut integriert werden. Von einer plausibilisierten Wirkung kann dann gesprochen werden, wenn aufgrund der Einschätzungen davon auszugehen ist, dass die Ziele überwiegend deswegen erreicht wurden, weil die Leistung der Eingliederungshilfe in Anspruch genommen wurde.

Bei der Beurteilung der Zielerreichung ist prinzipiell eine gemeinsame Betrachtung der Perspektiven unterschiedlicher Akteur*innen sinnvoll. Es ist zu empfehlen, neben der Perspektive der leistungsberechtigten Person auch eine Einschätzung des Leistungserbringers abzufragen.

Die in den Bundesländern bisher entwickelten Bedarfsermittlungsinstrumente verfügen dazu über entsprechende Formulare und Vorgaben zur Überprüfung der Zielerreichung. Diese bieten eine gute Grundlage zur Feststellung der Zielerreichung. Ergänzt um eine Wirkungsplausibilisierung lassen sich belastbare Aussagen über plausibilisierte Wirkungen bei den leistungsberechtigten Personen generieren.

Analyse der Wirksamkeit von Leistungen und Angeboten

Neben der Wirkungskontrolle auf individueller Ebene soll nach dem Bundesteilhabegesetz auch eine Überprüfung der Wirksamkeit der Leistung erfolgen. Im Gesetzestext ist diese in die Qualitätsprüfung integriert, was – wie wir bereits oben beschrieben haben – problematisch ist, da es sich hier um zwei getrennte Resultate handelt.

Die nachfolgend beschriebenen Methoden werden aktuell in einem Projekt mit mittelfränkischen Lebenshilfen erprobt (vgl. Ottmann, König & Gander, 2020). Hierbei wird vor allem ein Vorgehen vorgeschlagen, das gut in die Praxis integriert werden kann und darüber hinaus einen zusätzlichen Mehrwert für die Praxis hat. Im Idealfall werden die einzelnen Instrumente zusammen mit Vertreter*innen der Leistungserbringer, der Träger der Eingliederungshilfe und den leistungsberechtigten Personen, also im sozialrechtlichen Dreieck entwickelt.

Wirkannahmen darstellen mit Wirkmodellen

In einem ersten Schritt sollten die Leistungserbringer darstellen, mit welchen Wirkungen sie in ihren Leistungen und Angebote rechnen. In der Orientierungshilfe der Bundesarbeitsgemeinschaft der überörtlichen Träger der Sozialhilfe und Eingliederungshilfe (BAGüS) stellt diese fest, dass Leistungserbringer mit dem einzureichenden Konzept auch darlegen sollen, warum sie bestimmte Maßnahmen und Angebot für wirksam halten (vgl. Bundesarbeitsgemeinschaft der überörtlichen Träger der Sozialhilfe und der Eingliederungshilfe, 2021, S. 7). Auch in den Eckpunkten des Deutschen Vereins ist zu lesen, dass es sinnvoll erscheint „bereits, mit dem einzureichenden Konzept zur Leistungsbeschreibung als Grundlage für die Leistungsvereinbarung nach § 125 SGB IX darzustellen, wieso bestimmte Maßnahmen für wirksam gehalten und für die geplant zu unterstützende Zielgruppe in Erwägung gezogen werden, um die Teilhabeziele der Leistungsberechtigten und die Aufgabe der Eingliederungshilfe nach § 90 SGB IX zu erreichen“ (Deutscher Verein für öffentliche und private Fürsorge, 2022, S. 10).

Eine Möglichkeit, solche Wirkannahmen darzustellen, bieten Wirkmodelle (vgl. Ottmann & König, 2019b). Diese können für einzelne Leistungen oder Angebote entwickelt werden. Dazu wird dargelegt, welche Hauptwirkung erzielt werden soll und welche Teilwirkungen dafür nötig sind. Im Idealfall wird weiterhin auf Kontextfaktoren eingegangen und die verschiedenen Tätigkeiten und Interventionen der Leistung bzw. des Angebotes näher beschrieben. Bei der Erstellung eines solchen Wirkmodells sollte immer auch geprüft werden, ob die Zielgruppe der Leistung bzw. des Angebotes als homogene Zielgruppe betrachtet werden kann oder ob unterschiedliche Wirkannahmen und Wirkmodelle für Teilzielgruppen benötigt werden. Ein Wirkmodell wird grafisch dargestellt und verschriftlicht. In diesem Blogbeitrag wird das Vorgehen bei der Entwicklung von Wirkmodellen näher erläutert. Es stellt sich natürlich die Frage, ob für bestimmte Leistungen bzw. Angebote immer wieder neue Wirkmodelle entwickelt werden müssen. Unseres Erachtens erscheint es sinnvoller, generalisierte Ankerwirkmodelle für Leistungen zu entwickeln, die dann von den Leistungserbringern vor Ort angepasst werden können. Erste Erfahrungen zeigen, dass dies im Bereich der Eingliederungshilfe möglich ist (vgl. Ottmann, König & Gander, 2021).

Rückmeldungen aus der Praxis zeigen zudem, dass Leistungserbringer mit Hilfe von Wirkmodellen sprachfähiger zu den von ihnen zu erzielenden Wirkungen werden und auch Angebote und Leistungen auf diese Weise differenzierter dargestellt werden können. Schließlich bilden Wirkmodelle darüber hinaus eine zentrale Grundlage für weiterführende Wirkungsanalysen.

Wirksamkeitsziele definieren

Aufbauend auf den Wirkmodellen der einzelnen Leistungen und Angebote können dann zwischen Leistungserbringer und dem Träger der Eingliederungshilfe Wirksamkeitsziele definiert werden. Bei der Festlegung von Wirksamkeitszielen ist es wichtig, dass dies im Dialog und nicht einseitig durch den Träger der Eingliederungshilfe erfolgt.

Es empfiehlt sich zudem, dabei nicht nur auf leicht zählbare, quantitative Indikatoren (wie z. B. Übergangsquoten) zu fokussieren, sondern auch Teilwirkungen (qualitative Indikatoren), wie beispielsweise ein Kompetenzzuwachs, zu berücksichtigen. Denn auch wenn eine leistungsberechtigte Person den Übergang von der WfbM in den allgemeinen Arbeitsmarkt nicht geschafft hat, können sehr hilfreiche Wirkungen im Bereich des Kompetenzzuwachses oder des Wissens entstanden sein.

Inwieweit es gelingen wird, einheitliche Wirksamkeitsziele über verschiedene Leistungserbringer hinweg festzulegen, muss die Umsetzung in der Praxis zeigen. In einem ersten Schritt erscheint es sinnvoll, die Wirksamkeitsziele zunächst individuell mit dem Leistungserbringer zu formulieren, auch wenn dann eine mögliche Vergleichbarkeit durch den Träger der Eingliederungshilfe evtl. nicht möglich ist.

Effekte identifizieren mit einem wirkungsorientierten Monitoring

Zur Beurteilung der Wirksamkeit von Leistungen und Angeboten der Eingliederungshilfe muss festgestellt werden, welche Wirkungen bei der Zielgruppe entstanden sind. Neben der Feststellung im Rahmen der Bedarfsermittlung bzw. der Überprüfung des Gesamtplans sollte dies auch durch den Leistungserbringer erfolgen, da er auf diese Weise selbst im Hinblick auf die vereinbarten Wirksamkeitsziele auskunftsfähig wird. Es erscheint also sinnvoll, ein einheitliches Erhebungssystem zu entwickeln, dass allen Leistungserbringern in einem Einzugsgebiet zur Verfügung gestellt werden kann. Wie bei der Erstellung von Wirkmodellen empfiehlt sich auch hier, dialogisch und partnerschaftlich im Zusammenspiel von Leistungserbringer, Träger der Eingliederungshilfe und Vertreter*innen von leistungsberechtigten Personen vorzugehen und ein wirkungsorientiertes Monitoringsystem gemeinsam für die Praxis in der Praxis aufzubauen.

Unter Monitoring versteht man „die Erhebung von Daten zu aufeinander folgenden Zeitpunkten zu gleichen Merkmalen“
EvalWiki, 2015

Konkret bedeutet das, eine Erhebung an mindestens zwei Messzeitpunkten zu ermöglichen, einmal zu Beginn einer Maßnahme und eine weitere Erhebung nach ihrer Beendigung. Dies ist bei Leistungen und Angeboten, die zeitlich befristet sind, leicht möglich. Liegt eine solche zeitliche Befristung nicht vor, sollte eine jährliche Erhebung durchgeführt werden. Wie ein wirkungsorientiertes Monitoring aufgebaut werden kann, können Sie in diesem Blogbeitrag nachlesen.

Auch hier empfehlen sich Verbundlösungen, um eine gewisse Einheitlichkeit zu ermöglichen. In der Praxis zeigt sich zudem, dass nicht immer ein komplett neues Erhebungsinstrument entwickelt werden muss. Oft liegen schon Daten beim Leistungserbringer vor und/oder es werden bereits Diagnostiken oder Erhebungen zur Kompetenzfeststellung in anderen Zusammenhängen durchgeführt. Diese müssen dann nur noch systematischer ausgewertet bzw. erhoben (mehrere Erhebungszeitpunkte) und um einzelne Aspekte ergänzt werden, um Aussagen über die Wirkung bei der Zielgruppe zu ermöglichen.

Im Rahmen des wirkungsorientierten Monitorings werden die im Wirkmodell definierten Wirkungen und Kontextfaktoren (ggf. auch Outputs) erfasst. Durch das Erhebungsdesign können dann valide und belastbare Aussagen über Veränderungen und Stabilisierungen bei den Teilnehmenden an der Leistung bzw. dem Angebot gemacht werden, die zuverlässig im Sinne von Effekten interpretiert werden können.

Was bewirkt die Leistung der Eingliederungshilfe? – die Wirkungsplausibilisierung

Die so durch das wirkungsorientierte Monitoring identifizierten Effekte können dann im Hinblick auf das mögliche Vorliegen einer tatsächlichen Wirkung der untersuchten Leistung interpretiert und plausibilisiert werden. Dies geschieht mit der Methode der Wirkungsplausibilisierung und den dabei zentralen Fragen:

Die Wirkungsplausibilisierung kann in einem ersten Schritt intern in einem Workshop mit den Fachkräften durchgeführt werden. Um eine belastbare Plausibilisierung zu erhalten, empfiehlt es sich aber darüber hinaus auch Interviews mit den Nutzer*innen der Leistung bzw. des Angebotes (bzw. mit Vertreter*innen der Nutzer*innen) zu führen und dabei zu fragen, welchen Anteil die Leistung der Eingliederungshilfe bei der Erreichung von individuellen Zielen hatte bzw. ob noch andere Faktoren wahrgenommen wurden. Auch empfiehlt es sich, die gefunden Ergebnisse mit dem Träger der Eingliederungshilfe zu diskutieren und am Ende zu einer unter allen Akteur*innen konsensual festgestellten Aussage über die plausibilisierten Wirkungen und die Wirksamkeit der Maßnahmen zu kommen.

Die dauerhafte Implementierung eines wirkungsorientierten Monitorings und die Durchführung einer Wirkungsplausibilisierung stellen nach allen Erfahrungen eine tragfähige und gleichzeitig praxisgängige Methode dar, um zu belastbaren und gleichzeitig konzeptionell gut verwertbaren Aussagen über die Wirkung bei den leistungsberechtigten Personen sowie über die Wirksamkeit der erbrachten Leistungen insgesamt zu gelangen. Erfahrungen aus bisherigen Projekten in der Eingliederungshilfe, inzwischen aber auch darüber hinaus in anderen Feldern der Sozialen Arbeit, zeigen, dass dieses Vorgehen zudem mit einem für alle Beteiligten überschaubaren Aufwand eingesetzt werden kann.

Von der Wirkung zur Wirksamkeit

Am Ende einer solchen Analyse können die beiden dargestellten Perspektiven schließlich vereint werden, um eine abschließende Aussage über die Wirksamkeit der Leistung zu erhalten. Ein mögliches Vorgehen dazu wird in nachfolgender Abbildung zusammenfassend aufzeigt:

Ablaufsschema wie die Perspektiven Wirkung und Wirksmakeit in der Analyse vereinigt werden. HIerzu ist es nötig die individuellen plausibiliisierten Wirkungen zu definierten Outcomes im Wirkmodell zuzuordnen. — Vereinigung der Perspektiven Wirkung und Wirksamkeit

Neben der Überprüfung der Zielerreichung in der Bedarfsermittlung bzw. im Gesamtplan werden auch die Ergebnisse aus dem wirkungsorientierten Monitoring berücksichtigt. Diese ergänzen sich zudem gegenseitig. Durch die dabei definierten Ziele kann die Erhebung im Rahmen des wirkungsorientierten Monitorings bei den einzelnen leistungsberechtigten Personen jeweils auf bestimmte Aspekte fokussiert werden. Mit den Ergebnissen des Monitorings kann der Leistungserbringer gleichzeitig eine Rückmeldung zur Zielerreichung geben. Durch eine Wirkungsplausibilisierung werden nachgewiesene Effekte zu plausibilisierten Wirkungen, die dann wiederum den Outcomes im Wirkmodell der Leistung zugeordnet werden können.

Am Ende erfolgt ein Soll-Ist-Abgleich zwischen den festgelegten Wirksamkeitszielen und den erzielten plausibilisierten Wirkungen. Neben einer Analyse von strukturellen Merkmalen und Wirkfaktoren kommt man so schließlich zur Aussage der Wirksamkeit der Leistung der Eingliederungshilfe.

Ab wann ist eine Leistung wirksam?

Die bisher vorgeschlagenen und diskutierten Definitionen von Wirkung und Wirksamkeit geben hierüber ja zunächst keine Auskunft, es wird nur von einem gewissen Grad an Wirksamkeit gesprochen. Dieser lässt sich zwar berechnen, es stellt sich aber die Frage: Ist eine Leistung wirksam, wenn bei 50 % der leistungsberechtigten Personen eine plausibilisierte Wirkung erzielt wird? Oder müssen es 80 % sein oder gar 100 %? Eine eindeutige Zahl wird man hier nur schwer nennen können. Vielmehr sollte die Antwort auf die Frage, welche Werte hier angesetzt werden sollen, Gegenstand und Ergebnis der Aushandlung zwischen Leistungserbringer und dem Träger der Eingliederungshilfe sein. Die festzulegenden Grenzwerte sollen und können sich dabei natürlich je nach jeweiligem Wirksamkeitsziel unterscheiden. Bei leichter erreichbaren Wirksamkeitsziele kann der Wert höher angesetzt werden als bei Zielen, die schwieriger zu erreichen sind.

Und was ist, wenn eine Leistung nicht wirksam ist?

In der Debatte um Wirkung und Wirksamkeit in der Eingliederungshilfe kommt auch immer wieder die Frage auf, welche Konsequenzen sich ergeben, wenn bei einer Analyse festgestellt wird, dass die Leistung nicht wirksam war. Müssen bzw. sollen dann gleich die finanziellen Mittel für die Leistung gekürzt werden? Hier gibt es aus unserer Sicht eine ganz klare Antwort: Nein!

Wird festgestellt, dass die Wirksamkeit der Leistung nicht oder in einem zu geringen Umfang vorhanden ist, sind vielmehr weitergehende Analysen nötig. Dabei muss vor allem herausgearbeitet werden, welche Gründe dafür verantwortlich sind, dass die Wirkungen bei der Zielgruppe nicht erreicht werden konnten. Verschiedene Hypothesen sind denkbar: Liegt es wirklich an der Leistung selbst? Hängt es evtl. damit zusammen, dass die leistungsberechtigten Personen im Zeitverlauf andere Ziele verfolgt haben? Oder wirken externe Faktoren, die verhindern, dass ein Wirksamkeitsziel erreicht werden kann (z. B. die Arbeitsmarktlage bei dem Ziel des Übergangs in den ersten Arbeitsmarkt)?

Diese Gründe müssen – idealerweise im ‚Trialog‘ des sozialrechtlichen Dreiecksverhältnisses – herausgearbeitet werden. Sollte sich dabei tatsächlich herausstellen, dass es an der Leistung selbst lag, wäre dann der nächste Schritt – vor einer finanziellen Kürzung – zu überlegen, wie das Konzept bzw. die Leistung angepasst oder weiterentwickelt werden könnte, damit die zuvor definierten Wirkungen erreicht werden.

Ausblick: Die Analyse von Wirkmechanismen

Das hier dargestellte Vorgehen fokussiert vor allem auf die Frage, ob Wirkungen bei den leistungsberechtigten Personen erzielt werden und ob eine Leistung der Eingliederungshilfe wirksam ist. Das Verfahren kann aus Sicht der Autor*innen gut in die Praxis implementiert werden und hier kontinuierlich zum Einsatz kommen.

Neben der Frage, ob die Leistungen der Eingliederungshilfe eine Wirkung erzielen, sollte auch die Frage erforscht werden, wie diese Wirkungen zustande kommen. Man spricht hier von Wirkmechanismen. Dabei geht es vor allem um die Frage, ob sich die zu Beginn im Wirkmodell festgehaltenen Wirkannahmen empirisch belegen lassen oder sich dabei zeigt, dass die Wirkungen durch andere Mechanismen zustande gekommen sind. Die sich ergebenden Fragen können nicht von den Leistungserbringern im Rahmen ihrer täglichen Arbeit geklärt werden, sondern müssen Gegenstand weiterführender Untersuchungen sein. Durch die flächendeckende Entwicklung und Implementierung des bereits beschriebenen wirkungsorientierten Monitoringsystems könnte aber eine zentrale Grundlage für solche größeren Forschungsprojekte geschaffen werden, da die in diesem Zusammenhang erhobenen Daten gleichzeitig die Basis für die Analyse von Wirkmechanismen bilden können.

Voraussetzungen für die praktische Umsetzung

Um das beschriebene Vorgehen erfolgreich in der Praxis umsetzen zu können, sind vor allem vier Voraussetzungen nötig, die abschließend kurz beschrieben werden.

Transparenz bei der Entwicklung der Instrumente und beim Umgang mit den Daten

Wie bereits angedeutet, ist es wichtig, die Entwicklung der Instrumente und den Umgang mit den Daten transparent zu gestalten. Im Idealfall geschieht dies unter Beteiligung des Trägers der Eingliederungshilfe, der Leistungserbringer und der Vertreter*innen der leistungsberechtigten Personen. Um einen solchen transparenten Umgang zu ermöglichen, erscheint es zentral, bereits am Anfang ein regelgeleitetes Vorgehen klar zu definieren und dabei auch festzulegen, welche Mechanismen greifen, wenn die Überprüfung ergibt, dass keine Wirksamkeit angenommen werden kann. Wie oben beschrieben, sollte dann der Fokus zunächst auf tiefergehende Analysen und nicht auf die Kürzung von finanziellen Mitteln gerichtet werden.

Ergebnisse in die fachliche Arbeit integrieren

Die Ergebnisse aus dem wirkungsorientierten Monitoring sollten fest in die fachliche Arbeit der Leistungserbringer integriert werden. Diese fachliche Perspektive im Rahmen der Wirkungsorientierung (vgl. Ottmann & König, 2023) erscheint uns nach allen Erfahrungen zentral und kann auch dazu beitragen, dass die Bereitschaft unter den Fachkräften erhöht wird, sich dem Thema zu öffnen und sich konstruktiv an den Prozessen zu beteiligen.

Für die Einbindung der Daten in die fachliche Arbeit ist es zentral, dass die Ergebnisse regelmäßig zurückgemeldet werden und abrufbar sind, beispielsweise durch die Verwendung von sogenannten Auswertungsdashboards (vgl. Ottmann, 2021). Über Dashboards können Fachkräfte die Ergebnisse eigenständig abrufen und bei fachlichen Fragestellungen prüfen, ob mithilfe der Ergebnisse aus dem wirkungsorientierten Monitoring Erkenntnisse abgeleitet werden können, etwa zur methodischen oder konzeptionellen Weiterentwicklung der eigenen Arbeit. Um dies zu ermöglichen, wird es zentral sein, in den kommenden Jahren die Datenkompetenz (vgl. Ottmann & Helten, 2023) der Fachkräfte nachhaltig zu erhöhen.

Regelmäßiger Austausch: die Wirkungswerkstatt

Ein partnerschaftlicher, dialogischer, regelmäßiger Austausch im sozialrechtlichen Dreiecksverhältnis hat in der Umsetzung eine zentrale Bedeutung. Hier erscheint ein jährliches festes Format zielführend, etwa eine Wirkungswerkstatt. Dort können aktuelle Ergebnisse aus der Wirkungskontrolle und dem wirkungsorientierten Monitoring gesichtet, diskutiert und interpretiert werden. Durch ein solches Vorgehen ist zudem sichergestellt, dass die Interpretation der erhobenen Daten nicht einseitig erfolgt: Alle Akteur*innen des sozialrechtlichen Dreiecks können sich daran beteiligen.

Ein solches Format benötigt natürlich entsprechende Ressourcen. Diese müssten zur Verfügung gestellt und auch über Entgelte gegenüber den Leistungserbringern vergütet werden. Auch wenn dies in einem ersten Schritt einen Mehraufwand bedeutet, erscheint eine solche – überschaubare – Investition langfristig sinnvoll. Denn durch einen solchen dauerhaften und vom gemeinsamen Bemühen um Konsens geprägten Prozess kann über Einzelbetrachtungen hinaus ein gemeinsamer Wissenskorpus für die Eingliederungshilfe aufgebaut werden, der es mittelfristig ermöglicht, leistungsberechtigte Personen noch zielgerichteter in Leistungen zu vermitteln, die genau für sie nachweislich die höchste Wirksamkeit aufweisen.

Fehlerfreundlichkeit

Ein letzter, ebenso zentraler Gelingensfaktor für das beschriebene Vorgehen stellt nach unseren Erfahrungen eine Kultur der „Fehlerfreundlichkeit“ dar. Der gesamte Prozess sollte getragen sein vom Leitgedanken der kontinuierlichen Verbesserung und Weiterentwicklung. Denn immer dann, wenn sich im Rahmen der Analysen und Überprüfungen zeigt, dass Dinge noch nicht so funktionieren wie sie sollten oder dass sich Strategien als falsch erweisen, sollte eine Weiterentwicklung von Konzepten und Methoden, die das bisherige fachliche Handeln bestimmt haben, im Vordergrund stehen. Sanktionsmaßnahmen wie etwa finanziellen Kürzungen sind aus dieser Sicht kontraproduktiv und schaden der Akzeptanz für den Prozess nachhaltig.

Fazit

Durch die Einführung des Bundesteilhabegesetzes gibt es eine verstärkte Diskussion und Hinwendung zum Thema Wirkung und Wirksamkeit in der Eingliederungshilfe. Und das ist auch gut so! Die wirksame Erbringung von Leistungen sollte oberstes Ziel sein und deshalb der Nachweis der Wirksamkeit selbstverständlich.

Um diesen Prozess in der Praxis Gewinn bringend zu implementieren und zu gestalten, ist es aber wichtig, ihn gemeinsam und dialogisch einzuführen. Ein Alleingang der Träger der Eingliederungshilfe erscheint hier nicht zielführend.

Das vorgestellte Vorgehen ist nach allen unseren bisherigen Erfahrungen praxistauglich und mit einem überschaubaren Aufwand durchzuführen. Da es gerade in der Praxis der Eingliederungshilfe nur sehr schwer möglich sein wird, große Vergleichs- bzw. Kontrollgruppendesigns zu realisieren, ist der Einsatz eines wirkungsorientierten Monitorings und der Methode der Wirkungsplausibilisierung ein guter und praxisgängiger Weg. Um weitere Erfahrungen zu sammeln, ist die Durchführung von kleineren Pilotprojekten sinnvoll, fokussiert auf eine bestimmte Leistung bzw. ein Angebot der Eingliederungshilfe in einer konkreten Region, in der der örtliche Träger der Eingliederungshilfe, die Leistungserbringer und Vertreter*innen von leistungsberechtigten Personen gemeinsam am Thema arbeiten und einen solchen Prozess implementieren. Die Erfahrungen und Instrumente aus diesen Pilotprojekten können dann in weiteren Regionen und Bundesländer übernommen und auch auf andere Felder der Eingliederungshilfe übertragen werden.

Zitierempfehlung des Beitrages:

Ottmann, S., Helten A.-K. & König, J. (2023): Wirkung und Wirksamkeit in der Eingliederungshilfe – ein Vorgehen für die Praxis. Forschung, Entwicklung, Transfer – Nürnberger Hochschulschriften, Nr. 64. Nürnberg: Evangelische Hochschule Nürnberg. doi: 10.17883/fet-schriften064

Sie haben Anmerkungen zu unserem Vorschlag für die Umsetzung in der Praxis?

Gerne können Sie zu diesem Blog-Beitrag einen Kommentar hinterlassen. Wenn Sie mit uns zu diesem Thema in den Austausch kommen möchten, können Sie die kostenfreie Wirkungssprechstunde in Anspruch nehmen.

Literatur

Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
Bleck, C. (2016). Qualität, Wirkung oder Nutzen: Zentrale Zugänge zu Resultaten Sozialer Arbeit in professionsbezogener Reflexion. In S. Borrmann & B. Thiessen (Hrsg.), Wirkungen Sozialer Arbeit: Potentiale und Grenzen der Evidenzbasierung für Profession und Disziplin (1. Auflage, S. 107–124). Opladen, Berlin & Toronto: Verlag Barbara Budrich.
Boecker, M. & Weber, M. (2021). Wie lässt sich die Wirksamkeit von Eingliederungshilfe messen? sozialwissenschaftliche Anregungen (Soziale Arbeit kontrovers). Berlin: Verlag des Deutschen Vereins für öffentliche und private Fürsorge e.V.
Bundesarbeitsgemeinschaft der überörtlichen Träger der Sozialhilfe und der Eingliederungshilfe. (2021). Orientierungshilfe zur Durchführung von Prüfungen der Wirtschaftlichkeit und Qualität einschließlich der Wirksamkeit nach § 128 SGB IX. Zugriff am 14.12.2021. Verfügbar unter: http://www.lwl.org/spur-download/bag/Orientierungshilfe_Pruefungen128SGB_IXStandJanuar2021final.pdf
Deutscher Verein für öffentliche und private Fürsorge. (2022). Eckpunkte des Deutschen Vereins für öffentliche und private Fürsorge e. V. zu Wirkung und Wirksamkeit in der Eingliederungshilfe. Deutscher Verein für öffentliche und private Fürsorge e.V: Berlin. Zugriff am 15.12.2022. Verfügbar unter: https://www.deutscher-verein.de/de/download.php?file=uploads/empfehlungen-stellungnahmen/2022/dv-26-20_eckpunkte-wirksamkeit-in-der-eingliederungshilfe.pdf
EvalWiki. (2015). Monitoring (21. Februar 2015). Zugriff am 7.6.2018. Verfügbar unter: https://eval-wiki.org/w_glossar/index.php?title=Monitoring&oldid=1363
Ottmann, S. (2021). Dashboard-Lösungen als Instrument zur Beteiligung von Fachkräften in Evaluationen und Wirkungsanalysen. Zeitschrift für Evaluation, 20(1), 188–196. https://doi.org/10.31244/zfe.2021.01.09
Ottmann, S. & Helten, A.-K. (2023 angenommen). Datenkompetenz und dateninformiertes Handeln in der Sozialen Arbeit. Blätter der Wohlfahrtspflege, (2).
Ottmann, S. & König, J. (2018). Was wirkt wie? – Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg. Forschung, Entwicklung, Transfer – Nürnberger Hochschulschriften, 29. https://doi.org/10.17883/fet-schriften029
Ottmann, S. & König, J. (2019a). Wirkungsanalyse in der Sozialen Arbeit. Differenzierung ist nötig. Soziale Arbeit, 68(10), 368–376.
Ottmann, S. & König, J. (2019b). Am Anfang steht das Wirkmodell. Überlegungen und Ansätze zur Analyse von Wirkungen in der Sozialen Arbeit. Blätter der Wohlfahrtspflege, 166(2), 67–70. https://doi.org/10.5771/0340-8574-2019-2-67
Ottmann, S. & König, J. (2023 im Druck). Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit) (1. Auflage, Band 45). Stuttgart: Kohlhammer Verlag.
Ottmann, S., König, J. & Gander, C. (2020). Erfolge im Blick. Sozialwirtschaft aktuell, 30(15–16), 1–3. https://doi.org/10.5771/1619-2427-2020-15-16-1-1
Ottmann, S., König, J. & Gander, C. (2021). Wirkungsmodelle in der Eingliederungshilfe. Zeitschrift für Evaluation, 20(2), 317–331. https://doi.org/10.31244/zfe.2021.02.04
Pawson, R. & Tilley, N. (1997). Realistic evaluation. London ; Thousand Oaks, Calif: Sage.
Tornow, H. (2019). Wirkungskontrolle und Wirksamkeitsprüfung in der Eingliederungshilfe – Messtheoretische Betrachtungen. Nachrichtendienst des Deutschen Vereins für öffentliche und private Fürsorge, 99(8), 367–371.
Tornow, H. (2022). Semantik, Logik und Rechtsauslegung der Begriffe „Wirkung“ und „Wirksamkeit“. Nachrichtendienst des Deutschen Vereins für öffentliche und private Fürsorge, 102(9), 427–431.
Weber, M., Löwenhaupt, S. & Bartsch, K. (2022). Bestandsaufnahme zum Umsetzungsstand von Wirksamkeitsprüfungen im Zuge der BTHG-Umstellung – erste Befunde, oder: Der Versuch, einen Pudding an die Wand zu nageln! Bundesarbeitsgemeinschaft Werkstätten für behinderte Menschen e. V. / xit GmbH Nürnberg. Zugriff am 12.10.2022. Verfügbar unter: https://xit-online.de/wp-content/uploads/2022/09/Projektbericht_Publikation_BAGWfbM_xit_BTHG_Umstellung_2022.pdf

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.

Gleich weiterlesen...

Wirkung und Wirksamkeit in der Eingliederungshilfe – ein Vorgehen für die Praxis

Vier Klärungen zu Beginn