Perspektiven von Nutzer:innen bei der Wirkungsorientierung einbinden

Geht man der Frage nach den Wirkungen von Angeboten in der Sozialen Arbeit nach, ist der Einbezug von möglichst vielen verschiedenen Perspektiven wichtig und zentral. Eine erste Perspektive, die hier berücksichtigt wird, ist natürlich die des Leistungserbringers. So werden Aspekte aus der Konzeption und die Erfahrungen der Fachkräfte und Mitarbeitenden berücksichtigt. Auch der Kostenträger kann hier Aspekte einbringen bzw. in die Verhandlung von Entgelten und Leistungsvereinbarungen mit aufnehmen. Eine weitere wichtige Perspektive, die wir einbeziehen sollten, ist die der Nutzer:innen von Angeboten und Dienstleistungen in der Sozialen Arbeit. In diesem Blog-Beitrag wird dargestellt, wie diese Perspektive berücksichtigt werden kann.

Schritte der Wirkungsorientierung

Die Implementierung von Wirkungsorientierung in sozialen Organisationen ist ein umfassender Prozess, bei dem der Blick auf die Wirkung von Angeboten als Leitprinzip in die Entwicklung und Prüfung von Angeboten und Leistungen und damit auch in die fachliche Arbeit integriert werden soll. Im Zuge dieses Prozesses sollten insgesamt sechs Schritte durchlaufen werden (Ottmann & König, 2023, S. 30 ff.):

• Verständigen: In einem ersten Schritt sollte ein gemeinsames Verständnis zum Thema Wirkung, Wirksamkeit und Wirkungsorientierung innerhalb der Organisation erarbeitet werden. Dazu sollte auch festgehalten werden, warum Wirkungsorientierung in die Arbeit überhaupt implementiert werden soll und welche ‚Spielregeln‘ hierbei festgelegt werden.
• Entwickeln: Im nächsten Schritt können dann vor diesem Hintergrund Angebote und Leistungen wirkungsorientiert entwickelt werden. Zentral ist hier die Aufgabe, für bestehende und neue Angebote sog. Wirkmodelle zu entwickeln. In diesen werden Wirkannahmen festgehalten und es wird geklärt, welche Kontextfaktoren Einfluss auf die Angebote und gleichzeitig auf die zu erzielenden Wirkungen haben.
• Analysieren: Aufbauend auf solchen Wirkmodellen kann dann eine Wirkungsanalyse implementiert werden. Die Grundlage dafür bildet ein wirkungsorientiertes Monitoring, das in der Organisation für die einzelnen Angebote längerfristig durchgeführt wird. Außerdem kann im Rahmen der Wirkungsanalyse eine vertiefende Betrachtung von Wirkmechanismen erfolgen oder auch die Effizienz, etwa von Präventionsangeboten, geprüft und belegt werden.
• Berichten: Die Ergebnisse aus solchen Wirkungsanalysen können dann externen Stakeholdern, etwa Kostenträgern oder auch politischen Verantwortlichen, berichtet werden. Gleichzeitig können die Befunde auch immer intern an die Fachkräfte, Mitarbeitende und Nutzer:innen kommuniziert werden.
• Weiterentwickeln: Ausgehend von den Ergebnissen einer Wirkungsanalyse können dann in einem nächsten Prozessschritt die geprüften Angebote und Leistungen methodisch, konzeptionell oder auch strategisch diskutiert und weiterentwickelt werden. Langfristig sollte hier ein regelmäßiger Kreislauf aus der Erhebung von Daten im Rahmen der Wirkungsanalyse, der Sichtung und Interpretation dieser Befunde und der Ableitung von möglichen Weiterentwicklungen und Anpassungen im Angebotsportfolio entstehen.
• Skalieren: Ein letzter Schritt im Prozess der Wirkungsorientierung kann, vor allem bei Pilotprojekten, das Skalieren der erzielten Wirkung sein (Bertelsmann Stiftung, 2013). Dafür stehen verschiedene Strategien zur Verfügung, um die erzielte Wirkung zu vergrößern und breiter zu streuen, z. B. durch eine Ausweitung des Angebotes auf neue Ziel- und Adressatengruppen oder durch die Schaffung von Kooperationen.

Gerade in den Prozessschritten Verständigung, Entwicklung, Analysieren und Weiterentwickeln erscheint es zielführend, auch die Perspektive der Nutzer:innen von Angeboten und Leistungen systematisch einzubeziehen.

Sozialpädagogische Nutzer:innenforschung

Der Blick auf den gewünschten oder schon erzielten Nutzen von Angeboten in der Sozialen Arbeit ist keine neue Frage. Vielmehr hat sich hier die sozialpädagogische Nutzerforschung entwickelt und auch etabliert. Im Zentrum steht dabei das Ziel, „die Frage zu beantworten, ob und ggf. welchen Nutzen diejenigen, die Angebote Sozialer Arbeit in Anspruch nehmen bzw. nehmen müssen, von eben diesen Angeboten haben oder auch nicht haben“ (Oelerich & Schaarschuch, 2013, S. 85).

Der Nutzen eines Angebotes ist damit ein Resultat von Angeboten der Sozialen Arbeit – jedoch nicht gleichzusetzen mit der Wirkung eines Angebotes (Bleck, 2016). Vielmehr zeigt sich hier, dass es Anknüpfungspunkte zwischen beiden Perspektiven gibt. In der Praxis werden aber beide Forschungsrichtungen häufig getrennt betrachtet und auch bisher kaum miteinander verknüpft. Insofern erscheint es zielführend, im Prozess der Implementierung von Wirkungsorientierung immer auch die Perspektive der Nutzer:innen mit zu berücksichtigen.

Konkrete Einbindung der Perspektive von Nutzer:innen

Im Folgenden wird deshalb gezeigt, wie diese Perspektive der Nutzer:innen in die einzelnen Schritte der Wirkungsorientierung einbezogen werden kann. Grundlage der Überlegungen ist eine Vielzahl an Erfahrungen aus verschiedenen Projekten im Bereich der Wirkungsorientierung in sehr unterschiedlichen Arbeitsfeldern der Sozialen Arbeit.

Verständigen

Eine Verständigung darüber, was unter Wirkung, Wirksamkeit und Wirkungsorientierung zu verstehen ist, sollte demzufolge nicht nur mit den Mitarbeitenden der Organisation, sondern hier auch mit Vertreter:innen von Nutzer:innen erfolgen. So kann auch dieser Gruppe gegenüber ein transparentes Vorgehen ermöglicht und gleichzeitig aufgezeigt werden, welchen Mehrwert Wirkungsorientierung für das Angebot, die fachliche Arbeit und letztlich auch für die Nutzer:innen der Angebote selbst hat. Idealerweise werden in diesem Schritt Vertreter:innen der Nutzer:innen an den Workshops beteiligt, die zur Verständigung innerhalb der Organisationen stattfinden.

Entwickeln von Wirkmodellen

Auch die Entwicklung von Wirkmodellen (Ottmann & König, 2019) findet in der Regel in Workshops statt. An diesen Workshops nehmen in aller Regel Fachkräfte teil, die das jeweilige Angebot verantworten. Nach allen Erfahrungen lassen sich diese Workshops aber auch für Vertreter:innen von anderen Anspruchsgruppen, u. a. für die Nutzer:innen der Angebote, öffnen. Sollte ein direkter Einbezug der Nutzer:innen in die Workshops nicht möglich sein, hat es sich als ideal erwiesen, die Zeit zwischen zwei Workshops zur Entwicklung eines Wirkmodells zu nutzen, um qualitative Interviews mit Nutzer:innen zu führen. Im Rahmen dieser Interviews kann dann gezielt erfragt werden, welchen Nutzen und welche Veränderungen oder Stabilisierungen sie selbst erlebt haben. Weiterhin kann auch geklärt werden, ob der Nutzen und die Veränderungen sowie Stabilisierungen aus der Sicht der Nutzer:innen durch das Angebot oder die Leistung selbst entstehen oder ob auch andere hilfreiche Faktoren und Einflüsse von den Nutzer:innen wahrgenommen werden.

Die Ergebnisse aus den Interviews können dann dem Modellentwurf aus dem ersten Workshop gegenübergestellt werden und es kann geprüft werden, ob von den Nutzer:innen zusätzlich oder auch widersprechende Aspekte genannt wurden, die im bisherigen Entwurf des Wirkmodells nicht enthalten sind. Dieses Vorgehen hat den Vorteil, dass die Nutzer:innen ihre Erfahrungen im Rahmen der Interviews in einem geschützten Rahmen berichten können, was – je nach Zielgruppe – nicht selten besser geeignet erscheint als eine direkte Beteiligung in einem Workshop.

Wirkungsorientiertes Monitoring

Aufbauend auf dem Wirkmodell kann dann ein wirkungsorientiertes Monitoring (Ottmann & König, 2023, S. 116 ff.) entwickelt werden. Hier werden quantitative Erhebungsinstrumente eingesetzt, um Veränderungen und Stabilisierung bei der Zielgruppe, die sog. Effekte, zu erfassen. Dabei wird häufig ein Instrument zur Fremdeinschätzung durch die Fachkräfte und Mitarbeitenden entwickelt.

Im Rahmen des Monitorings sollte die Sicht der Nutzer:innen aber auch direkt eingebunden werden, etwa mit einem Fragebogen zur Selbsteinschätzung von Nutzer:innen. Dieser kann dann in den gleichen Zeitabständen wie die Fremdeinschätzung eingesetzt werden. Neben dem Vorteil einer direkten Rückmeldung der Nutzer:innen ergibt sich zusätzlich die Möglichkeit, Selbst- und Fremdeinschätzung zu vergleichen, also Übereinstimmungen und auch Widersprüche aufzudecken. Voraussetzung dafür ist allerdings, dass die Fragestellungen in beiden Erhebungsinstrumenten parallelisiert vorkommen.

Bei der Entwicklung des Erhebungsinstrumentes zur Selbsteinschätzung muss auch geprüft werden, welche Themenbereiche und Outcomes Nutzer:innen überhaupt selbst einschätzen können. Außerdem sollte der Fragebogen, abhängig von der Zielgruppe, in einer adäquaten, etwa möglichst einfachen Sprache gestaltet, nicht zu lang und über grafische Elemente (z. B. Piktogramme) zugänglich sein. Ist eine direkte Befragung von Nutzer:innen nicht möglich, kann geprüft werden, ob eine Stellvertreterbefragung, etwa von Bezugsbetreuer:innen oder Angehörigen der Nutzer:innen, erfolgen kann.

Wirkmechanismen analysieren

Auch bei der Analyse der Wirkmechanismen ist es zentral, die Sicht der Nutzer:innen einzubinden. Bei dieser Analyse geht es darum, zu prüfen, wie Wirkungen zustande kommen. Neben der Perspektive der Fachkräfte und Mitarbeitenden sollte gerade auch hier immer die Perspektive von Nutzer:innen mitbetrachtet werden. Da bei der Analyse von Wirkmechanismen häufig mit qualitativen Erhebungsmethoden gearbeitet wird, kann diese Perspektive von Nutzer:innen hier wiederum gut über Interviews und Fokusgruppen eingebunden werden.

Wirkungsplausibilisierung und Ableitung von Handlungen

Nicht nur bei der Erhebung von Daten sollte die Perspektive der Nutzer:innen berücksichtigt werden. Auch bei der Interpretation der Ergebnisse und der sog. Wirkungsplausibilisierung, die eine Alternative zum klassischen Kontroll- bzw. Vergleichsgruppendesign darstellt und bei der eine Einschätzung erfolgt, welchen Anteil das Angebot oder die Leistung an den gefundenen Effekten hat und welche anderen Faktoren diese beeinflussen (Balzer, 2012; Balzer & Beywl, 2015) ist es zentral, möglichst viele unterschiedliche Perspektiven in eine solche Plausibilisierung einzubinden (Ottmann, Helten & König, 2024). Dies kann wiederum durch qualitative Interviews geschehen, aber auch durch die Einbindung von Vertreter:innen im Rahmen der Interpretationsworkshops, in deren Verlauf die verschiedenen Perspektiven sehr einfach und direkt miteinander diskutiert und konsensual validiert werden können.

Neben der Wirkungsplausibilisierung sollte dabei immer auch die Ableitung von fachlichem Handeln im Vordergrund stehen. Dazu sollte vor allem geprüft werden, ob es aufgrund der Ergebnisse Ansatzpunkte für methodische oder konzeptionelle Weiterentwicklungen bei den Angeboten und Leistungen gibt. Dazu ist es oft sinnvoll und auch nötig, die Ergebnisse weiter zu kontextualisieren, also erneut auch die Rolle und Perspektive der Nutzer:innen einzubinden.

Fazit

Bei einer umfassenden Betrachtung der Wirkung und Wirksamkeit von Angeboten und Leistungen in der Sozialen Arbeit sollte immer auch die Perspektive der Nutzer:innen mitberücksichtigt werden. Wie in diesem Blog-Beitrag aufgezeigt, gibt es im Zuge der verschiedenen Prozessschritte der Wirkungsorientierung viele Möglichkeiten, diese Perspektive einzubinden. Auch wenn dies an der einen oder anderen Stelle einen Mehraufwand bedeutet, umgeht man damit die Gefahr, in einen ‚Tunnelblick‘ abzuschweifen.

Wichtig beim Einbezug von Nutzer:innen ist, dass die Erhebungsinstrumente und Workshopformate auch auf diese Perspektive abgestimmt sind. Gerade bei der Entwicklung von quantitativen Fragebögen wird es zukünftig zentral sein, Fragebogenitems auch in leichter Sprache zu entwickeln und (erneut) testtheoretisch zu überprüfen. Auch sollte immer geprüft werden, wie Nutzer:innen auch langfristig in den Prozess der Wirkungsorientierung eingebunden werden können, z. B. durch die Teilnahme an Interpretationsworkshops. Gerade Wirkungsanalysen gewinnen an Glaubwürdigkeit, wenn die Ergebnisse der Analyse an die Nutzer:innen zurückkommuniziert werden und sie so auch erfahren, welche Ergebnisse die Analysen ergeben haben.

Haben Sie schon Erfahrungen mit dem Einbezug von Nutzer:innen in den Prozess der Wirkungsorientierung bzw. in Wirkungsanalysen? Gerne können Sie von diesen Erfahrungen in den Kommentaren berichten.

Sollten Sie noch weitere Fragen zum Thema haben oder sich auf den Weg der Wirkungsorientierung machen und eine wissenschaftliche Begleitung benötigen, können Sie sich gerne bei mir melden. Am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg begleiten meine Kolleg*innen und ich gerne den Entwicklungs- und Implementierungsprozess.

Literatur

• Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
• Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
• Bertelsmann Stiftung. (2013). Skalierung sozialer Wirkung. Handbuch zu Strategien und Erfolgsfaktoren von Sozialunternehmen. (1. Auflage). Gütersloh: Verlag Bertelsmann Stiftung.
• Bleck, C. (2016). Qualität, Wirkung oder Nutzen: Zentrale Zugänge zu Resultaten Sozialer Arbeit in professionsbezogener Reflexion. In S. Borrmann & B. Thiessen (Hrsg.), Wirkungen Sozialer Arbeit: Potentiale und Grenzen der Evidenzbasierung für Profession und Disziplin (1. Auflage, S. 107–124). Opladen, Berlin & Toronto: Verlag Barbara Budrich.
• Oelerich, G. & Schaarschuch, A. (2013). Sozialpädagogische Nutzerforschung. In G. Graßhoff (Hrsg.), Adressaten, Nutzer, Agency (S. 85–98). Wiesbaden: Springer Fachmedien Wiesbaden. doi: 10.1007/978-3-531-19007-5_6
• Ottmann, S., Helten, A.-K. & König, J. (2024). Messen oder Plausibilisieren? Methoden der Wirkungsanalyse in der Sozialen Arbeit. Soziale Arbeit, 73(1), 9–16. doi: 10.5771/0490-1606-2024-1-9
• Ottmann, S. & König, J. (2019). Am Anfang steht das Wirkmodell. Überlegungen und Ansätze zur Analyse von Wirkungen in der Sozialen Arbeit. Blätter der Wohlfahrtspflege, 166(2), 67–70. doi: 10.5771/0340-8574-2019-2-67
• Ottmann, S. & König, J. (2023). Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit) (1. Auflage, Band 45). Stuttgart: Kohlhammer Verlag