Welche Wirkung(en) in den Blick nehmen?

Erzielte Wirkungen und Wirksamkeit rücken in den Arbeitsfeldern der Sozialen Arbeit immer stärker in den Fokus. Hierbei stellt sich aber die Frage, welche Wirkung(en) in den Blick genommen werden sollen? Eine Verständigung erscheint hier sinnvoll, damit später auch vom gleichen gesprochen wird, wenn man über Wirkungen redet, die erzielt worden sind. In diesem Beitrag möchte ich daher ein paar Gedanken und eine Empfehlung teilen.

Die Betrachtungsebene auswählen: Angebot/Leistung vs. Organisation

Um sich der Frage anzunähern, welche Wirkungen man erfassen möchte, muss in einem ersten Schritt die Betrachtungsebene geklärt werden. Hierbei ist vor allem zu unterscheiden, ob man die Wirkungen eines Angebots bzw. einer Leistung betrachten möchte oder die Wirkungen einer Organisation.

Deutlich möchte ich dies an einem Beispiel machen. Ein Leistungserbringer ist Träger einer Erziehungsberatungsstelle und weiterer Angebote und Leistungen im Bereich der Kinder- und Jugendhilfe. Möchte dieser Träger sich nun der Frage nach der Wirkung stellen, kann er zum einen schauen, welche Wirkungen er mit dem Angebot Erziehungsberatung erzielt. Eine andere Ebene wäre die Betrachtung der Wirkungen, die der Träger als Organisation hervorbringt.

Erst einmal gibt es bei dieser Entscheidung kein Richtig oder Falsch. Man sollte sich aber bewusst sein, was betrachtet wird und es sollte auch später bei der Veröffentlichung der Ergebnisse klar kommuniziert werden. Nur so kann nachvollzogen werden, welche Wirkungen erfasst wurden.

Neben diesen beiden genannten Ebenen gibt es natürlich auch noch weitere Betrachtungsebene. Werden etwa neue gesetzliche Regelungen eingeführt, wie das Bundesteilhabegesetz (BTHG) oder das Kinder- und Jugendstärkungsgesetz (KJSG), könnte auch erforscht werden, welche Wirkungen die jeweiligen Gesetze entfalten. Dies wäre dann nochmals eine andere Betrachtungsebene, zusätzlich zu der Ebene des Angebots/Leistung und der Organisation. Innerhalb der beiden letztgenannten Ebenen können auch verschiedene Arten von Wirkungen betrachtet werden.

Outcomes und Impacts im Angebot

Betrachtet man ein konkretes Angebot der Sozialen Arbeit, kann man zwischen sogenannten Outcomes und Impacts differenzieren. Auch wenn in der Literatur die Begriffe unterschiedlich definiert werden, setzen sich innerhalb der Sozialen Arbeit folgende Definitionen durch (vgl. Beywl & Niestroj, 2009):

Als Outcome wird eine Wirkung auf Ebene der Nutzer*innen eines Angebots, also der Zielgruppe, bezeichnet. Dies können etwa ein Wissenserwerb oder der Erwerb einer bestimmten Fähigkeit sein, aber auch eine Verhaltensänderung oder die Stabilisierung einer bestimmten Lebenslage.

Demgegenüber werden unter Impacts gesellschaftliche Wirkungen eines Angebots beschrieben. Hierbei werden nicht mehr konkret die Nutzer*innen des Angebots betrachtet, sondern es wird untersucht, welche Auswirkungen das Angebot auf die Gesellschaft allgemein hat. Ein Beispiel könnte hier bei präventiven Angeboten die Vermeidung von Folgekosten bzw. Folgehilfen sein. In der nachfolgenden Resultatetreppe (vgl. Beywl & Niestroj, 2009) wird differenziert dargestellt, welche Outcomes im Rahmen von Angeboten und Leistungen erreicht werden können und wie sich diese gegenseitig bedingen:

Wirkung einer Organisation

Neben diesen Wirkungen auf Ebene des Angebots kann natürlich eine Organisation zusätzliche Wirkungen entfalten. Um diese Wirkungen zu erfassen, gibt es aus meiner Sicht aktuell zwei interessante Ansätze:

• Ein erster Ansatz ist, die ökonomische Wirkung von Organisationen der Sozialen Arbeit und Sozialwirtschaft in den Blick zu nehmen. Zum einen kann man hier, in Rahmen einer Transferanalyse untersuchen, welche Steuern und Sozialversicherungsbeiträge von sozialen Organisationen an den Staat zurückfließen. Zum anderen kann man aber auch die regionalökonomische Wirkung betrachten. Der von xit entwickelte SROI untersucht unter anderem die beschriebenen Bereiche (und nimmt mit dem SROI 5 auch die Lebensqualität in den Blick). Natürlich können solche Analysen auch auf Angebotsebene durchgeführt werden. Einen größeren Mehrwert ergibt sich aber aus meiner Sicht, wenn man eine komplette Organisation in den Blick nimmt.
• Ein anderer Ansatz ist zu betrachten, welchen Beitrag die Organisation zu den 17 globalen Zielen für nachhaltige Entwicklung der Agenda 2030, den sogenannten Sustainable Development Goals (SDGs) beiträgt (siehe nachfolgende Grafik). Wählt man als Organisation diese Betrachtungsebene, muss natürlich festgelegt werden, ob der Beitrag zu allen 17 Zielen untersucht werden soll oder nur zu einzelnen Zielen. Darüber hinaus gibt es Ziele, die eher auf Organisationsebene zu verorten sind, etwa „Maßnahmen zum Klimaschutz“ oder „Menschenwürdige Arbeit und Wirtschaftswachstum“, während andere Ziele auch den Outcomes auf Angebotsebene zugeordnet werden können (z. B. „keine Armut“ oder „Gesundheit und Wohlergehen“).

Als Erstes in den Blick nehmen: Outcomes

In diesem Beitrag wurden bisher die verschiedenen Betrachtungsebenen sowie die jeweils möglichen Wirkungen dargestellt. Auch wenn alle Wirkungsarten ihre Berechtigung haben, stellt sich natürlich die Frage, was man als Erstes genauer in den Blick nehmen sollte.

Aus meiner Sicht begründet sich dies mit der Daseinsberechtigung von sozialen Organisationen: Sie bieten Angebote und Leistungen für Personen an, die Unterstützung oder Hilfe benötigen. Aus diesem Grund sollte bei der Frage nach der Wirkung auch immer im Vordergrund stehen, ob bei den Nutzer*innen eine gewünschte Veränderung oder Stabilisierung eingetreten ist. Damit kann ein Nachweis der Wirksamkeit der Angebote und Leistungen erfolgen.

Dieser Blick macht auch aus fachlicher Sicht (vgl. Ottmann & König, 2023, S. 26 ff.) Sinn, da mit Erkenntnissen und Daten das eigene fachliche Handeln weiterentwickelt werden kann. Langfristig ist es damit möglich, einen Wissenskorpus für die Soziale Arbeit aufzubauen. D. h. man hat mit der Zeit vermehrt Erkenntnisse, welche Angebote und Leistungen für welche Nutzer*innen optimal funktionieren und am wirksamsten sind.

Auch im Hinblick auf die Legitimation von Angeboten und Leistungen ist das Erreichen der Outcomes zentral. Nur wenn es gelingt wirksame Angebote und Leistungen bereitzustellen, die den Nutzer*innen die nötige Hilfe und Unterstützung bieten, hat das Angebot eine Daseinsberechtigung.

Doch welche Outcomes genau?

Allerdings zeigt sich, dass es nicht nur einen Outcome gibt, sondern die Outcomes vielfältig sein können. Auch erscheint die alleinige Fokussierung auf allgemeinere Konstrukte wie die Lebensqualität oder die Verwirklichung von Teilhabe nicht zielführend. Es empfiehlt sich daher in einem ersten Schritt immer ein Wirkmodell für das Angebot bzw. für die Leistung zu entwickeln.

In einem Wirkmodell wird festgehalten, mit welchen Outcomes (und Impacts) man rechnet bzw. welche man (theoretisch) mit dem Angebot erzielen möchte. Hierbei ist eine Orientierung an den beschriebenen drei Ebenen der Outcomes in der Resultatetreppe hilfreich. Natürlich kann dann am Ende auch eine Verbesserung oder Stabilisierung der Lebensqualität oder ein mehr an Teilhabe stehen. Der Blick sollte aber auch auf die Teilwirkungen gerichtet werden, die zuvor eintreten müssen, damit diese übergeordneten Wirkungen erzielt werden können.  Bei der Entwicklung eines Wirkmodells sollten auch mögliche Kontextfaktoren berücksichtigt werden, vor allem solche, die auch einen Einfluss auf das Erreichen der Outcomes und Impacts haben können.

Nicht immer ist hier eine komplette Neuentwicklung nötig. Langfristig sollte das Ziel sein, dass es generalisierte Ankerwirkmodelle für Angebote und Leistungen gibt, und Leistungserbringer diese als Grundlage für ein eigenes Wirkmodell heranziehen können. Eine Übersicht über bisher entwickelt Ankerwirkmodelle findet man hier im Blog.

Outcomes empirisch erfassen

Nachdem die Outcomes und Impacts eines Angebots bzw. einer Leistung in einem Wirkmodell definiert worden sind, können sie darauf aufbauend dann empirisch erfasst werden. Hierbei sollte ein sogenanntes wirkungsorientiertes Monitoring implementiert werden, mit dessen Hilfe Effekte identifiziert werden können, also Veränderungen und Stabilisierungen in den zuvor definierten Outcomes. Zentral dabei ist das längsschnittliche Design, d. h. Erhebungen finden nicht nur an einem Erhebungszeitpunkt statt, sondern müssen an mindestens zwei Erhebungszeitpunkten durchgeführt werden. Diese Zeitpunkte sind zu Beginn der Maßnahme/Leistung, also wenn der Nutzer/die Nutzer in ein Angebot kommt, und am Ende des Angebots, sofern es ein definiertes Ende gibt. Sollte dies nicht der Fall sein, erscheint eine jährliche Folgeerhebung sinnvoll.

Mithilfe der Methode der Wirkungsplausibilisierung (vgl. Balzer, 2012; Balzer & Beywl, 2015; Ottmann & König, 2023, S. 116 ff.), kann dann eine Einschätzung getroffen werden, ob die gefundenen Effekte durch das Angebot bzw. die Leistung hervorgerufen wurden oder ob auch andere Faktoren zur Entstehung beigetragen haben. Durch dieses Vorgehen können dann Aussagen über die plausibilisierten Wirkungen des Angebots bzw. der Leistung gemacht werden und damit auch eine Aussage über die Wirksamkeit dieser Angebote und Leistungen.

Fazit

Der Blick auf die Wirkungen innerhalb der Sozialen Arbeit kann vielfältig sein. Wichtig ist es daher, genau zu benennen, welche Wirkungen man betrachtet und zwischen der Angebots-/Leistungsebene und der Organisationsebene zu unterscheiden.

Im Rahmen von Wirkungsanalysen sollte aber der erste Blick auf die Outcomes gehen, also die Wirkungen bei den Nutzer*innen eines Angebots bzw. einer Leistung. Wurden diese empirisch erhoben und dargestellt, kann es natürlich durchaus Sinn machen, auch Wirkungen auf Organisationsebenen zu betrachten. Solche Betrachtungen können gerade bei der Darstellung der wirtschaftlichen Bedeutung von sozialen Organisationen sinnvoll sein. Bei der Frage nach der Wirkung und der Wirksamkeit der Sozialen Arbeit sollte dies aber nicht der erste Zugang sein.

Im Hinblick auf die Präsentationen von Wirkungsanalysen innerhalb der Sozialen Arbeit und Sozialwirtschaft ist es daher wichtig, transparent zu benennen, welche Wirkungen in der Untersuchung betrachtet wurden. Auch sollten immer Aussagen zum Forschungsdesign und möglichen Limitationen gemacht werden.

Literatur

• Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
• Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
• Beywl, W. & Niestroj, M. (2009). Der Programmbaum. Landmarke wirkungsorientierter Evaluation. In W. Beywl & M. Niestroj (Hrsg.), Das ABC der wirkungsorientierten Evaluation: Glossar – deutsch/englisch – der wirkungsorientierten Evaluation (2. Auflage, S. 137–149). Köln: Univation – Inst. für Evaluation Dr. Beywl und Associates.
• Ottmann, S. & König, J. (2023). Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit) (1. Auflage, Band 45). Stuttgart: Kohlhammer Verlag.

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.