Den Kontext bei der Betrachtung von Wirkungen nicht vergessen!

Bei der Frage nach der Wirkung eines Angebotes oder einer Maßnahme in der Sozialen Arbeit und Sozialwirtschaft ist es wichtig auch immer den Kontext, in dem dieses Angebot oder die Maßnahme eingebettet ist in den Blick zu nehmen. Warum dies so wichtig ist, soll in diesem Beitrag dargestellt und auch darauf eingegangen werden, welche Kontextfaktoren unterschieden werden können.

Warum ist der Kontext so wichtig?

Möchte man die Wirkung eines Angebotes oder eine Maßnahme erfassen, überlegt man sich natürlich in einem ersten Schritt mit welchen Wirkungen überhaupt zu rechnen ist. Mit einem Wirkmodell können diese theoretischen Überlegungen gut visualisiert und verschriftlich werden. Der reine Blick auf die Haupt- und Teilwirkungen würde aber zu kurz gehen. Vielmehr sollte der Blick auch auf mögliche Kontextfaktoren gerichtet werden.

Gerade in den Arbeitsbereichen der Sozialen Arbeit ist dies besonders wichtig, da die Angebote und Maßnahmen immer in der sozialen Wirklichkeit eingebettet sind. Dadurch gibt es viele Faktoren, neben dem Angebot oder der Maßnahme, die die Wirkung hervorrufen können. Gerade dies ist aber beim Nachweis der Wirkung das Zentrale, dass die beobachteten Veränderungen oder Stabilisierungen bei der Zielgruppe auf das Angebot rückführbar sind und nur dieses dafür den Ausschlag gab (vgl. Balzer & Beywl, 2015, S. 192). Dies wird auch als kausaler Mechanismus bezeichnet. Das bedeutet allerdings auch, dass man mit einer hohen Wahrscheinlichkeit ausschließen muss, dass andere Faktoren, sog. Kontextfaktoren, die Wirkung hervorgebracht haben. Dies könnten z. B. die familiäre Unterstützung oder ein gutes soziales Netzwerk des Teilnehmenden am Angebot sein.

Daher ist es wichtig bei einer Wirkungsanalyse auch immer die Kontextfaktoren zu identifizieren und darzustellen. Zum einen können diese dann bei der eigentlichen Datenanalyse berücksichtigt werden, spielen aber auch bei einer möglichen Skalierung der erzielten Wirkung eine wichtige Rolle. Hierbei muss überprüft werden, ob bestimmte Kontextfaktoren für die Erzielung der gewünschten Wirkung vorliegen müssen, z. B. Ressourcen die Klient*innen mit in das Angebot bringen.

Wie kann man Kontextfaktoren identifizieren?

Die Identifizierung der Kontextfaktoren erfolgt am Besten während der Erstellung des Wirkmodells. Hierbei kann auf eine Unterscheidung im sog. Programmbaum zurückgegriffen werden (vgl. Bartsch, Beywl & Niestroj, 2016). In diesem wird zwischen folgenden Kontextfaktoren unterschieden:

• Strukturen: Hierbei werden die internen Strukturen der Einrichtung bzw. des Trägers in den Blick genommen, z. B. die Aufbauorganisation oder die interne Vorgabe, dass regelmäßig in Teambesprechungen die aktuellen Veränderungen der Klient*innen diskutiert werden.
• Inputs: Dies sind Mittel, die ein Träger in die Maßnahme bzw. das Angebot einbringt, z. B. die Anzahl der Mitarbeitenden, die für das Angebot vorgehalten werden oder auch räumliche Ressourcen.
• Incomes: Damit sind Ressourcen gemeint, die Klient*innen mit einbringen. Auch davon kann der erfolgreiche Verlauf einer Maßnahme abhängen, z. B. das Vorwissen oder die Vorgabe, dass die Klient*innen bei Aufnahme keine komplexen psychischen Probleme haben dürfen.
• Kontext: Unter Kontext werden schließlich die gesellschaftlichen, politischen und rechtlichen Rahmenbedingungen subsumiert, in die die Maßnahme eingebettet ist.

Gerade im Bereich der Incomes können Faktoren dabei sein, die auch eine Auswirkung darauf haben, ob die gewünschte Wirkung erzielt wird oder nicht. Aber auch strukturelle Merkmale können wichtige Einflussfaktoren darstellen.

Bei der Visualisierung und Verschriftlichung des Wirkmodells sollten dann auch die gesammelten Kontextfaktoren miterfasst und dargestellt werden. Neben der Identifizierung der Kontextfaktoren kann auch noch eine Einschätzung für die einzelnen Faktoren erfolgen, welchen Einfluss diese auf die Maßnahme bzw. auf den/die Klient*in haben und damit auch auf die zu erzielende Wirkung.

Wie kann man Kontextfaktoren in der Wirkungsanalyse berücksichtigen?

Bei der Durchführung einer Wirkungsanalysen sollten die Kontextfaktoren immer berücksichtigt werden. Dies kann beispielsweise – in einem ersten Schritt – im Rahmen einer Wirkungsplausiblisierung (vgl. Balzer, 2012 oder den Beitrag zur Begriffsbestimmung in diesem Blog)  geschehen. Diese kommt zum Einsatz, wenn kein Vergleichs- oder Kontrollgruppendesign realisiert werden konnte und man daher empirisch den kausalen Mechanismus nicht nachweisen kann. Im Rahmen der Wirkungsplausibilisierung trifft man eine Einschätzung welchen Anteil die untersuchte Maßnahme/das untersuchte Angebot an den gefundenen Veränderungen oder Stabilisierungen bei der Zielgruppe hat und welche anderen Faktoren eine Rolle spielen. Im Rahmen dieses Prozesses können die zuvor identifizierten Kontextfaktoren miteinfließen. Um Veränderungen oder Stabilisierungen auf Ebene der Zielgruppe erfassen zu können, sollte ein entsprechendes wirkungsorientiertes Monitoring (vgl. Ottmann & König, 2019) aufgebaut sein.

Wenn es darum geht herauszufinden, welche Effekte die Kontextfaktoren auf die Wirkung haben, kann mit weiterführenden statistischen Methoden gearbeitet werden. Hier kann beispielsweise mit Mediationsanalysen (vgl. Hayes, 2013) bestimmte Konstellationen modelliert und überprüft werden. Dabei geht man davon aus, dass der Kontextfaktor eine vermittelnde Funktion einnimmt.

Möchte man mehrere Mechanismen und Kontextfaktoren gleichzeitig berücksichtigen, kann man auch mit Strukturgleichungsmodellen (vgl. Arzheimer, 2016; Kline, 2016) arbeiten. Neben diesen quantitativen Verfahren gibt es auch qualitative Verfahren, die zum Ziel haben mögliche Wirkmechanismen zu berücksichtigen. Ebenso können hier Kontextfaktoren in der Analyse berücksichtigt werden. Ein mögliches Verfahren wäre hier das Process Traicing (vgl. Beach & Pedersen, 2013; Muno, 2016).

Fazit

Welcher Auswertungsweg der richtig ist, hängt natürlich von der Fragestellung und dem vorliegenden Datenmaterial ab. Wichtig ist aber auf jeden Fall, dass bei einer Wirkungsanalyse die Kontextfaktoren immer miteinbezogen werden. Dies sollte allerdings nicht erst bei der Analyse, sondern auch schon bei der Erstellung von Wirkmodellen und bei den theoretischen Überlegungen, welche Wirkungen ein Angebot oder eine Maßnahme in der Sozialen Arbeit erzielen kann, mitgedacht werden.

Literaturverzeichnis

• Arzheimer, K. (2016). Strukturgleichungsmodelle: eine anwendungsorientierte Einführung (Methoden der Politikwissenschaft). Wiesbaden: Springer VS.
• Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
• Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
• Bartsch, S., Beywl, W. & Niestroj, M. (2016). Der Programmbaum als Evaluationsinstrument. In S. Giel, K. Klockgether & S. Mäder (Hrsg.), Evaluationspraxis: Professionalisierung – Ansätze – Methoden (2. Auflage, S. 89–111). Münster: Waxmann Verlag.
• Beach, D. & Pedersen, R. B. (2013). Process-tracing methods: foundations and guidelines. Ann Arbor: University of Michigan Press.
• Hayes, A. F. (2013). Introduction to mediation, moderation, and conditional process analysis: a regression-based approach. New York: The Guilford Press.
• Kline, R. B. (2016). Principles and practice of structural equation modeling (4. Auflage). New York: The Guilford Press.
• Muno, W. (2016). Fallstudien und Process Tracing in der Vergleichenden Politikwissenschaft. In H.-J. Lauth, M. Kneuer & G. Pickel (Hrsg.), Handbuch Vergleichende Politikwissenschaft (S. 79–90). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-02338-6_6
• Ottmann, S. & König, J. (2019). Wirkungsanalyse in der Sozialen Arbeit. Differenzierung ist nötig. Soziale Arbeit, 68(10), 368–376.

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.