Wirkungsorientiertes Monitoring in der Sozialen Arbeit implementieren

Möchte man die Wirkungen von Angebot und Maßnahmen der Sozialen Arbeit in den Blick nehmen, sollte der erste Schritt die Entwicklung eines Wirkmodells oder die Anpassung eines Ankerwirkmodells sein. Hier wird dargestellt, mit welchen Wirkungen man in den Angeboten rechnet. Um diese dann auch empirisch erfassen zu können, ist im nächsten Schritt ein wirkungsorientiertes Monitoring nötig. In diesem Beitrag erläutere ich, was man darunter versteht und welche Aspekte man bei der Entwicklung und Implementierung in Angeboten der Sozialen Arbeit berücksichtigen sollte.

Was versteht man unter Monitoring?

Bevor wir uns das Konzept des wirkungsorientierten Monitorings näher anschauen, sollten wir in einem ersten Schritt klären, was man unter dem Begriff Monitoring versteht. Hierbei orientieren wir uns an der Begriffsverwendung im Rahmen von Evaluationen und definieren Monitoring wie folgt:

Unter Monitoring versteht man “die Erhebung von Daten zu aufeinander folgenden Zeitpunkten zu gleichen Merkmalen eines Programmes.”

EvalWiki, 2015

Mit einem Monitoring wird ein Erhebungssystem aufgebaut, mit dem Daten im Längsschnitt erhoben werden können. Die Erhebung wird somit nicht nur einmal, sondern zu mehreren Erhebungszeitpunkten durchgeführt. Dies kann etwa der Anfang und das Ende von einem Beratungsangebot sein.

Wie wird das Monitoring wirkungsorientiert?

Doch wie wird jetzt ein Monitoring wirkungsorientiert? Um Wirkungen von Angeboten in der Sozialen Arbeit erfassen zu können, muss in einem ersten Schritt erfasst und dargestellt werden, welche Veränderungen oder Stabilisierungen es bei der Zielgruppe des Angebotes gibt. Da mit einem Monitoringsystem Daten im Längsschnitt erhoben werden, ist eine valide Erhebung von diesen Veränderungen und Stabilisierungen möglich.

Grundlage des wirkungsorientierten Monitorings ist immer das zuvor entwickelte Wirkmodell. Im Rahmen des Monitorings werden die definierten Outcomes und Kontextfaktoren so operationalisiert, dass diese mit den erhobenen Daten erfasst werden können. Hierdurch wird das Monitoring zu einem wirkungsorientierten Monitoring. Im Rahmen eines wirkungsorientierten Monitorings wird vor allem mit sogenannten geschlossenen Fragen gearbeitet. Das bedeutet, dass mögliche Antwortoptionen vorgegeben sind und nicht wie bei offenen Fragen eine (freie) Textantwort gegeben wird. Durch die Festlegung auf dieses Fragenformat ist die Realisierung einer großen Befragungsstichprobe möglich, was gerade im Hinblick auf Aussagen zu Effekten und Wirkungen wichtig ist.

Zu beachten ist aber, dass mit einem solchen Monitoringsystem in einem ersten Schritt nur Effekte erfasst werden: Anhand der Daten kann zunächst nur gezeigt werden, dass es bei der Zielgruppe zu Veränderungen oder Stabilisierungen gekommen ist. Um darüber hinaus auch eine Wirkung nachzuweisen, muss nicht nur diese Veränderungen oder Stabilisierungen der Zielgruppe dargestellt werden, sondern es muss zudem nachgewiesen werden, dass diese durch das Angebot zustande kamen (kausaler Mechanismus!). Dieser Nachweis kann man mit einem Vergleichsgruppendesign erbringen. Da dieses innerhalb der Sozialen Arbeit aber oft nur schwierig oder gar nicht umgesetzt werden kann, gehen ich am Ende des Beitrages auf die Methode der Wirkungsplausibilisierung ein. Mit dieser erhält man zumindest eine Einschätzung über den kausalen Mechanismus und kann dann von plausibilisierten Wirkungen des untersuchten Angebotes sprechen.

In 4 Schritten zum wirkungsorientierten Monitoring

Möchte man ein wirkungsorientiertes Monitoring für die eigenen Angebote in der Sozialen Arbeit und Sozialwirtschaft aufbauen und implementieren, kann man sich an nachfolgenden Schritten orientieren. Zu Beginn lohnt es sich natürlich, zu schauen, ob für die Angebote oder den Arbeitsbereich bereits entsprechende Systeme vorhanden sind. Zudem zeigt sich in der Praxis, dass oft auch eine Entwicklung in einem Verbund mit mehreren Einrichtungen und Träger interessant sein kann. Zum einen macht hier die gemeinsame inhaltliche Entwicklung Sinn, zum anderen ist es dann aber auch möglich, Ergebnisse im Rahmen eines fachlichen Benchmarks zu vergleichen. Bei der Entwicklung sollten auch immer Vorgaben vom Kostenträger berücksichtigt werden bzw. kann dieser an der Entwicklung beteiligt werden. Im Hinblick auf die spätere Legitimierung der eigenen Arbeit kann dies sinnvoll sein.

Erhebungszeitpunkte festlegen

In einem ersten Schritt sollte festgelegt werden, wie viele Erhebungszeitpunkte es im wirkungsorientierten Monitoring gibt. Um Veränderungen oder Stabilisierungen valide erfassen zu können, müssen es mindestens zwei sein!

Der erste Erhebungszeitpunkt (M1) ist immer, wenn ein Teilnehmender bzw. Besucher in das Angebot aufgenommen wird. Bei Angeboten mit einer festen Laufzeit sollte die zweite Erhebung (M2) am Ende der Maßnahme bzw. des Angebotes durchgeführt werden. Bei Angeboten, die langfristig angelegt sind und kein festes Ende haben, empfiehlt sich eine jährliche Erhebung.

Neben diesen zwei Mindestzeitpunkten kann man natürlich noch weitere Erhebungszeitpunkte festlegen (linker Teil der obigen Grafik). So kann beispielsweise zur Mitte der Laufzeit eine weitere Erhebung durchgeführt werden. Der Vorteil hierbei ist, dass man schon während der Maßnahme sieht, ob die gewünschten Veränderungen eintreten und man ggf. auch pädagogisch auf nicht gewünschte Entwicklungen reagieren kann.

Weiterhin ist eine Befragung nach Angebotsende möglich. Die Wirkungen, die in Angeboten der sozialen Arbeit und Sozialwirtschaft erzielt werden, sollten nachhaltig sein. Insofern ist es sinnvoll, dies auch im wirkungsorientierten Monitoringsystem abzubilden. So kann etwa ein Erhebungszeitpunkt ein halbes Jahr nach Beendigung des Angebotes geplant werden. Hierbei muss jedoch beachtet werden, dass nicht alle Teilnehmenden nach einem halben Jahr auch noch erreichbar sind. Insofern ist bei solchen Nachbefragungen die sog. Drop-Out-Quote recht hoch. Mitdenken sollte man dies aber auf jeden Fall.

Abschließend kann man daher zu den Erhebungszeitpunkten festhalten: Mindestens zwei müssen es sein. Einer zu Beginn der Teilnahme am Angebot und einer am Ende des Angebotes oder bei kontinuierlichen Angeboten jährlich. Weitere Erhebungszeitpunkte könnten individuell auf das Angebot passend festgelegt werden.

Selbsteinschätzung vs. Fremdeinschätzung

In einem nächsten Schritt muss festgelegt werden, welche Wirkungen im Rahmen einer Selbsteinschätzung durch die Teilnehmenden erhoben werden sollen und bei welchen eine Fremdeinschätzung durch die Fachkräfte erfolgen soll.

Auch hier zeigt sich wieder: die Mischung machts! Idealerweise werden in einem wirkungsorientierten Monitoring Selbst- und Fremdeinschätzung kombiniert. Dies hat den Vorteil, dass dann auch – sofern Items bei beiden Erhebungen berücksichtigt werden – ein Vergleich erfolgen kann, d. h. man kann dadurch überprüfen, ob Selbst- und Fremdeinschätzung nah beieinander liegen oder es hier unterschiedliche Sichtweisen gibt.

Bei der Entwicklung von Erhebungsinstrumenten zeigt sich, dass subjektive Aspekte besser in einer Selbsteinschätzung erfragt werden, z. B. die Zufriedenheit mit der aktuellen Wohnsituation. Bei Aspekten, bei denen ein objektiver Blick nicht schlecht ist, zum Beispiel beim Wissenserwerb oder dem Vorhandensein von Kompetenzen, ist dagegen die Fremdeinschätzung oft die bessere Wahl.

Abschließend kann man bei der Frage, ob Selbst- oder Fremdeinschätzung oder beides, festhalten: Ein richtig oder falsch gibt es nicht, sondern es sollten eher die Gegebenheiten vor Ort in den Angeboten berücksichtigt werden, um entscheiden zu können, welchen Anteil die beiden Erhebungsmethoden jeweils haben sollten.

Aus Partizipationsaspekten sollte aber immer versucht werden auch eine Selbsteinschätzung zu realisieren, ggf. mit Unterstützung bei der Beantwortung des Fragebogens.

Bei einer Fremdeinschätzung führen oft die Fachkräfte in den Angeboten die Erhebung durch. Hier gibt es immer wieder Rückfragen, wie objektiv eine solche Erhebung sein kann. Es empfiehlt sich klare Vorgaben zum Vorgehen zu machen und mit sog. Ankerbeispielen aufzuzeigen, welche Aspekte genau bewertet werden müssen. Dies hat den Vorteil, dass nicht jede Fachkraft selbst sich Bewertungsmaßstäbe ausdenken muss, sondern diese einheitlich verwendet werden. In diesem Zusammenhang ist natürlich auch wichtig, wofür die Ergebnisse später verwendet werden. Die Objektivität kann natürlich beeinflusst sein, wenn schon zuvor klar ist, dass von den Ergebnissen mögliche Finanzierungen des Angebotes abhängen. Insofern sollte dies von Anfang an ausgeschlossen und mit den Ergebnissen der fachliche Diskurs im Rahmen einer Fachberatung zwischen Leistungserbringer und Kostenträger gesucht werden.

Indikatoren für das wirkungsorientierte Monitoring auswählen und entwickeln

Wurde festgelegt, welche Elemente des Wirkmodells im Rahmen des wirkungsorientierten Monitorings mit einer Fremd- und Selbsteinschätzung erhoben werden, müssen in einem nächsten Schritt Indikatoren entwickelt werden.

Hierbei spricht man von einer Operationalisierung. Im Rahmen dieses Prozesses werden nicht direkt beobachtbare Konstrukte (z. B. Soziale Kompetenz) in beobachtbare Indikatoren ‚übersetzt‘. Meistens erfolgt dies, indem die Outcomes oder Kontextfaktoren in Unterdimensionen unterteilt werden. Nehen wir als Beispiel das Outcome „soziale Kompetenz erwerben“. Dieses kann u. a. in die Unterdimensionen Konfliktfähigkeit und Kommunikationsfähigkeit unterteilt werden.

Im letzten Schritt werden dann für die Unterdimensionen Items gesucht, die direkt beobachtbar bzw. bewertbar sind. Bei der Kommunikationsfähigkeit könnte ein Item folgendes sein: „Der Teilnehmende beginnt von sich aus mit anderen Personen ein Gespräch.“

In nachfolgender Grafik wird der Vorgang der Operationalisierung nochmals dargestellt:

Neben der Entwicklung der Indikatoren und Items muss auch festgelegt werden auf welchem Skalenniveau diese gemessen werden.

Wenn es nicht um die Erfassung von Einheiten (Anzahl an Personen etc.) geht, werden Items im Rahmen von Erhebungen meistens auf einem ordinalen Skalenniveau erfasst. Hierbei werden verschiedene Aussagen zur Bewertung festgelegt und man kann dann auf einer Antwortskala seine Einschätzung angeben; man spricht in diesem Zusammenhang auch von Ratingskalen:

Bei der Entwicklung von solchen Antwortskalen gibt es immer wieder eine Diskussion, wie viele Skalenpunkte verwendet werden sollen. Prinzipiell gibt es hier kein richtig oder falsch. Sinnvoll ist es eine gerade Anzahl zu verwenden, da dann eine Mitte auf der Skala vermieden wird (und damit auch die Tendenz zur Mitte bei der Beantwortung). Zudem haben sich aus meiner Sicht vier bzw. sechs-stufige Skalen als sehr praktikabel erwiesen. Wer es genauer wissen möchte, kann sich auch die GESIS Survey Guidelines zu Ratingskalen durchlesen (vgl. Menold & Bogner, 2015).

Der Operationalisierungsprozess hört sich recht aufwendig an. Um ihn zu vereinfachen, lohnt es sich, auf bereits bestehende Erhebungsinstrumente zurückzugreifen. In einem ersten Schritt ist es daher sinnvoll zu prüfen, welche Erhebungen bereits standardmäßig im Angebot oder der Einrichtung durchgeführt werden bzw. welche Daten vorliegen. Evtl. können diese auch systematisch in das wirkungsorientierte Monitoring integriert werden.

Zum anderen gibt es zu bestimmten Themen und Konstrukten bereits Erhebungsinstrumente, die in eigenen Erhebungen verwendet werden dürfen (meistens durch Angabe der Quelle oder durch Zahlung einer Nutzungsgebühr). Für die Erfassung von Lebensqualität gibt es unter anderem die Personal Outcomes Scale (POS).

Eine weitere gute Recherchemöglichkeit für bestehende Messinstrumente ist das ZIS der GESIS, in dem sozial- und verhaltenswissenschaftliche Instrumente veröffentlicht werden, aber auch Datenbanken aus dem Bereich Psychologie und Bildungswissenschaften durchsucht werden können.

Wie erheben wir? – Papier- oder Online-Fragebogen

Wurde das Erhebungsinstrument für das wirkungsorientierte Monitoring entwickelt, stellt sich die Frage, wie die Erhebung praktisch durchgeführt wird.

Meistens steht man hier vor der Entscheidung, ob der Fragebogen auf Papier verteilt oder im Rahmen einer Online-Umfrage durchgeführt wird. Beides hat seine Vor- und Nachteile auf die ich kurz eingehen möchte.

Bei der Befragung mit einem Print-Fragebogen ist der Zugang zur Befragung einfach. Allerdings ist der Aufwand für die Datenerfassung höher als bei einem Online-Fragebogen. Auch ist es auf einem Papier-Fragebogen schwierig umfangreiche Sprünge im Fragebogen zu integrieren(z. B. wenn Sie bei Frage 1 ja angekreuzt haben, gehen Sie zu Frage 5).

Der Vorteil einer Online-Erhebung ist die automatisierte Datenerfassung und der dadurch geringe Kostenaufwand. Allerdings muss bei einem Online-Fragebogen darauf geachtet werden, dass die Barrierefreiheit gegeben ist und auch die Zielgruppe den Fragebogen erreichen kann, also über einen Internetanschluss verfügt.

Gerade der letzte Punkt sollte das entscheidende Argument sein bei der Entscheidung zwischen Print oder Online. Wenn die Zielgruppe nicht gut online erreichbar ist, sollte ein Papier-Fragebogen eingesetzt werden.

Wird das Monitoring als Online-Erhebung umgesetzt, kann ich die Lösungen von Lamapoll und Limesurvey empfehlen. Beide verfügen über eine sogenannte API-Schnittstelle, mit der man die Datenauswertung so gestalten kann, dass immer der aktuelle Datenstand abgerufen wird. Limesurvey kann auch auf einem eigenen Server installiert werden.

Reporting und Wirkungsplausibilisierung

Wurden die Daten des wirkungsorientierten Monitorings erhoben ist der nächste Schritt die Auswertung und vor allem das Reporting der Ergebnisse.

Gerade beim Reporting ist aus meiner Sicht wichtig, dass die Ergebnisse auch wieder zurück an die Fachkräfte im Angebot gespielt werden. Im Idealfall können diese selbstständig die Ergebnisse abrufen und beispielsweise auch Gruppenvergleiche durchführen oder verschiedene Erhebungsjahre vergleichen. Dies ist gut mit sogenannten Auswertungs-Dashboards möglich (hierzu habe ich in der Zeitschrift für Evaluation einen Artikel veröffentlicht, vgl. Ottmann, 2021). Durch dieses Vorgehen ist sichergestellt, dass die Daten und Ergebnisse auch in die fachliche Arbeit einfließen und ggf. Weiterentwicklungsbedarfe hinsichtlich des Angebotes ersichtlich werden.

Im Hinblick auf das Reporting gegenüber dem Kostenträger und der Politik empfiehlt sich die Nutzung des Social Reporting Standards. Auch hier können die gefundenen Effekte dargestellt werden.

Aber wieso schreibe ich jetzt von Effekten? Wollten wir mit dem wirkungsorientierten Monitoring nicht Wirkungen erfassen? Richtig, das möchten wir, aber wenn wir die erhobenen Daten auswerten, müssen wir in einem ersten Schritt von Effekten sprechen. Denn wir können an den Ergebnissen nur sehen, ob es gewünschte Veränderungen oder Stabilisierungen bei der Zielgruppe gegeben hat. Ob diese durch das konkrete Angebot der Sozialen Arbeit ausgelöst wurden oder durch andere Faktoren (z. B. das soziale Umfeld) ist nicht ersichtlich. Um aber von einer Wirkung sprechen zu können, muss auch der kausale Mechanismus betrachtet werden. Wenn wir also von der Wirkung eines Angebotes der Sozialen Arbeit sprechen, sollten wir auch schauen, ob das Angebot die Veränderungen und Stabilisierungen ausgelöst hat.

Wie oben bereits beschrieben, kann dies in einem ersten Schritt (und vor allem immer dann, wenn kein Vergleichsgruppendesign realisiert werden kann) mit einer sogenannten Wirkungsplausibilisierung erfolgen. Bei diesem Verfahren wird versucht, die Wirkung des Angebotes durch Einschätzungen von verschiedenen Personengruppen zu plausibilisieren. Das kann durch Workshops mit Fachkräften erfolgen oder in Gesprächen mit Teilnehmenden am Angebot. Es geht dabei immer um die Frage, welchen Anteil das Angebot an den gefundenen Veränderungen und Stabilisierungen hat und welche anderen Faktoren diese bewirkt haben könnten.

In einem der nächsten Blog-Beiträge werde ich auf die Methode der Wirkungsplausibilisierung nochmals genauer eingehen und auch die Möglichkeiten von Dashboards noch mal näher darstellen.

Fazit

In diesem Beitrag wollte ich darstellen, was ein wirkungsorientiertes Monitoring ist und welche zentralen Aspekte bei der Entwicklung und Implementierung beachten werden müssen. Für die Arbeitsbereiche der Sozialen Arbeit wäre es aus meiner Sicht ein wichtiger Schritt, wenn solche Systeme zukünftig in Angebote und Maßnahmen implementiert werden, um besser die eingetretenen Effekte und plausibilisierten Wirkungen darstellen zu können. Um den Entwicklungsaufwand für einzelne Einrichtungen gering zu halten, lohnt sich natürlich der Zusammenschluss mit anderen Einrichtungen. Zumal hierbei auch ein fachlicher Austausch im Prozess entsteht, der sehr bereichernd ist.

Wenn Sie schon Erfahrungen mit einem wirkungsorientierten Monitoring oder ähnlichen Systemen haben, können Sie diese gerne in den Kommentaren hinterlassen.

Sollten Sie noch weitere Fragen zum Thema wirkungsorientiertes Monitoring haben oder sich auf den Weg der Entwicklung und Implementierung machen und noch eine wissenschaftliche Begleitung benötigen, können Sie sich gerne bei mir melden. Am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg begleiten meine Kolleg*innen und ich gerne den Entwicklungs- und Implementierungsprozess.

Literatur

• EvalWiki. (2015). Monitoring (21. Februar 2015). Zugriff am 7.6.2018. Verfügbar unter: https://eval-wiki.org/w_glossar/index.php?title=Monitoring&oldid=1363
• König, J. (2016). Praxisforschung in zwölf Arbeitsschritten: Handlungswissen im Überblick (Soziale Arbeit Grundwissen). In J. König (Hrsg.), Praxisforschung in der Sozialen Arbeit (1. Auflage, Band 18, S. 29–92). Stuttgart: Kohlhammer Verlag.
• Menold, N. & Bogner, K. (2015). Gestaltung von Ratingskalen in Fragebögen. GESIS Survey Guidelines (GESIS Leibniz Institute for the Social Sciences). https://doi.org/10.15465/GESIS-SG_015
• Ottmann, S. (2021). Dashboard-Lösungen als Instrument zur Beteiligung von Fachkräften in Evaluationen und Wirkungsanalysen. Zeitschrift für Evaluation, 20(1), 188–196. https://doi.org/10.31244/zfe.2021.01.09
• Ottmann, S. & König, J. (2022). Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit) (1. Auflage, Band 45). Stuttgart: Kohlhammer Verlag.

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.