Anfang Oktober fand die Tagung „Wie gemeinwohlorientierte KI gestalten?“ des Caritas Bundesve.rbandes statt. Dort habe ich einen Workshop zum Thema „Datengetriebenes Handeln durch Evaluationen und Wirkungsorientierung“ gehalten (die Folien von meinem Input können hier heruntergeladen werden). In diesem Blog-Beitrag gehe ich auf den Inhalt meines Vortrages und meine Gedanken zum Thema datengetriebenes Handeln in der Sozialen Arbeit und Sozialwirtschaft ein.

Inhaltsverzeichnis des Beitrags Verbergen
1 Was ist datengetriebenes Handeln?
1.1 Der PPDAC-Zyklus
1.2 Datenkompetenz (Data Literacy)
2 Warum datengetriebenes Handeln?
2.1 Vorteile von datengetriebenem Handeln?
2.2 Muss es immer Data-driven sein?
3 Welche Rolle spielen Evaluationen und Wirkungsorientierung?
3.1 Summative und formative Evaluation
3.2 Monitoring
3.3 Wirkungsorientierung
3.4 Evaluation und Wirkungsorientierung liefern fachliche Daten
4 Herausforderungen
4.1 Smart Data & Data Warehouse statt Big Data
4.2 Entwicklung von passenden Datenprodukten
4.3 Datenkompetenz
4.4 Methoden zur Dateninterpretation in der Praxis
5 Was sind die ersten Schritte?
6 Fazit
7 Literatur

Was ist datengetriebenes Handeln?

Bevor wir uns anschauen, warum datengetriebenes Handeln auch in der Sozialen Arbeit und Sozialwirtschaft sinnvoll ist, möchte ich am Anfang darauf eingehen, was es überhaupt bedeutet datengetrieben zu Handeln. Möchte man datengetrieben Handeln, bedeutet dies, dass man für Entscheidungen Daten und Datenanalysen einsetzt, um eine fundierte Grundlage für diese Entscheidung zu haben (vgl. Rashedi, 2022, S. 17).

Der PPDAC-Zyklus

Die zugrundeliegenden Daten können natürlich aus verschiedenen Quellen stammen. So können neben Daten aus dem Finanzcontrolling auch Daten aus der fachlichen Arbeit einfließen – letztere sollten auch immer berücksichtigt werden. Möchte man datenbasiert entscheiden, kann man sich am sogenannten PPDAC-Zyklus (vgl. Spiegelhalter, 2020; Wild & Pfannkuch, 1999) orientieren:

PPDAC-Zyklus: Problem / Fragestellung, Plan, Daten, Analyse, Konklusion / Kommunikation
PPDAC-Zyklus

Im Zyklus durchläuft man folgende Schritte:

  • Der Zyklus beginnt mit der Festlegung des Problems bzw. der Fragestellung.
  • Wurde dieses definiert, kann in einem nächsten Schritt ein genauerer Plan zur Datenbeschaffung erstellt werden.  Hier kann festgelegt werden, wie die benötigten Daten erhoben werden müssen, ob beispielsweise eine eigene Erhebung durchgeführt werden muss oder nicht. In der oben dargestellten Grafik habe ich noch einen Pfeil eingezogen der direkt vom Problem und der Fragestellung zum Punkt „Daten“ geht. Diese Ergänzung habe ich vorgenommen, da ich festgestellt habe, dass in sozialen Organisationen oft schon viele Daten vorliegen (vgl. u. a. Stepanek, Astleithner, Reiter, Lobermeier & Buchheit, 2020). Von daher kann es gut sein, dass gar keine Datenerhebung oder Datenbeschaffung geplant werden muss, sondern vielmehr die vorliegenden Daten systematischer genutzt werden müssen.
  • Unter dem Punkt Daten müssen dann die erhobenen oder bereits vorhandenen Daten für die anstehende Analyse aufbereitet werden. Auch fällt unter diesen Punkt der Aspekt der Datenverwaltung, wenn die Daten regelmäßig erhoben werden und dadurch auch immer wieder aktualisierte Datenbestände vorliegen.
  • Nach der Aufbereitung erfolgt die eigentliche Analyse der Daten. Hier können natürlich bekannte statistische Verfahren zur Datenanalyse eingesetzt werden. Ziel ist es u. a. Muster, Unterschiede oder Zusammenhänge in den Daten zu erkennen, die hilfreich für die anstehende Entscheidung sein können. In diesem Schritt geht es aber auch darum Ergebnisse ansprechend aufzubereiten, damit diese gut von den Entscheidungsträgern*innen genutzt werden können (z. B. in Form von anschaulichen Tabellen und Grafiken).
  • In einem letzten Schritt folgt dann die Konklusion und Kommunikation. Die gefundenen Ergebnisse werden interpretiert und es werden Schlussfolgerungen daraus gezogen. Zudem wird versucht, mit den gefundenen Ergebnissen und Interpretationen die Ausgangsfragestellung zu beantworten bzw. Anhaltspunkte für die Lösung des Ausgangsproblems zu finden.

Datenkompetenz (Data Literacy)

Der dargestellte Prozess ist kompatibel mit neueren Überlegungen zum Thema Datenkompetenz, die von Schüller, Busch & Hindinger (2019) in ein Framework überführt wurden. In der Praxis zeigt sich, dass der PPDAC-Zyklus nicht nur einmalig, sondern immer wieder durchlaufen wird, wenn neue Problem- und Fragestellungen auftreten. Ideal ist es auch diesen Prozess kontinuierlich in die tägliche Arbeit zu implementieren und immer dann, wenn Entscheidungen anstehen, zu prüfen, ob diese auch datengetrieben erfolgen können.

Für eine erfolgreiche Umsetzung in der Praxis ist es wichtig, dass in der Organisation eine entsprechende Datenkultur etabliert ist (vgl. Schüller, Busch & Hindinger, 2019). Darunter versteht man, dass es u. a. ganz selbstverständlich ist, Daten für Entscheidungen heranzuziehen und auch entsprechende Möglichkeiten und Methoden in den Organisationen vorzuhalten. Hierbei zeigt sich aber, dass die Etablierung einer Datenkultur nicht einfach durch eine Verordnung möglich ist, sondern dass diese zusammen mit den Mitarbeitenden erarbeitet werden muss.

Warum datengetriebenes Handeln?

Vorteile von datengetriebenem Handeln?

Nach Rashedi (2022, S. 20 ff.) gibt es insgesamt sechs Aspekte, die als Vorteile datengetriebenen Handelns angesehen werden:

  • Durch (zeitnah vorliegende) Daten können Entscheidungen schneller getroffen werden. Gerade durch die Möglichkeiten der Digitalisierung können immer mehr Auswertungen in „Echtzeit“ erfolgen (z. B. indem man eine Online-Befragung mit der Auswertung direkt verbindet).
  • Durch den Einbezug von Daten kann zum einen die Qualität der Entscheidungen erhöht werden, diese werden aber auch genauer, transparenter und zuverlässiger.
  • Bezieht man Daten in die Entscheidung mit ein, können auch zukunftsbezogene Prognosen erstellt werden. Auch hier gilt:  Sie werden genauer. Denn der Einbezug von Daten liefert bessere Vorhersagen als sich nur auf Vermutungen und Erfahrungswerte zu verlassen. Allerdings können natürlich auch Prognosen daneben liegen, die auf einer (soliden) Datengrundlage basieren. Das sollte man bei der Erstellung und Interpretation von Prognosen immer berücksichtigen.

Diese Vorteile ergeben sich natürlich auch in der Sozialen Arbeit und Sozialwirtschaft. Gleichzeitig zeigt sich aber, dass Daten bei Entscheidungen nicht immer im vollen Umfang berücksichtigt werden. Gerade bei fachlichen Fragen ist dies oft der Fall und Entscheidungen werden eher aus Erfahrungswissen, bzw. wie es Tornow (2022, S. 429) in einem Beitrag nennt „Privat-Theorien“, heraus getroffen.

Muss es immer Data-driven sein?

Daher erscheint es auch innerhalb der Sozialen Arbeit und Sozialwirtschaft sinnvoll, bei Entscheidungen stärker Daten und Ergebnisse aus Datenanalysen einzubeziehen und datengetrieben zu handeln. Wie stark Daten in Entscheidungen eingebunden werden, hängt vom Datenreifegrad der Organisation ab. Hierbei können drei Arten unterschieden werden(vgl. Rashedi, 2022, S. 23; Towards Data Science, 2020):

Data-driven, Data-informed und Data-inspired

Arbeitet eine Organisation Data-driven bedeutet dies, dass Entscheidungen allein auf Basis von Daten getroffen werden und man vollumfänglich den Daten vertraut. Auch ist vorausgesetzt, dass alle benötigten Daten für die Entscheidung vorliegen. Dem gegenüber steht der Reifegrad Data-inspired, bei dem Daten aus unterschiedlichen Quellen genutzt werden. Ziel ist es hier erste Hypothese und Vermutungen aufzustellen, die dann mit Erfahrungen ergänzt werden. In der Mitte dieser beiden Richtungen steht der Reifegrad Data-informed. Bei diesem werden die Daten im Rahmen eines bestimmten Problems oder Fragestellung betrachtet (wie im PPDCA-Zyklus dargestellt), die Entscheidung wird aber nicht allein auf der Datenbasis getroffen, sondern die Daten und Ergebnisse werden kritisch reflektiert (vgl. Rashedi, 2022, S. 23). Bei dem letzten Reifegrad ist daher für die Entscheidung auch die Interpretation und die kritische Auseinandersetzung mit Ergebnissen aus Datenanalysen wichtig und damit spielen die Mitarbeiter*innen in diesem Ansatz eine wichtige Rolle.

In Organisationen der Sozialen Arbeit und Sozialwirtschaft wird eine reine Data-driven Entscheidung nur schwer umsetzbar. Vielmehr sollte hier Ziel sein, dass langfristig Entscheidungen Data-informed getroffen und bei Entscheidungen immer auch Daten und Ergebnisse aus der Analyse dieser mitberücksichtigt werden sollten.

Welche Rolle spielen Evaluationen und Wirkungsorientierung?

Um datenbasierte Entscheidungen treffen zu können, müssen zunächst die relevanten Daten vorhanden sein. In der Praxis zeigt sich, dass in Organisationen der Sozialen Arbeit und Sozialwirtschaft betriebswirtschaftliche Daten schon sehr oft aufbereitet vorliegen und auch für die Entscheidungsfindung herangezogen werden können. Im Hinblick auf die fachliche Arbeit sieht dies aber oft anders aus. Hier liegen nur sehr wenige bis überhaupt keine Daten vor bzw. sind diese nicht systematisch aufbereitet. Die Gefahr besteht also, dass Entscheidungen nur aufgrund von betriebswirtschaftlichen Daten getroffen werden und eine valide fachliche Perspektive außen vor bleibt.

Und genau hier besteht aus meiner Sicht die Rolle von Evaluationen und dem Konzept der Wirkungsorientierung im Rahmen von datengetriebenen Entscheidungen. Mit Evaluationen und Wirkungsanalysen können Daten der fachlichen Arbeit erhoben und für Entscheidungen aufbereitet und genutzt werden.

Summative und formative Evaluation

Bei Evaluationen wird zwischen der sogenannten summativen Evaluation und der formativen Evaluation unterschieden. Mithilfe einer summativen Evaluation wird am Ende eines Programms oder Angebotes (bzw. zu einem bestimmten Zeitpunkt) überprüft, ob die festgelegten Ziele erreicht wurden. Dies kann beispielsweise die Wirkung des Angebotes sein. Einen anderen Ansatz verfolgt die formative Evaluation: Diese wird über einen längeren Zeitraum durchgeführt, um bereits während eines laufenden Projektes oder Angebotes Anhaltspunkte für dessen erfolgreiche Umsetzung zu erhalten, sodass die gesetzten Ziele auch erreicht werden (vgl. Gollwitzer & Jäger, 2014, S. 30 f.).

In der Praxis wird aus meiner Sicht öfter eine summative Evaluation am Ende eines Projektes beauftragt. Doch den meisten Gewinn für die fachliche Arbeit erzielt man durch die Kombination beider Evaluationsarten. Evaluation sollte immer von Anfang an bei neuen Angeboten und Projekten mitgedacht und über einen bestimmten Zeitraum durchgeführt werden. Durch dieses Vorgehen ist die Erfassung von Daten der regelmäßigen Arbeit möglich und diese können in Entscheidungen berücksichtigt werden.

Monitoring

Oft wird im Rahmen von Evaluationen auch von Monitoring gesprochen. Ein Monitoring ist eine Datenerhebung zu „aufeinanderfolgenden Zeitpunkten zu gleichen Merkmalen eines Programms“ (EvalWiki, 2015). Auch wenn das Monitoring einer formativen Evaluation ähnelt, wird es als eigenständiger Bereich angesehen. Dies liegt sicherlich auch daran, dass das Monitoring meistens von den Organisationen durchgeführt wird, die ein Angebot anbieten, während Evaluationen oft extern vergeben werden. Da es aber eine Überschneidung gibt, kann der Aufbau eines Monitorings auch Teil einer Evaluation sein.

Genauso wie bei der formativen Evaluation werden auch im Rahmen des Monitorings Daten über die fachliche Arbeit erhoben. Jede Organisation muss selbst festlegen, was bei den einzelnen Angeboten genau erfasst werden soll. Im Hinblick auf die Frage nach den Wirkungen der eigenen Arbeit ergibt es Sinn, ein wirkungsorientiertes Monitoring aufzubauen.

Wirkungsorientierung

Und damit wären wir dann auch bei der Wirkungsorientierung angekommen. Unter Wirkungsorientierung versteht man die „Forderung nach der Hinwendung zu Wirkung sozialer Dienste“ (Polutta, 2013, S. 118). Auch wenn in der Praxis die Diskussion immer sehr stark auf die empirische Erfassung von Wirkungen abzielt, zeigt sich, dass der Prozess der Wirkungsorientierung umfänglicher ist:

Impelemntierungskreislauf Wirkungsorieniterung: Verständigen, Entwickeln, Analysieren, Weiterentwickeln, Berichten und Skalieren
Implementierungskreislauf Wirkungsorientierung (in Anlehnung an Ottmann & König 2019)

Und mit dieser Grafik schließt sich der Kreis zwischen datengetriebenem Handeln, Evaluation bzw. Monitoring und Wirkungsorientierung. Ergebnisse aus Wirkungsanalysen und Evaluationen sollten nach Möglichkeiten regelmäßig interpretiert und ausgewertet werden, damit sie Grundlage für mögliche fachliche Weiterentwicklungen sein können.

Evaluation und Wirkungsorientierung liefern fachliche Daten

Wie dieser kleine Exkurs in die Welt der Evaluation und Wirkungsorientierung hoffentlich aufgezeigt hat, liefern Evaluationen und ein wirkungsorientiertes Monitoring fachliche Daten die bei datenbasierten Entscheidungen zum einen unbedingt benötigt werden, zum anderen (neben z. B. betriebswirtschaftlichen und anderen Daten) immer auch berücksichtigt werden sollen.

Um dies sicherzustellen, muss zudem darüber nachgedacht werden, wie Ergebnisse von Evaluationen und Monitoring bereitgestellt werden. Für eine gute Arbeit mit den Ergebnissen ist ein Abschlussbericht im PDF-Format eher hinderlich. Vielmehr müssen die Ergebnisse und Daten so bereitgestellt werden, dass die Fachkräfte möglichst einfach und ohne großen Aufwand auf diese zugreifen können. Eine Möglichkeit sind hier Dashboards oder automatisierte Reportingformate, die in Organisationen der Sozialen Arbeit und Sozialwirtschaft implementiert werden.

Herausforderungen

Zum Ende des Beitrages soll noch kurz auf Herausforderungen im Hinblick auf das datengetriebene Entscheiden in der Sozialen Arbeit und Sozialwirtschaft eingegangen werden.

Smart Data & Data Warehouse statt Big Data

Auch wenn der Begriff Big Data in aller Munde ist, zeigt sich das für die Praxis Big Data nicht immer das Beste ist. Es braucht nicht möglichst viele und große Datenbestände, sondern sinnvolle und gut zu nutzende Daten (sog. Smart Data). Die Herausforderung in der Sozialen Arbeit und Sozialwirtschaft ist, bereits bestehende Daten die in unterschiedlichen Systemen gespeichert werden, in einem zentralen Data Warehouse zur Verfügung zu stellen.

Unter einem Data Warehouse kann man sich eine große Datenbank vorstellen, in der Daten aus verschiedenen Quellen gespeichert werden und für das Reporting und Analysen aufbereitet werden:

Funktion und Aufbau eines Data Warehouse

Daher wird der erste Schritt auf dem Weg zu datenbasierten Entscheidungen die Zusammenführung und Aufbereitung von verschiedenen Datenquellen sein.

Entwicklung von passenden Datenprodukten

Wurden die Datenquellen in einer Organisation aufbereitet, besteht der nächste Schritt darin passende Datenprodukte zur Verfügung zu stellen. Die Fachkräfte werden kaum mit den Rohdaten arbeiten, sondern möchten zentrale Ergebnisse einfach abrufen.

In den letzten Jahren sind hier die Möglichkeiten mit sogenannten BI-Tools wie Tableau, Qlik oder Microsoft Power BI enorm angestiegen. Wichtig aus meiner Sicht ist hier aber, dass nach Möglichkeit die Daten und Datenprodukte auf eigenen Server der Organisation liegen. Daher kommen die genannten Lösungen in der Cloud oft nicht in Frage. Doch auch mit der Statistiksprache R können Datenprodukte erstellt werden und es gibt zudem BI-Tools, die sich auf dem eigenen Server installieren lassen, wie z. B. Metabase.

Welche Datenprodukte dann für Entscheidungen in der Praxis benötigt werden, sollte immer mit den Mitarbeitenden und Fachkräften vor Ort erarbeitet werden. Es gibt hier viele verschiedene Möglichkeiten, beispielsweise Dashboards. Manchmal kann auch schon eine automatisierte Reportinglösung ausreichend sein, die z. B. halbjährlich ausgeführt werden kann. Wichtig ist hierbei, dass Datenprodukte langfristig in die Organisation implementiert werden und sie auch dafür geeignet sind, dass die Mitarbeitenden bei auftretenden Fragestellungen und fachlichen Problemen mit diesen arbeiten können.

Datenkompetenz

Sobald Datenprodukte zur Verfügung gestellt werden, muss auch eine entsprechende Datenkompetenz bei den Mitarbeitenden vorhanden sein. Unter Datenkompetenz wird die Fähigkeit verstanden, mit Daten kompetent umzugehen. Gerade wenn Datenprodukte intensiv genutzt und darauf aufbauend datenbasierte Entscheidungen getroffen werden sollen ist diese Kompetenz enorm wichtig.

Können bei einem Abschlussbericht noch methodische Erläuterungen eingefügt oder bestimmte Ergebnisse interpretiert werden, ist dies bei der Verfügungsstellung von Datenprodukten nur noch zum Teil möglich. Daher muss der Anwender wissen, welche Daten wie aussagekräftig sind und wie Ergebnisse von Datenanalysen interpretiert werden können.

Aus diesen Gründen muss Datenkompetenz zukünftig in der Ausbildung und im Studium von Fachkräften der Sozialen Arbeit und Sozialwirtschaft (noch mehr) vermittelt werden. Ein guter Anhaltspunkt für die Facetten von Datenkompetenz, ist das Framework von Schüller, Busch & Hindinger (2019).

Methoden zur Dateninterpretation in der Praxis

Neben der Datenkompetenz wird es zukünftig in der Sozialen Arbeit und Sozialwirtschaft regelmäßige Räume und Formate geben müssen, in denen man sich mit den erhobenen und aufbereiteten Daten und Ergebnissen aus Datenanalysen auseinandersetzen kann. Hierbei ist es aus meiner Sicht auch wichtig, dass auf eine Sammlung von möglichen Methoden zurückgegriffen werden kann, um diesen Prozess selbständig als Organisation zu durchlaufen.

Was aus meiner Sicht auf jeden Fall immer berücksichtigt werden sollte sind die Schritte Visualisieren, Interpretieren und Aktion (sog. VIA-Methode, vgl. Ottmann & König, 2023):

  • In einem ersten Schritt werden die erhobenen Daten visuell aufbereitet. Beispielsweise mit Grafiken oder – wenn die Daten in Tabellen vorliegen – mit einer sogenannten Heatmap, bei denen bestimmte Werte der Tabelle farblich hervorgehoben werden.
  • Danach müssen die Daten und evtl. Ergebnisse aus Datenanalysen interpretiert werden. Hier ist es wichtig, dass entsprechende Formate und Räume zur Verfügung stehen. Idealerweise werden hier unterschiedliche Perspektiven berücksichtigt. Dies bedeutet, dass nicht nur die Fachkräfte sich über die Daten austauschen, sondern man auch in den Dialog mit Vertreter*innen der Angebotsnutzenden geht oder die Daten zusammen mit dem Förder- bzw. Kostenträger interpretiert. In diesem Schritt kann man überprüfen, welche Daten und Ergebnisse so erwartet wurden, aber auch welche überraschend sind und überlegen woran dies liegen kann.
  • In einem letzten Schritt sollten dann aufgrund der Ergebnisse sowie der Interpretation und Diskussion mögliche Handlungen und fachliche Weiterentwicklungen abgeleitet werden. Wurden hier mehrere gefunden lohnt es sich diese zu priorisieren. Beispielsweise kann man das anhand des Mehrwertes für die Nutzer*innen und dem erwarteten Aufwand für die Umsetzung machen.

Was sind die ersten Schritte?

Nachdem Sie die Ausführungen zum Thema datengetriebenes Handeln in der Sozialen Arbeit und Sozialwirtschaft gelesen haben, stellt sich Ihnen vielleicht die Frage: Wo fangen wir denn an, wenn wir das zukünftig machen möchten?

Ein erster Schritt wäre hier, die bereits bestehenden Daten in Ihrer Organisation zu erfassen. Prüfen Sie, welche Daten bereits in Ihrer Organisation erhoben werden und notieren Sie auch, ob diese regelmäßig erhoben werden oder nur einmalig vorliegen. Danach haben Sie einen ersten Eindruck, welche Daten bereits existieren und in Entscheidungen einbezogen werden können.

In einem nächsten Schritt können Sie dann im Team klären, welche weiteren Daten hilfreich wären, wenn es darum geht auf Basis dieser Daten Entscheidungen zu treffen.

Auch empfiehlt es sich in der Praxis das Konzept im Rahmen eines ersten kleinen Pilotprojektes anzuwenden. Hierbei kann man mögliche neue Methoden erarbeiten, zeitnah anwenden und sieht oft schnell erste Erfolge. Durch solche kleinen Projekte kann auch der Mehrwert, der sich durch ein datengetriebenes Handeln ergibt, sichtbar und greifbar gemacht werden.

Fazit

Aus meiner Sicht wird es auch in der Sozialen Arbeit und Sozialwirtschaft in der Zukunft immer wichtiger, Entscheidungen auf guten und validen Daten zu treffen. Daher sollten sich Organisationen frühzeitig mit diesem Thema auseinandersetzen.

Wichtig ist hierbei, dass Entscheidungen nicht nur auf Basis betriebswirtschaftlicher Daten getroffen werden, sondern auch fachliche Daten in die Entscheidung miteinfließen. Hier sehe ich ein großes Potenzial, das Konzept der Wirkungsorientierung mit dem Konzept des datengetriebenen Handelns miteinander zu verbinden und zusammen einzuführen. Mit dem Aufbau von wirkungsorientierten Monitoringsystemen ist es möglich, langfristig und systematisch Daten (und Erfolge) der fachlichen Arbeit zu erfassen und diese in Entscheidungsprozesse miteinzubeziehen.

In der Sozialen Arbeit und Sozialwirtschaft wird es aber immer zentral sein, dass Entscheidungen nicht allein auf Daten getroffen werden. Vielmehr erscheint hier ein Data-informed-Vorgehen sinnvoll. Daten sind, im Rahmen eines datengetriebenen Handelns, die Grundlage für Entscheidungen, sie werden aber auch kritisch bewertet und die Kompetenzen und Erfahrungen der Fachkräfte wird bei Entscheidungen mit berücksichtigt.

Alles in allem sehe ich grundsätzlich im Konzept des datengetriebenen Handelns, ebenso wie in der Wirkungsorientierung, einen großen Mehrwert für Organisationen der Sozialen Arbeit und Sozialwirtschaft, gerade auch im Hinblick auf die Sprachfähigkeit über die Erfolge und Wirkungen der eigenen Arbeit.

Haben Sie schon Erfahrungen mit datengetriebenem Handeln in der Sozialen Arbeit und Sozialwirtschaft? Gerne können Sie Ihre Erfahrungen in den Kommentaren hinterlassen.

Literatur

Gleich weiterlesen...