Digitalisierung und Wirkungsorientierung

Anfang März haben meine Kollegin Anne-Kathrin Helten und ich einen Impuls auf der Tagung „Wirkung erfassen und Soziale Arbeit“ der Fachhochschule Nordwestschweiz gehalten (die Folien zum Impuls gibt es hier). Es ging um die Frage, wie Digitalisierung die Wirkungsorientierung in der Sozialen Arbeit voranbringen kann. Die Thesen aus unserem Impuls werden in diesem Blogbeitrag dargestellt.

Die hier angeführten Thesen und Herausforderungen basieren auf ersten Gedanken, die in einem Beitrag im Buch „Gegenwart und Zukunft sozialer Dienstleistungsarbeit“ vorgestellt wurden (vgl. Ottmann, 2021).

These I: Datenschätze in Einrichtungen und Organisationen heben

In allen Einrichtungen und Organisationen der Sozialen Arbeit werden bereits Daten erhoben. So wird eine Dokumentation durchgeführt oder auch Verfahren zur Diagnostikerhebung oder Kompetenzfeststellung angewandt. In einigen Fällen werden zudem bereits Angebote oder Interventionen im Rahmen von formativen Evaluationen begleitet und es finden hier regelmäßige Datenerhebungen statt oder es werden anderweitig Prozessdaten erhoben.

Diese Beispiele zeigen, dass es vielerorts einen Datenschatz gibt, der gehoben werden sollte. Dies bedeutet zugleich, dass für die Frage, welche Wirkung mit einem Angebot oder einer Leistung erzielt wird, nicht immer eine neue Datenerhebung einhergehen muss. Vielmehr sollte in einem ersten Schritt geprüft werden, welche Daten in der Einrichtung bereits erhoben werden. Diese Prüfung kann beispielsweise durch die Erarbeitung einer Datenstrategie erfolgen.

Hat man einen Überblick über die erhobenen Daten, sollte in einem zweiten Schritt geklärt werden, ob eine regelmäßige systematische Auswertung dieser Daten erfolgt. Um Aussagen über Effekte der eigenen Arbeit machen zu können, sollten die Daten zudem im Längsschnitt erhoben werden. Dies bedeutet, dass die Erhebung an mindestens zwei Zeitpunkten stattfinden muss.

Durch eine stärkere Digitalisierung in der Sozialen Arbeit ist anzunehmen, dass zukünftig noch mehr Daten (automatisch) erhoben werden. Insofern lohnt es sich, den Blick zunächst auf bereits bestehende Daten zu richten.

These II: Durch die Digitalisierung ist es einfacher, Echtzeitdaten zu nutzen.

Durch digitale Tools können Daten schneller erfasst werden. Ein einfaches Beispiel sind hier Online-Befragungs-Tools. Wurde eine Antwort vom Befragten abgeschickt, ist diese sofort im System abrufbar. Durch sogenannte APIs (application programming interface) kann dann auch in Echtzeit auf solche Daten zugegriffen werden. Diese Möglichkeit gibt es beispielsweise in den Lösungen von LamaPoll und Limesurvey (zu letzterem gibt es hier im Blog auch eine Anleitung, wie man von R auf die Limesurvey-API zugreifen kann. Ein R-Paket für die LamaPoll-API findet man hier.).

So kann in einen Ergebnisreport oder in ein Auswertungsdashboard mithilfe der API ein direkter Datenabruf integriert werden. Das bedeutet, dass bei der Erstellung des Reports oder dem Öffnen des Dashboards immer der aktuellste Datenbestand abgerufen wird. Eine aufwendige Dateneingabe entfällt, dank der Digitalisierung.

Durch die Nutzung von APIs ist es damit möglich, noch schneller relevante Daten aufbereitet zur Verfügung zu haben und diese dann in ein dateninformiertes Handeln einfließen zu lassen.

These III: Durch die Digitalisierung ergeben sich neue direkte Erhebungswege.

Durch digitale Tools ergeben sich innerhalb der Sozialen Arbeit neue Wege, Daten zu erheben. Hier gibt es vorrangig ein Potenzial, Daten direkt von den Nutzer*innen der Angebote zu erfassen. Diese können dann in Wirkungsanalysen oder ein wirkungsorientiertes Monitoring einfließen.

Ein Beispiel für ein solches Tool ist die App iuvivo. Diese wurde vor allem für Beratungsangebote entwickelt und ermöglicht es, dass die Fachkräfte zusammen mit den Nutzer*innen Ziele entwickeln können. Die Nutzer*innen des Angebots können die erarbeiteten Ziele direkt in der App abrufen und auch eine Rückmeldung geben, ob sie im Alltag dieses Ziel erreicht haben. Hierdurch bekommt die Fachkraft eine direkte Rückmeldung. Auch ist es möglich, weitere Erhebungen in die App einzubinden.

Durch Tools, wie die iuvivo App, ist ein direkter Zugang zu den Nutzer*innen von Angeboten möglich und diese können eine direkte Rückmeldung geben. Die so erhobenen Daten können dann auch im Hinblick auf Veränderungen oder Stabilisierungen bei der Zielgruppe eines Angebots ausgewertet werden. Ein großer Vorteil ist, dass kein weiterer Online-Fragebogen nötig ist, auf den der/die Nutzer*in erst geleitet werden muss. Somit bieten solche digitalen Tools nicht nur einen Mehrwert für die fachliche Arbeit zwischen Fachkraft und Nutzer*in, sondern auch im Hinblick auf die Frage nach der Wirkung der eigenen Arbeit und für Evaluationen und Wirkungsanalysen.

These IV: Durch die Digitalisierung ergeben sich neue Auswertungsmethoden.

Durch die stärkere Digitalisierung und die stärkere Verfügbarkeit von Daten wurden in den vergangenen Jahren auch neue Auswertungsmethoden entwickelt. Hier können primär Verfahren des maschinellen Lernens genannt werden, aber auch computerlinguistische Methoden. Ein Vorteil dieser Verfahren ist es, dass hierdurch auch bisher nur aufwendig auswertbare Datenquellen (sogenannte unstrukturierte Daten) erschlossen werden können.

Ein Beispiel aus der Sozialen Arbeit ist das Projekt CASoTex (vgl. Lehmann, Albrecht & Zauter, 2021), das am Institut für E-Beratung an der Technischen Hochschule Nürnberg durchgeführt wurde. Das Projekt ging der Frage nach, ob computerlinguistische Methoden und maschinelle Lernverfahren sozialwissenschaftliche Texte analysieren können.

Grundlage waren Texte aus Foren der Onlineberatung. Die Analyse sollte angelehnt an die Methode der qualitativen Inhaltsanalyse nach Mayring (2015) erfolgen. Im Projekt wurde untersucht, ob das, was sonst händisch im Rahmen der qualitativen Inhaltsanalyse durchgeführt wurde, auch mit Methoden des Text-Minings und mit maschinellen Lernverfahren möglich ist.

Die Ergebnisse aus dem Projekt sind vielversprechend. Mit ausreichend vielen und guten Trainingsdaten ist es möglich, mit überwachten Lernverfahren eine automatisierte Kategorisierung von Texten durchzuführen. Hier entsteht ein großes Potenzial für die Soziale Arbeit, da im Bereich der Dokumentation oft Fließtext erfasst wird und die Daten unstrukturiert vorliegen. Zukünftig könnte es damit möglich sein, solche Dokumentationen auch systematisch auszuwerten und diese in Wirkungsanalysen einfließen zu lassen. Wie genau dies geschehen kann, müssen aber weitere Forschungs- und Praxisprojekte zeigen.

These V: Durch die Digitalisierung ergeben sich neue Formen der interaktiven Ergebnispräsentation.

In den vergangenen Jahren wurden Formen der interaktiven Ergebnispräsentation durch neue Tools vereinfacht bzw. ermöglicht. Ergebnisse aus Evaluationen, Wirkungs- und Datenanalysen müssen nicht mehr in einem PDF-Bericht aufbereitet werden. Viel mehr sollte dies auch nicht mehr geschehen, wenn mit den Ergebnissen (fachlich) gearbeitet werden soll.

Eine interaktive Möglichkeit, Ergebnisse zu präsentieren, bieten Dashboards. In diesen können die Ergebnisse nicht nur dargestellt werden, sondern der/die Benutzer*in hat auch die Möglichkeit eigene Einstellungen vorzunehmen oder sich bestimmte Daten abzurufen, etwa ein Vergleich zwischen zwei Erhebungsjahren. Hier im Blog wurde in einem eigenen Beitrag der Nutzen von Dashboards in Evaluationen und Wirkungsanalysen beschrieben.

Die interaktivere Darstellung von Ergebnissen hat den Vorteil, dass die Ergebnisse oft für die Zielgruppe besser und schneller einsehbar und interpretierbar sind. Zudem können sie effektiver in die fachliche Arbeit einfließen bzw. man kann bei aufkommenden Fragen in der täglichen Arbeit schneller prüfen, ob mit den bestehenden Daten eine Antwort auf diese Frage gegeben werden kann.

Eine Nutzung von solchen interaktiven Tools setzt aber voraus, dass der/die Anwender*in über eine entsprechende Datenkompetenz verfügt. Daher sollen in diesem Beitrag zum Schluss noch zwei Herausforderungen im Hinblick auf Digitalisierung und Wirkungsorientierung benannt werden.

Herausforderung I: Datenkompetenz

Stehen immer mehr Daten und Datenprodukte zur Verfügung, wird es immer wichtiger, dass Nutzer*innen von diesen über eine entsprechende Datenkompetenz (vgl. Schüller, Busch & Hindinger, 2019) verfügen. Unter Datenkompetenz (oder im englischen data literacy) wird verstanden, dass Personen:

• Datenquellen identifizieren können (und ggf. auch selbst Daten bereitstellen).
• Daten auswerten können
• Ergebnisse und Datenprodukte interpretieren können
• und daraus ein Handeln ableiten können.

Letztlich geht es darum, mit der Vermittlung und Stärkung von Datenkompetenz auch eine Datenkultur in einer Organisation zu etablieren. D. h., dass es selbstverständlich ist bei Entscheidungen oder fachliche Fragen auch Daten und Ergebnisse aus entsprechenden Erhebungen einfließen zu lassen.

Daher wird es eine Aufgabe in den kommenden Jahren sein, die Datenkompetenz innerhalb der Sozialen Arbeit zu stärken und auszubauen und diese auch schon frühzeitig in der Ausbildung und im Studium zu vermitteln. Denn nur mit einer umfassenden Datenkompetenz können die neuen Möglichkeiten, die sich im Bereich der Digitalisierung für die Wirkungsorientierung von Sozialer Arbeit ergeben, auch sinnvoll genutzt werden.

Herausforderung II: Sinnvolle Daten zur Verfügung stellen

Auch wenn in der Diskussion immer wieder das Schlagwort Big Data fällt, sind nicht immer große Datenmengen zielführend. Vielmehr müssen zukünftig sinnvolle und gut nutzbare Daten („Smart Data“) zur Verfügung gestellt werden. Nur dann können auch verlässliche und belastbare Aussagen und Ergebnisse aus diesen abgeleitet werden.

Dies bedeutet aber auch, dass im Idealfall Daten aus verschiedenen Datenquellen oder Abteilungen an einem zentralen Ort gespeichert werden. Man spricht hier von einem Data Warehouse.

Ein solches Data Warehouse stellt auch sicher, dass die Daten einer Organisation zentral abrufbar sind (und nicht über einzelne Abteilungen verstreut, sodass andere Abteilungen ggf. von diesen Daten gar nichts wissen). Ziel sollte es dann sein, ausgehend von diesen Daten leicht handhabbare Datenprodukte für die Fachkräfte und Entscheidungsträger*innen in den Organisationen und Einrichtungen zu entwickeln.

Fazit

Auf die Eingangsfrage, wie die Digitalisierung die Wirkungsorientierung in der Sozialen Arbeit voranbringen kann, lautet die Antwort: Es gibt ein großes Potenzial, die Wirkungsorientierung in der Sozialen Arbeit durch die Digitalisierung voranzubringen. Durch die dargestellten Thesen wurde dieses Potenzial deutlicher gemacht. Der nächste Schritt muss nun sein, dieses Potenzial auch zu nutzen. Ein erster guter Schritt könnte hier die Erfassung von bestehenden Daten in der Organisation sein, die Ableitung einer Datenstrategie und die Aufbereitung dieser Daten an einem zentralen Ort (Data Warehouse). Danach können dann weitere Schritte gegangen werden, um sich stärker der Frage zu nähern, welche Wirkungen mit den Angeboten und Leistungen erzielt werden. Wichtig hierbei ist aber auch sich klarzumachen, welche Wirkungen mit den Angeboten und Leistungen denn überhaupt erzielt werden sollen. Dies kann gut durch die Entwicklung eines Wirkmodells erfolgen.

Um einen solchen Prozess gut umsetzen zu können, erscheint eine hohe Datenkompetenz zentral. Daher sollte – wie in der Herausforderung schon benannt – zukünftig verstärkt versucht werden, diese Kompetenz innerhalb der Sozialen Arbeit auszubauen.

Wie ist Ihre Einschätzung zum Thema Digitalisierung und Wirkungsorientierung? Gerne können Sie Ihre Gedanken oder Anmerkungen zu den Thesen in den Kommentaren zu diesem Beitrag hinterlassen.

Literatur

• Lehmann, R., Albrecht, J. & Zauter, S. (2021). Die Computerunterstützte Analyse Sozialwissenschaftlicher Texte – Ergebnisse des Forschungsprojekts „Casotex“ (Perspektiven Sozialwirtschaft und Sozialmanagement). In C. Freier, J. König, A. Manzeschke & B. Städtler-Mach (Hrsg.), Gegenwart und Zukunft sozialer Dienstleistungsarbeit (S. 167–180). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-32556-5_12
• Mayring, P. (2015). Qualitative Inhaltsanalyse: Grundlagen und Techniken (12. Auflage). Weinheim Basel: Beltz Verlag.
• Ottmann, S. (2021). Wie kann die Digitalisierung die Wirkungsorientierung in der Sozialen Arbeit voranbringen? (Perspektiven Sozialwirtschaft und Sozialmanagement). In C. Freier, J. König, A. Manzeschke & B. Städtler-Mach (Hrsg.), Gegenwart und Zukunft sozialer Dienstleistungsarbeit (S. 157–166). Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-32556-5_11
• Schüller, K., Busch, P. & Hindinger, C. (2019). Future Skills: Ein Framework für Data Literacy. Kompetenzrahmen und Forschungsbericht. Hochschulforum Digitalisierung. Zugriff am 7.9.2020. Verfügbar unter: https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD_AP_Nr_47_DALI_Kompetenzrahmen_WEB.pdf

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.