Dashboards in Evaluationen und Wirkungsanalysen nutzen

Daten und Ergebnisse aus Evaluationen und Wirkungsanalysen sollen in der Praxis auch genutzt werden, z. B. um Gelingensfaktoren zu identifizieren oder Weiterentwicklungsbedarfe anzustoßen. Damit dies gut möglich ist, sollten die Ergebnisse entsprechend zugänglich aufbereitet werden. Eine vielversprechende Möglichkeit ist die Darstellung der Ergebnisse in einem interaktiven Dashboard. In diesem Blogbeitrag wird dargestellt, was ein Dashboard ist, welche Vorteile dieses hat und welche Schritte man bei der Entwicklung beachten sollte.

Was ist ein Dashboard?

Spätestens seit der Coronapandemie haben die meisten Menschen schon mal ein Dashboard genutzt, z. B. das Corona-Dashboard des Robert-Koch-Instituts. Doch wie kann nun ein Dashboard definiert werden?

„A dashboard is a visual display of the most important information needed to achieve one or more objectives; consolidated and arranged on a single screen so the information can be monitored at a glance.“

Few, 2004, S. 3, 2013, S. 26

In dieser Definition sind mehrere Aspekte enthalten:

• Ein Dashboard ist keine eigenständige Technologie, sondern eine Darstellungsform. Daher sollte auch bei der Erstellung eines Dashboards die Regeln für eine gute visuelle Darstellung berücksichtigt werden. Hierfür kann ich das Buch „Storytelling mit Daten“ von Cole Nussbaumer Knaflic (2017) empfehlen, in dem diese Regeln ausführlich beschrieben werden.
• In einem Dashboard werden immer Informationen verdichtet und aggregiert. Daher ist es – gerade auch im Rahmen von Evaluationen und Wirkungsanalysen – wichtig, diese immer zusammen mit den späteren Nutzer*innen zu planen.
• Die zentralen Informationen sollten laut dieser Definition auf einer Bildschirmseite ersichtlich sein.

Wobei zum letzten Punkte angemerkt werden kann, dass ein Dashboard nicht immer nur eine Bildschirmseite erhalten muss. Vielmehr können Ergebnisse auch auf mehreren Unterseiten aufbereitet werden.

Vorteile eines Dashboards in Evaluationen und Wirkungsanalysen

Nachdem wir geklärt haben, was man unter dem Begriff des Dashboards versteht, stellt sich die Frage: Welchen Vorteil hat ein Dashboard im Rahmen von Evaluationen und Wirkungsanalysen?

Interaktive Darstellung

Einer der zentralen Vorteile ist die interaktive Darstellung der Ergebnisse in einem Dashboard. Die Ergebnisse können (zumindest in einem bestimmten Rahmen der Möglichkeit) von dem/der Nutzer*in selbst angeordnet oder bestimmte Gruppen oder Längsschnittauswertungen angefordert werden. Hierdurch entstehen mehr Möglichkeiten der Nutzung der Ergebnisse, als wenn nur ein statischer Abschlussbericht oder Ergebnisreport vorliegt.

Abruf von Echtzeitdaten

Diese Interaktivität bezieht sich aber nicht nur auf die Darstellung der Ergebnisse, sondern auch auf den Abruf der Daten. Ein Abschlussbericht wird einmal erstellt, mit einem bestimmten Datenbestand und kann nicht automatisch aktualisiert werden. In einem Dashboard ist dies möglich! Über sogenannte API-Schnittstellen kann man eine direkte Verbindung zu einer Online-Befragungslösung herstellen und die Daten in Echtzeit abrufen. Mit den Lösungen von LimeSurvey und LamaPoll habe ich dies auch schon erfolgreich ausprobiert. Wie man LimeSurvey mit R (indem man auch Dashboards entwickeln kann) verbinden kann, habe ich auch schon hier im Blog beschrieben.

Stärkere Beteiligung von Fachkräften

Ein weiterer großer Vorteil ist, dass durch Dashboards die Fachkräfte stärker an der Evaluation und Wirkungsanalyse beteiligt werden (hierzu habe ich auch schon in der Zeitschrift für Evaluation geschrieben, vgl. Ottmann, 2021). Durch die zur Verfügungsstellung eines Dashboards können die Fachkräfte selbstständig die Ergebnisse abrufen und für die eigene fachliche Arbeit nutzen. So ist es auch möglich, dass bei aufkommenden fachlichen Fragen, in einem Dashboard geprüft werden kann, ob mit bisher erhobenen Daten eine Antwort vorhanden ist.

Integration von mehreren Datenquellen

Ein letzter positiver Aspekt ist, dass man in einem Dashboard auch mehrere Datenquellen vereinen kann. Neben den Daten und Ergebnissen aus Evaluationen und Wirkungsanalysen könnten z. B. auch Daten aus der amtlichen Statistik integriert werden oder andere Daten der Einrichtung, wie beispielsweise Finanzdaten.

Diese Vorteile zeigen aus meiner Sicht gut auf, warum der Einsatz von Dashboards in Evaluationen und Wirkungsanalysen sinnvoll ist. Aus meiner Sicht sollte man zukünftig vermehrt Auswertung-Dashboards zur Verfügung stellen und weniger auf nicht-interaktive Abschlussberichte oder Ergebnisreports setzen. Gerade bei langfristigen Erhebungen, die z. B. jährlich erfolgen, wie ein wirkungsorientiertes Monitoring, erscheint ein Dashboard zur Darstellung von Ergebnissen die erste Wahl. In nachfolgender Abbildung wird beispielhaft dargestellt, wie eine Startseite für ein solches Dashboard aussehen kann:

Wie legt man die Inhalte eines Dashboards fest?

Schritte der Erstellung eines Dashboards

Doch wie geht man nun bei der Festlegung der Inhalte und der Entwicklung des Dashboards vor? Aus Erfahrungen aus bisherigen Projekten hat sich herausgestellt, dass folgende Schritte sinnvoll sind (Ottmann, 2021, S. 192 ff.):

1. In einem ersten Schritt sollte festgelegt werden, wer der/die Nutzer*innen des Dashboards sind. Je nach Erfahrungen und Fähigkeiten können damit auch der Funktionsumfang des Dashboards festgelegt werden.  Hilfreich kann hier die Methode der Persona aus dem Design-Thinking sein.
2. Im zweiten Schritt muss der Zweck des Dashboards definiert werden (vgl. Few, 2013, S. 59). Hieran orientiert sich dann auch häufig, was im Dashboard dargestellt werden kann. Neben dem Zweck des Dashboards sollten hier natürlich auch die Forschungsfragen der Evaluation und Wirkungsanalyse berücksichtigt werden.
3. Nach diesem Schritt wird geprüft, welche Datenquellen für die Darstellung benötigt werden. Im Rahmen von Evaluationen und Wirkungsanalysen stellt sich hier vordergründig die Frage, ob alle benötigten Daten bereits erhoben wurden oder auch externe Datenquellen berücksichtigt werden müssen.
4. Bevor im letzten Schritt der konkrete Aufbau des Dashboards skizziert wird, sollte folgende Fragen zur Nutzung beantwortet werden (vgl. Few, 2013, S. 66 ff.; Ottmann, 2021, S. 193):
   • Wie oft sollen die Daten aktualisiert werden?
   • Wie groß ist die Gruppe der Benutzer*innen? Gibt es nur eine Person oder sollen mehrere Personen auf das Dashboard zugreifen?
   • Gibt es verschiedene Rechte oder Darstellungen für verschiedene Benutzergruppen (z.B. dass Einrichtungsleitungen nur die Daten der eigenen Einrichtung sehen und ein Gesamtprojektleiter*in alle Daten abrufen kann)?
   • Welche Technologie zur Umsetzung des Dashboards kommt zum Einsatz und auf welchem Betriebssystem wird dies eingesetzt?
   • Auf welchen Bildschirmen wird das Dashboard normalerweise genutzt? Die Beantwortung der Frage ist vor allem für die optimale Darstellung der Ergebnisse wichtig.
5. In einem letzten Schritt kann dann der Aufbau des Dashboards erarbeitet werden. Hierbei wird festgehalten, welche Bereiche es im Dashboard gibt und wo letztlich welche Ergebnisse dargestellt werden.

Entwicklung mit den späteren Nutzer*innen

Idealerweise werden diese Fragen im Rahmen von Evaluationen und Wirkungsanalysen in einem oder mehreren Workshops zusammen mit den Fachkräften und Auftraggebern bearbeitet. Die Einbeziehung der Nutzer*innen von Anfang an, stellt sicher, dass dieses dann später auch gut eingesetzt werden kann.

Wurden die oben genannten Punkte im Rahmen eines Workshops beantwortet und liegt eine erste Skizze des Dashboards (meistens auf Papier) vor, kann im Rahmen der technischen Entwicklung ein erster Prototyp entwickelt werden. Dieser Prototyp sollte dann in einem umfangreichen Betatest von den potenziellen Nutzer*innen getestet werden. In manchen Fällen kann es sein, dass im Rahmen der Entwicklung mehrere Rückmeldungszyklen mit den potenziellen Nutzer*innen benötigt werden, um dann das finale Dashboard zu erstellen.

Dashboards technisch entwickeln und umsetzen

Lösungen in der Cloud

Bei der Entwicklung von Dashboards stellt sich natürlich immer die Frage, mit welcher Technologie diese entwickelt werden sollen. In den letzten Jahren gab es hier viele positive Entwicklungen. Hierbei habe sich Lösungen wie Tableau, Qlik oder Microsoft Power BI entwickelt, mit denen recht einfach Dashboards erstellt werden können.  Ein Nachteil dieser Lösungen ist aber, dass diese auf Servern der jeweiligen Firmen betrieben werden und damit die Daten nicht mehr auf eigenen Server liegen. Gerade im Hinblick auf die Vorgaben des Datenschutzes kann dies eine Hürde sein. Auch werden bei diesen Lösungen die Lizenzkosten nach der Anzahl der Nutzer*innen berechnet.

Microsoft Excel

Eine Möglichkeit, um die Daten auf einem eigenen Server bzw. lokal zu speichern, ist die Erstellung eines Dashboards mit Microsoft Excel. Auch hier gab es in den letzten Versionen einige Neuerungen, mit denen man auch Dashboards erstellen kann. Die Umsetzung mit Excel hat den Vorteil, dass viele Nutzer*innen das Programm bereits kennen und daher die grundlegenden Funktionen bekannt sind. Auch ist Excel auf den meisten Computern installiert und es fallen daher keine zusätzlichen Lizenzkosten an. Nutzt man Excel zur Erstellung eines Dashboards, empfiehlt es sich, die Rohdaten und das eigentliche Dashboard in zwei Dateien zu trennen. Hierdurch ist sichergestellt, dass die eigentlichen Rohdaten nicht verändert oder überschrieben werden können. Welche Möglichkeiten es in Excel zur Erstellung von Dashboards gibt, wird im Buch von Alexander und Walkenbach (2013) dargestellt.

Dashboards mit R erstellen

Auch wenn ich schon Dashboards mit Excel umgesetzt habe, favorisiere ich aktuell die Programmierung von Dashboards mit der Statistikumgebung R. Bei der Entwicklung stehen nicht nur die vielen Pakete zur statistischen Datenauswertung zur Verfügung. Sondern mit Shiny auch ein Paket, mit dem man interaktive Apps erstellen kann. Für die Entwicklung von Dashboards gibt es auch entsprechende Erweiterungen wie shinydashboard oder bs4dash, die spezielle Funktionen bereitstellen, um Dashboards zu gestalten. In meinem nächsten Blogbeitrag werde ich näher darauf eingehen, welche Pakete und Erweiterungen besonders gut für die Entwicklung von Dashboards in R geeignet sind.

Ein Vorteil in der Nutzung von Shiny und R besteht darin, dass es verschiedene Möglichkeiten gibt, das entwickelte Dashboard zu veröffentlichen. Neben der Nutzung von Cloud-Diensten wie shinyapps.io gibt es auch Möglichkeiten, um Shiny-Apps auf eigenen Server zu veröffentlichen. Dies ist beispielsweise mit ShinyProxy möglich. Auch können mit Electron Shiny-Apps in eine Standalone-Anwendung umgewandelt und diese dann wie ganz normale Programme auf dem Computer geöffnet werden.

R, Shiny und die weiteren R-Pakete sind auch als Open-Source-Software veröffentlicht. Ebenso ShinyProxy zur Veröffentlichung von Shiny-Apps auf eigenen Servern. Hierdurch entstehen also keine Lizenzkosten, wenn diese Lösungen eingesetzt werden.

Fazit

Aus meiner Sicht sind Dashboards eine wichtige und sinnvolle Bereicherung von Evaluationen und Wirkungsanalysen. Durch die interaktive Aufbereitung der Ergebnisse können diese von Fachkräften und Auftraggeber besser genutzt werden. Hierdurch kann dann ein datengetriebenes Handeln entstehen, dass mögliche Weiterentwicklungen von Angeboten oder Dienstleistungen anstoßen kann.

Hierbei ist aber auch festzustellen, dass bei der Nutzung von Dashboards die Nutzer*innen über Datenkompetenz (vgl. Schüller, Busch & Hindinger, 2019) verfügen müssen. Die dargestellten Ergebnisse müssen selbstständig oder im Team interpretiert werden und dies setzt voraus, dass man Ergebnisse auch richtig liest. Daher sollte immer, wenn ein Dashboard im Rahmen einer Evaluation und Wirkungsanalyse geplant ist, auch genügend Zeit für die Schulung der Nutzer*innen eingeplant werden. Neben der Handhabung sollte hier auch immer die benötigte Datenkompetenz vermittelt werden.

Ich würde mich freuen, wenn zukünftig Dashboards verstärkt in Evaluationen und Wirkungsanalysen eingesetzt werden. Gerade bei langfristigen Erhebungen, die mehrmals durchgeführt werden, erscheint diese Auswertungsform besonders zielführend.

Haben Sie schon Erfahrungen mit Dashboards im Rahmen von Evaluationen und Wirkungsanalysen gemacht? Gerne können Sie Ihre Erfahrungen in den Kommentaren hinterlassen.

Literatur

• Alexander, M. & Walkenbach, J. (2013). Excel dashboards and reports (2. Auflage). Hoboken, New Jersey: Wiley.
• Few, S. (2004). Dashboard Confusion. perceptual edge. Zugriff am 28.11.2020. Verfügbar unter: https://www.perceptualedge.com/articles/ie/dashboard_confusion.pdf
• Few, S. (2013). Information dashboard design: displaying data for at-a-glance monitoring (2. Auflage). Burlingame, CA: Analytics Press.
• Nussbaumer Knaflic, C. (2017). Storytelling mit Daten: die Grundlagen der effektiven Kommunikation und Visualisierung mit Daten. München: Verlag Franz Vahlen.
• Ottmann, S. (2021). Dashboard-Lösungen als Instrument zur Beteiligung von Fachkräften in Evaluationen und Wirkungsanalysen. Zeitschrift für Evaluation, 20(1), 188–196. doi: 10.31244/zfe.2021.01.09
• Schüller, K., Busch, P. & Hindinger, C. (2019). Future Skills: Ein Framework für Data Literacy. Kompetenzrahmen und Forschungsbericht. Hochschulforum Digitalisierung. Zugriff am 7.9.2020. Verfügbar unter: https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD_AP_Nr_47_DALI_Kompetenzrahmen_WEB.pdf

Sebastian Ottmann

Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.