Möchte man die Wirkung und Wirksamkeit von sozialen Angeboten erfassen, braucht man passende Wirkungsindikatoren. Doch wie kommt man zu aussagekräftigen Wirkungsindikatoren für ein Angebot? In diesem Blogbeitrag werden Empfehlungen zur Entwicklung von solchen Indikatoren gegeben.
Partizipativer Prozess ist nötig
Innerhalb der Sozialen Arbeit bewegen wir uns immer im sozialrechtlichen Dreiecksverhältnis. Dies bedeutet, dass neben dem Leistungserbringer immer auch der Kostenträger und die leistungsberechtigten Personen beteiligt sind. Gerade bei der Festlegung von Wirkungsindikatoren bedeutet dies aber auch, dass der Prozess zur Findung dieser partizipativ gestaltet sein muss.
Es erscheint daher nicht sinnvoll, wenn eine Seite alleine entsprechende Indikatoren festlegt. Vielmehr sollte man im gegenseitigen Austausch sein und sich gemeinsam auf geeignete und gut erfassbare Wirkungsindikatoren einigen. Bevor dies geschehen kann, sollte aber in einem ersten Schritt geklärt werden, welche Wirkungen mit einem Angebot überhaupt erzielt werden sollen.
Grundlage ist das Wirkmodell
Bevor man sich Gedanken macht, mit welchen Indikatoren die Wirkung von sozialen Angeboten erfasst werden kann, sollte man zuerst die Frage klären, welche Wirkung man mit dem Angebot überhaupt erzielen möchte. Eine gute und praxistaugliche Möglichkeit, solche Wirkannahmen darzustellen, ist die Entwicklung eines Wirkmodells. In diesem wird festgehalten, welche Wirkungen erzielt werden sollen. Hierbei wird zwischen sogenannten Outcomes (Wirkungen bei der Zielgruppe) und Impacts (gesellschaftliche Wirkungen) unterschieden. Gerade die Outcomes können in einem Wirkmodell noch differenziert werden, zwischen Haupt- und Teilwirkungen. Wurden diese Wirkannahmen konsensuell festgelegt und in einem Wirkmodell festgehalten, kann in einem nächsten Schritt auch überlegt werden, mit welchen Indikatoren man diese Wirkungen erfassen kann.
Wann tritt meine Wirkung ein?
Ist das Wirkmodell erstellt, sollte man allerdings nicht gleich Indikatoren daraus ableiten. Als Zwischenschritt sollte sich gefragt werden, wann die erwarteten Wirkungen zeitlich eintreten sollen. Gerade bei Wirkungsanalysen ist es wichtig, den Zeitpunkt abzuschätzen, um dies auch im späteren Erhebungsprozess zu berücksichtigen.
Es empfiehlt sich, den Fokus zuerst auf solche Wirkungen zu legen, die zeitnah eintreten können (z. B. innerhalb von ein bis zwei Jahren). Wirkungen, die weit in der Zukunft liegen, können nur mit einem höheren Erhebungsaufwand erfasst werden. Dies liegt daran, dass dann auch die Erhebungszeit länger sein muss.
Prinzipiell benötigt man für die empirische Erfassung von Wirkungen eine Erhebung an mehreren Zeitpunkten. Dies kann beispielsweise im Rahmen eines wirkungsorientierten Monitorings geschehen. Durch die Erfassung an unterschiedlichen Zeitpunkten ist die Einschätzung, wann eine Wirkung eintreten kann, besonders wichtig.
Quantitative und qualitative Wirkungsindikatoren in den Blick nehmen
Wurden die Vorannahmen getätigt, kann dann der Blick auf die eigentlichen Wirkungsindikatoren gelegt werden. Hierbei unterscheide ich prinzipiell zwischen sog. quantitativen und qualitativen Wirkungsindikatoren.
Quantitative Wirkungsindikatoren sind für mich solche Indikatoren, die leicht zu erheben sind, weil sie meistens eindeutig zu zählen sind. Ein Beispiel wäre hier die Übergangsquote von einer Werkstatt für Menschen mit Behinderung in den allgemeinen Arbeitsmarkt. Der Vorteil der leichten Erfassung steht aber dem Nachteil gegenüber, dass die Aussagekraft solcher Kennzahlen oft nur begrenzt ist.
Daher sollten auch immer qualitative Indikatoren in den Blick genommen werden, also solche Indikatoren, die die Erfolge der pädagogischen Arbeit abbilden können. Dies kann unter anderem die Erfassung einer Zunahme von sozialen oder beruflichen Kompetenzen sein. Durch solche Wirkungsindikatoren kann der Erfolg der sozialpädagogischen Arbeit differenziert dargestellt werden. Zugleich ist die Erhebung etwas umfangreicher, da soziale Kompetenz nicht einfach gezählt werden kann. Hierzu muss zuerst eine Operationalisierung stattfinden, die im nächsten Abschnitt näher beschrieben wird.
An dieser Stelle sei aber noch darauf hingewiesen, dass qualitative Indikatoren trotzdem quantitativ erhoben werden sollten. Dies ist darin begründet, dass zum einen dann Veränderungen besser abgebildet werden können und zum anderen auch eine größere Anzahl an Erhebungen durchgeführt werden können.
Operationalisierung: Der Weg zum Indikator
Wie bereits geschrieben, sind Konstrukte wie die Lebensqualität oder soziale und berufliche Kompetenzen nicht direkt erfassbar. Daher müssen solche Konstrukte operationalisiert werden. Dies bedeutet, dass man überlegen muss, mit welchen beobachtbaren Items oder Aussagen man das Konstrukt beobachten kann. Im nachfolgenden Operationalisierungsschema wird das Vorgehen dargestellt:
Zuerst muss geprüft werden, ob das Konstrukt in weitere Dimensionen unterteilt werden muss. Bei der sozialen Kompetenz könnte dies die Konfliktfähigkeit oder die Kommunikationsfähigkeit sein. Danach können dann Items und Aussagen entwickelt werden, die auf einer Skala bewertet werden können. Die Entwicklung von Wirkungsindikatoren mit solchen Skalen erscheint gerade für qualitative Indikatoren sinnvoll. Nachfolgend werden Items dargestellt für den Wirkungsindikator „Soziale Kontakte sind erhalten/sind gestärkt“:
Prinzipiell ist es empfehlenswert, eine gerade Anzahl an Skalenpunkte zu verwenden. Manchmal können aber praktische oder inhaltliche Erwägungen dazu führen, dass mehr oder weniger Skalenpunkte genutzt werden. Informationen zu Aspekten der Fragengestaltung und der Gestaltung von solchen Ratingskalen erhält man u.a. in den GESIS Survey Guidelines.
Man muss nicht alles neu erfinden
Beim Lesen der Ausführungen zur Operationalisierung kann man denken, dass der Prozess sehr aufwendig ist. In der Tat benötigt die Entwicklung von geeigneten Skalen und Items seine Zeit. Daher ist es eine gute Nachricht, dass nicht immer alles neu erfunden oder entwickelt werden muss.
Zu vielen psychologischen Konstrukten gibt es bereits etablierte Skalen. Zum Teil können diese auch kostenfrei in eigenen Erhebungen eingesetzt werden. Ein Beispiel ist der Fragebogen zur Selbsteinschätzung Emotionaler Kompetenz (SEK-27). Wurde unter anderem die Steigerung der emotionalen Kompetenz der Klient:innen als Wirkung definiert, kann geprüft werden, ob die Skala ein geeigneter Wirkungsindikator ist.
Ein weiteres Beispiel wäre die Personal Outcome Scale zur Erfassung der Lebensqualität. Diese wird schon bei verschiedenen Leistungserbringern in der Sozialen Arbeit eingesetzt.
Messinstrumente und Skalen können gut über das Portal ZIS der GESIS gefunden werden. In diesem Portal sind sozial- und verhaltenswissenschaftliche Instrumente gesammelt, die im Regelfall frei genutzt werden können. Die Suche ist auch an psychologische und bildungswissenschaftliche Datenbanken angebunden.
Fremd- oder Selbsteinschätzung
Wurden die Indikatoren bzw. die Messinstrumente festgelegt, stellt sich noch die Frage, wie die Datenerhebung erfolgen soll. Ergibt es Sinn, die Nutzer:innen der Angebote direkt zu befragen? Oder ist eine Fremdeinschätzung durch die Fachkräfte sinnvoller?
Hier gibt es kein Richtig oder Falsch, vielmehr muss dies im Einzelfall entschieden werden. Fragen, die in Richtung Zufriedenheit abzielen, sind meistens im Rahmen einer Selbsteinschätzung besser zu erheben. Dem gegenüber kann über eine Fremdeinschätzung oft genauer Auskunft gegeben werden, wenn es um die realistische Einschätzung von Kompetenzen und Fähigkeiten geht.
Im Idealfall können auch beide Erhebungsarten kombiniert werden. D. h., dass sowohl die Fachkräfte als auch die Nutzer:innen die gleichen Fragen und Items zur Beurteilung erhalten. Hierdurch kann dann ein Abgleich erfolgen, ob die Bewertungen nah beieinander liegen oder stark auseinandergehen. Solche Erkenntnisse können auch für die pädagogische Arbeit von Interesse sein.
Egal, wie die Entscheidung ausfällt, wichtig ist, dass sowohl bei der Fremd- als auch bei der Selbsteinschätzung eine Erhebung an mehreren Messzeitpunkten mit dem gleichen Fragebogen erfolgen muss. Nur so können empirisch valide Veränderungen abgebildet werden!
Brauchen wir Zielwerte?
Wurden Wirkungsindikatoren definiert, stellt sich die Frage, ob auch mögliche Zielwerte definiert werden sollen. Prinzipiell schadet dies sicherlich nicht. Auch hier gilt, dass solche Zielwerte partizipativ erarbeitet werden müssen und es nicht sinnvoll erscheint, wenn diese von einer Partei vorgegeben werden.
Wichtig ist hierbei aber, dass bei einem Nichterreichen der Zielwerte eine konstruktive und fehlerfreundliche Diskussion und Interpretation der Ergebnisse erfolgt. Werden Wirkungsindikatoren nicht erreicht, bedeutet dies nicht automatisch, dass das untersuchte Angebot nicht wirksam ist. Vielmehr können auch Kontextfaktoren oder Faktoren bei den Nutzer:innen ausschlaggebend für das Nichterreichen sein.
Daher sollten die Ergebnisse regelmäßig im sozialrechtlichen Dreiecksverhältnis diskutiert und auch geprüft werden, ob bei Nichterreichen von Zielwerten fachlich konzeptionelle Anpassungen am Angebot erfolgen müssen.
Fazit
In diesem Beitrag wurde dargestellt, wie man zu passenden Wirkungsindikatoren für Angebote in der Sozialen Arbeit kommt. Besonders wichtig ist im Prozess, dass dieser partizipativ gestaltet und auch mit der nötigen Entwicklungszeit durchlaufen wird. In dem Prozess können auch mehrere Leistungserbringer zusammen mit dem Kostenträger und Vertreter:innen der leistungsberechtigten Personen Wirkungsindikatoren für ähnliche Angebote entwickeln.
Gerade bei Angeboten in den Arbeitsbereichen der Sozialen Arbeit ist es wichtig, dass Wirkungsindikatoren nicht nur auf leicht zählbare Indikatoren beschränkt werden. Vielmehr sollte man auch qualitative Indikatoren entwickeln, die fachliche Entwicklungen, wie die Zunahme von Kompetenzen, das Erlernen von neuen Fähigkeiten oder den Wissenserwerb in den Blick nehmen.
Langfristig wäre es wünschenswert, wenn entwickelte Wirkungsindikatoren auch geteilt werden und in einer zentralen Datenbank abrufbar sind. So müsste man nicht immer mit der Entwicklung von Neuem beginnen, sondern könnte auf bewährte Indikatoren zurückgreifen.
Sie möchten die Wirkung Ihrer Angebote empirisch erfassen? Gerne können Sie sich bei mir melden, wenn Sie für diesen Prozess eine wissenschaftliche Begleitung benötigen. Am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg begleiten meine Kolleg:innen und ich gerne den Entwicklungsprozess.
Ich arbeite als wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leite dort das Kompetenzzentrum Wirkungsorientierung in der Sozialen Arbeit. Ich begleite soziale Organisation bei der Implementierung von wirkungsorientierten Arbeitsweisen und dateninformierten Handeln. Zu meinen weiteren Arbeitsschwerpunkten gehört die Durchführung von Wirkungsanalysen und Evaluation mit empirisch-quantitativem Schwerpunkt. Seit mehreren Jahren beschäftige ich mit den Themen Wirkungsorientierung, Wirkungen Sozialer Arbeit, Datenanalyse, Machine Learning, Data Science und dem Aufbau von Datenkompetenz in Organisationen. Und statistische Auswertungen mache ich am liebsten in R und Python 😉 Mehr Informationen zu meiner Person findet man auf meiner Homepage.
Schreiben Sie einen Kommentar