evaluiert

Planungsbuch für Evaluationen im Bildungsbereich

Lars Balzer, Wolfgang Beywl

• Verlag: hep verlag
• Jahr: 2015
• ISBN:
  9783035503456
• Auflage: 1
• Thema: Social Sciences
• Thema: Sociology

Evaluationen – jenseits von Ritualen, automatisierten Kontrollmechanismen und standardisierten Qualitätsmanagementprozessen – bringen hohen Nutzen für Lern- und Lehrprozesse. Das vorliegende Buch zeigt, wie dieses Versprechen durch seriöse und realistische Evaluationsplanung eingehalten werden kann. Es führt in die Grundlagen der Bildungsevaluation ein, erklärt die Fachsprache und gibt viele Hinweise auf vertiefende, speziell methodische Literatur. Kernstück ist ein Evaluationsprozess in zehn Schritten, veranschaulicht durch Praxisbeispiele. Übungsaufgaben mit Lösungen unterstützen das Selbststudium.

1 Einstieg ins Thema

Was ist eigentlich eine Evaluation?

Eine kleine Fallgeschichte

Stellen Sie sich einen Weiterbildungskurs zum Thema «Wie erstelle ich meine erste Homepage?» vor, in dem an zwanzig Abenden Basiswissen über die Erstellung von Internetseiten vermittelt wird.

Nachdem dieser Kurs als Pilotprojekt gestartet ist, fragen sich die Weiterbildungsverantwortlichen in einem Teamgespräch, wie gut ihre Arbeit eigentlich ist. Nach Kursende gehen die Teilnehmenden ihrer Wege, man trifft sie nicht mehr, ob mehr Wissen vorhanden ist als zuvor und ob tatsächlich eigene Internetseiten erstellt worden sind, ist den Weiterbildungsverantwortlichen normalerweise nicht bekannt. «Wir brauchen eine Evaluation, um zu überprüfen, ob wir gute Arbeit leisten», schlägt einer der Verantwortlichen vor. Bevor sie einen Evaluationsauftrag an eine interne oder eine externe Evaluationsfachperson formulieren, diskutieren sie die Möglichkeiten.

Erfolg = Zufriedenheit?

Herr Schmidt ist von dieser Idee sogleich begeistert: «Lasst uns doch am Ende des Kurses unsere Teilnehmenden fragen, ob sie mit uns und unserer Arbeit zufrieden sind. Wenn z. B. 85 Prozent derselben mit unseren Veranstaltungen zufrieden sind, gerne zu weiteren Veranstaltungen kommen würden und uns weiterempfehlen, können wir doch mit Fug und Recht sagen, dass wir Gutes geleistet haben.» – «Das ist nicht schlecht», ist man sich schnell einig, «doch fast hilfreicher und interessanter wäre zu wissen, was den restlichen 15 Prozent oder auch den Zufriedenen nicht gefallen hat, damit wir uns weiter verbessern können!»

Erfolg = kurzfristiges Wissen?

«Darüber hinaus», stellt Frau Zbinden fest, «sollten wir mehr wissen als nur, wie zufrieden unsere Teilnehmenden sind. Ich glaube, bei uns geht es auch mal ganz lustig zu und her, und das gefällt allen. Zufriedenheit ist wichtig, denn das erhöht die Chance, dass unsere Kunden wiederkommen. Aber hauptsächlich sollen sie doch etwas lernen.» Kopfnicken macht die Runde. «Wir könnten unsere Teilnehmenden also ergänzend befragen, ob sie etwas gelernt haben.» – «Wobei: Können das unsere Teilnehmenden wirklich selbst beurteilen? Wie wäre es anstelle dessen mit einem Wissenstest am Ende der letzten Stunde? So könnten sie sich einerseits selbst überprüfen, und wir könnten andererseits erkennen, was von den Inhalten tatsächlich behalten worden ist!» – «Ja, das würde uns sicher helfen», ist die einhellige Meinung.

Erfolg = nachhaltiges Wissen?

«Aber was heißt eigentlich ›behalten‹?», wirft Frau Lavric ein. «Ein Wissenstest im Anschluss an eine intensive Fortbildung überprüft vielleicht das Kurzzeitgedächtnis oder den Fleiß, also wie intensiv sich jemand auf die Abschlussprüfung vorbereitet hat. Ist aber nicht vielmehr interessant, was längerfristig noch gewusst wird?» Ein Hauch von Verzweiflung macht sich breit. «Sollen wir unsere Teilnehmenden vielleicht zwei Monate später noch einmal testen?», fragt Herr Schmidt ungläubig, gar nicht mehr so begeistert wie noch zu Beginn der Diskussion. «Und wie sollen wir sie dazu motivieren? Der ganze Aufwand!» Ein leises Stöhnen in der Runde ist nicht zu überhören.

Erfolg = Anwendung?

«Es wird noch viel schwieriger, bei genauer Überlegung.» Frau Lavric spricht sich in Fahrt: «Selbst wenn nach zwei Monaten noch alles richtig gewusst wird, ist das zwar schön, aber unser eigentliches Ziel ist doch, dass die Teilnehmenden nicht nur bei einem Wissenstest gut abschneiden, sondern dieses Wissen auch tatsächlich anwenden. Denn selbst wenn der Wissenstest zu einem späteren Zeitpunkt erfolgreich ablaufen sollte: Wer sagt uns, dass jemand auch vernünftige Internetseiten erstellen kann? Und vielleicht auch tatsächlich solche erstellt hat? Wissensvermittlung ist nur ein Zwischenziel; schöne, funktionelle und suchmaschinenoptimierte Internetseiten sind hingegen das, was wir eigentlich erreichen wollen.» – «Stimmt, also lasst uns doch die Teilnehmenden zwei Monate nach Abschluss des Kurses anrufen und fragen, ob sie Internetseiten erstellt haben.» Damit ist Herr Malte überhaupt nicht einverstanden: «Das ist zwar eine gute Idee, aber zwei Monate sind eine zu kurze Zeitspanne, und einfach ein paar Internetseiten zu erstellen, ist keine große Herausforderung. Wir müssen die Internetseiten anschauen und selbst nach gewissen Usability-Kriterien überprüfen. Also müssen wir nach den Internetadressen fragen.» – «Das stimmt. Und vielleicht können wir uns schon ein wenig auf die Schultern klopfen, wenn die einfachsten Regeln der Internetseitenprogrammierung eingehalten worden sind. Und wer weiß, vielleicht haben wir nach einer gewissen Zeit ja auch eine Suchmaschinen-Top-Ten dabei?!» – «Das Problem ist nur: Wie bekommen wir das heraus?» – «Was wir also brauchen, ist eine Datenerhebung längere Zeit nach Ende unserer Veranstaltung.» Erneutes Kopfnicken. «Hiermit würden wir weiterkommen!»

Was genau löst den Erfolg aus?

«Aber was wüssten wir dann eigentlich genau?», meldet sich Frau Lavric wieder zu Wort: «Selbst wenn wir das alles in Erfahrung bringen können und feststellen sollten, dass 46 Prozent unserer Teilnehmenden gute Internetseiten erstellt haben: Was bedeutet ein solcher Prozentsatz? Sind das viele, sind das wenige? Wie viele Personen hätten auch ohne Weiterbildung Internetseiten erstellt? Ihr wisst, das Thema ist aktuell, und überall gibt es Do-it-yourself-Bausätze. Könnten wir also mit 46 Prozent zufrieden sein? Und hat unsere Weiterbildung eigentlich einen Anteil am möglichen Erfolg?» – «Wir brauchen einen Vergleichsmaßstab», ist die einstimmige Erkenntnis. Doch das ist leichter gesagt als getan. «Wie wäre es, wenn wir uns mit unseren Kolleginnen und Kollegen in Düsseldorf vergleichen würden? Die haben ein sehr ähnliches Konzept und eine ähnliche Klientel.» – «Das führt uns zwar weiter, aber ob wir absolut betrachtet Erfolg haben, wissen wir nicht. Vielleicht sind wir besser als das Team in Düsseldorf, aber was nutzt das, wenn wir alle eigentlich recht schlecht sind? Umgekehrt könnte ich gut damit leben, im Vergleich etwas schlechter zu sein, aber absolut betrachtet ein gutes Weiterbildungsprogramm anzubieten.»

Wie kann man Wirksamkeit messen?

Jemand hat eine Idee: «Wir brauchen eine andere Personengruppe, die unsere Weiterbildung nicht besucht hat. Dann vergleichen wir die Internetseiten unserer Teilnehmenden mit denjenigen besagter Gruppe. Fällt der Vergleich positiv aus, können wir doch sagen, dass unsere Weiterbildung Erfolg hatte, oder?» Zufriedenheit ist auf den Gesichtern abzulesen. «Und wen nehmen wir als Vergleichsgruppe?» – «Wie wäre es mit den Teilnehmenden des Englischkurses? Die erfahren dort sicher nichts über Internetseitenerstellung.» – «Das stimmt zwar», wirft einer ein, «aber ist das wirklich ein fairer Vergleich? Unsere Teilnehmenden sind motiviert, Internetseiten zu erstellen. Die Teilnehmenden des Englischkurses teilen dieses Interesse nicht. Also könnte es auch sein, dass ein möglicher Erfolg auf diese Motivation zurückzuführen ist und sich dieser auch ohne unseren Kurs eingestellt hätte.»

Systematische Evaluationsplanung ist erforderlich

Ein Kollege mit Wissen über sozialwissenschaftliche Forschung hat dazu einen Einfall: «Wir brauchen eine Vergleichsgruppe, die sich hinsichtlich aller für das Erreichen der Weiterbildungsziele wichtigen Bedingungen wie Motivation oder Vorwissen nicht von den Teilnehmenden unserer Kurse unterscheidet. Eine solche Gruppe können wir ganz leicht auftreiben. Wir haben doch ohnehin mehr Anmeldungen, als wir in einem Monat bedienen können. Wenn wir von den nächsten 100 Anmeldungen 50 zufällig aussuchen, die wir sofort aufnehmen, und die anderen eben ein wenig später, haben wir die Gruppe bereits gebildet. Nach den Gesetzen der Wahrscheinlichkeit haben wir nämlich eine gute Chance, durch diese zufällige Zuordnung die relevanten Eigenschaften, die wir nicht einmal kennen müssen, gleich auf beide Gruppen zu verteilen. Beide Gruppen unterscheiden sich dann in nichts außer in der Tatsache, dass die eine an der Weiterbildung teilnimmt und die andere eben nicht. Ist unsere Gruppe dann besser, können wir recht sicher sein, dass wir mit unserer Weiterbildung einen Effekt erzielen.»

Doch der nächste Einwand folgt sofort: «Moment! Ich glaube nicht, dass wir lange genug warten können mit unserer Vergleichsgruppe, um längerfristige Resultate überprüfen zu können. Die wollen doch bald loslegen, und wer weiß, was sie in der Wartezeit unternehmen, um schnell ihre gewünschten Internetseiten erstellen zu können.»

«Eigentlich ist mir das zu kompliziert. Die Überprüfung des Erfolges unserer Weiterbildung ist schon wichtig, aber eigentlich hätte ich einfach gerne ein paar Informationen für mich und meine weiteren Planungen, sodass ich von den Teilnehmenden gerne gewusst hätte, was sie für konkrete Verbesserungsvorschläge haben. Es gibt schließlich keine Weiterbildungsmaßnahme, die so gut wäre, dass man sie nicht noch verbessern könnte!»

«Oh Gott, auf was lassen wir uns mit einer solchen Evaluation nur ein? Wie soll eine solche Evaluation irgendwann einmal abgeschlossen werden?»

Es bietet sich an, einen Evaluationsauftrag an hierfür qualifizierte interne Mitarbeitende oder Externe zu vergeben, die über Wissen und Können verfügen, wie sie zu beantwortbaren Evaluationsfragestellungen kommen, wie sie Evaluationspläne an diese Fragestellungen anpassen, welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben, welche methodischen Klippen sie umschiffen müssen, wie sie gewonnene Daten verarbeiten, was mit den erzielten Ergebnissen zu geschehen hat und vieles Weitere mehr.

Dieses Buch bietet Ihnen eine systematische Anleitung zum Erwerb der hierfür erforderlichen Kompetenzen.

2 Was ist Evaluation?

	Lernziele von Kapitel 2:
	∎Den Begriff der wissenschaftlichen Evaluation definieren können ∎Evaluation von Forschung abgrenzen können ∎Werte und Bewertung als Besonderheiten von Evaluation an Beispielen erläutern können

Auf dem Weg zur Definition

Auf die Frage, was Evaluation genau ist, gibt es keine einfache Antwort. Nach wie vor dürfte die These von Franklin und Thrasher (1976) gelten, wonach es so viele Evaluationsdefinitionen wie Evaluierende gibt[1]: «To say that there are as many definitions as there are evaluators is not too far from accurate» (S. 20).

Evaluation wird nach Glass und Ellet (1980, S. 211) sehr unterschiedlich definiert und abgegrenzt – und das gilt heute noch ebenso wie damals. Viele theoretische wie auch praktische Aktivitäten werden darunter subsumiert, ohne dass ein allgemeingültiges Evaluationsparadigma vorherrschen würde: «Evaluation is a set of theoretical and practical activities without a widely accepted paradigm.» Und je nach Zuordnung zu einer bestimmten wissenschaftlichen Disziplin wird der Begriff zudem unterschiedlich akzentuiert (Götz, 1998, S. 20). Erschwerend kommt hinzu, dass «allzu leicht […] heute auch triviale Formen der Rückmeldung zu Evaluationen» werden (Böttcher, Kerlen, Maats, Schwab & Sheikh, 2014, S. 7).

Diese beinahe beliebige Möglichkeit der Inanspruchnahme macht Evaluation für viele attraktiv, bietet aber auch schier unüberschaubare Ansatzpunkte für Kritik und Polemik. Unterschiedliche Ausdrücke und Aussagen werden in diesem Zusammenhang verwendet und diskutiert, wie «Evaluation als modernes Ritual» (Schwarz, 2006), Evaluation als notwendiges Übel (evaluation as a «necessary evil», Sullivan, 2011), «Evaluations Mania» (Frey, 2007a), Evaluation als sich ep­idemisch ausbreitende, neue Krankheit, die «Evaluitis» (Frey, 2007b, 2008), und «von der Inquisition zur Evaluation» (Hornbostel, 2008). Es werden sogar Warnungen ausgesprochen: «Vorsicht vor Evaluationismus!» (Kappler, 2010). Oder ist es gar so, dass wir uns zu Tode evaluieren, wie Preußler (2008) fragt – oder dass ein «Evaluationsnotstand» herrscht (Niedermair, 2012, S. 8)?

Für einen differenzierten Umgang mit diesem vermeintlichen Unwort ist es notwendig, einige Definitionen vorzustellen und eine Arbeitsdefinition für dieses Buch zu formulieren.

Wortstamm

Auf der Suche nach einer adäquaten Definition gibt der Wortstamm einen ersten Hinweis. Auch wenn eine unmittelbare Herleitung aus dem Lateinischen nicht angebracht ist (entgegen der weitverbreiteten Meinung existiert das Wort «evaluare» im Lateinischen nicht), legt das Lateinlexikon erste Spuren. Wurzeln finden sich nämlich im lateinischen Wort «valor», das im Deutschen so viel bedeutet wie «bei Kräften sein», «wert sein» oder «gültig sein». Man beachte hierbei die eindeutig positive Konnotation.

Den etymologischen Herleitungen des Begriffes von Karbach (1998) folgend, entwickelte sich daraus zunächst das französische «valoir», woraus die Substantivierung «valeur» (im Sinne vom «prix», also auch Wert) entstand. Daraus wurde wiederum das Verb «évaluer» abgeleitet und von diesem das Substantiv «évaluation» («Schätzung», «Ermittlung» oder «Wertbestimmung») gebildet.

Die daraus hervorgegangenen englischen Wörter «evaluate» («bewerten») sowie «evaluation» («Einschätzung», «Auswertung») bilden die Grundlage für die heute im Deutschen gebräuchliche Form des Begriffes.

Eine erste, vom Wortstamm ausgehende Umschreibung von Evaluation lautet also:

«Bestimmung des Wertes einer Sache»

(Bedeutung nach Wortstamm).

Folgt man dieser Bestimmung, so ist Evaluation – zumindest im französischen oder an...

Inhaltsverzeichnis

• evaluiert Planungsbuch für Evaluationen im Bildungsbereich
• Vorwort
• 1 Einstieg ins Thema
• 2 Was ist Evaluation?
• 3 Evaluationsprozess und Auftrag
• 4 Bestimmung des Evaluationsgegenstandes
• 5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden
• 6 Bestimmung der Evaluationszwecke und -fragestellungen
• 7 Festlegung der Bewertungskriterien
• 8 Auswahl von Erhebungsdesign und –methoden
• 9 Durchführung der Erhebungen
• 10 Datenauswertung, Interpretation und ­Bewertungssynthese
• 11 Berichterstattung
• 12 Nutzung der Ergebnisse
• 13 Evaluation der Evaluation
• Literaturverzeichnis
• Verzeichnis der Abbildungen
• Verzeichnis der Tabellen
• Verzeichnis der Übungsaufgaben
• Onlineressourcen für die Evaluation
• Musterlösungen zu den Übungsaufgaben
• Glossar