Von Prof. Dr. Mintken

Aktualisiert: 2013-09-20

Projekte und Programme zielen auf einen erwünschten Erfolg. Ob sich der Erfolg tatsächlich einstellt, lässt sich bei kleinen privaten Vorhaben meistens leicht erkennen. Bei umfangreichen Projekten im gewerblichen oder im öffentlichen Bereich stellen sich dagegen in der Regel mehrere Wirkungen ein, erwünschte und unbeabsichtigte. Politische, wirtschaftliche, medizinische oder pädagogische Programme sind ebenso wie Organisationsänderungen vielschichtig und können daher nicht immer eindeutig bewertet werden. In solchen Fällen hilft eine professionelle Evaluation.

Als Evaluation wird im wissenschaftlichen Bereich die professionelle Beschreibung und Bewertung von Planungen, Programmen, Projekten, Maßnahmen oder Institutionen bezeichnet. Systematisch untersucht werden die Ziele, die Wirkung, der Nutzen oder die Qualität des Evaluationsobjektes. Auf der Grundlage einer Evaluationsstudie werden empirisch fundierte Entscheidungen über das Evaluationsobjekt ermöglicht. Meistens handelt es sich bei dieser angewandten Forschung um den Auftrag einer interessierten Organisation.

Die Bezeichnung Evaluation ist allerdings nicht genormt. Umgangssprachlich werden gelegentlich sogar einfache Befragungen von Nutzern zur Beurteilung einer in Anspruch genommenen Dienstleistung als Evaluation bezeichnet, dies entspricht jedoch nicht dem professionellen Sprachgebrauch.

Methodik und Standards einer Evaluation

Im Mittelpunkt einer Evaluation stehen belastbare Daten. Die Daten werden mit empirischen Methoden erhoben, also durch Dokumentenanalyse, Befragung oder Beobachtung, eventuell auch durch Simulation oder Experimente. Diese Erhebungs- und Auswertemethoden entstammen vorwiegend der empirischen Sozialforschung, aber auch der ökonomischen Methodik wie die Kosten-Nutzen-Analyse oder die Kostenwirksamkeitsanalyse. Zur Analyse von Motivationen, Denk-, Meinungs-, Einstellungs-, Bewertungs- oder Verhaltensmuster können nach DIN ISO 20252 auch qualitative Verfahren wie Gruppendiskussionen, Fallstudien und Intensivinterviews einbezogen werden. Auswahl und Anwendung der Methoden setzen eine entsprechende Fachkunde der Evaluatoren voraus.

Die empirisch ermittelten Daten führen nach ihrer statistischen Verarbeitung zu Untersuchungsergebnissen. Schlussfolgerungen und Empfehlungen, welche sich nachvollziehbar auf die empirischen Daten beziehen müssen, werden in die Evaluationsstudie aufgenommen. Die Nachvollziehbarkeit der Bewertung eines Evaluationsgegenstands ist also für eine professionelle Evaluation unverzichtbar. Zur Durchführung von Evaluationen hat die deutsche Gesellschaft für Evaluation DeGEval grundlegende Standards veröffentlicht. Insgesamt sollen Evaluationen nach den Vorgaben der DeGEval vier grundlegende Eigenschaften erfüllen:

  • Nützlichkeit,
  • Durchführbarkeit,
  • Genauigkeit,
  • Fairness.
Diesen vier Gruppen hat die DeGEval insgesamt 25 Einzelstandards zugeordnet. Daneben sind die üblichen wissenschaftlichen Arbeitsanforderungen zu beachten, also fachlich fundiertes, seriöses und redliches Vorgehen mit genauer Dokumentation.

Die Nützlichkeitsanforderungen sollen sicherstellen, dass die Evaluation für die weitere Entwicklung im Untersuchungsbereich nützliche Erkenntnisse liefert. In welchem Umfang diese Erkenntnisse tatsächlich berücksichtigt werden, entscheidet der Auftraggeber. Mit den Durchführungsanforderungen soll erreicht werden, dass nur fachlich einwandfrei und kostenbewusst geplante Studien realisiert werden. Die Gültigkeitsanforderungen betreffen die zuverlässige Datenerhebung und die Einhaltung der üblichen Gütekriterien der empirischen Forschung sowie die vollständige Dokumentation des Vorgehens. Standards zur Fairness sollen gewährleisten, dass während der gesamten Evaluation respektvoll und fair mit den betroffenen Gruppen und Personen umgegangen wird.

Formative und summative Evaluation

Findet die Evaluation bereits während der laufenden Einführung eines neuen Verfahrens statt, handelt es sich um eine formative Evaluation, deren Ergebnisse umgehend zur weiteren Verfahrensoptimierung genutzt werden können. Das Verfahren wird somit durch die Evaluation geformt. Findet die Evaluation erst nach dem Abschluss der Maßnahme statt, handelt es sich um eine summative Evaluation, mit der die erreichten Ergebnisse summiert werden. Sind die erwarteten Ergebnisse nicht eingetreten, stellt sich die Frage nach den Ursachen und den Möglichkeiten zur Veränderung der erfolgshemmenden Faktoren.

Literatur- und Quellenhinweise

DeGEval - Gesellschaft für Evaluation: Standards für Evaluation. 4. Aufl. Mainz 2008

Emde, Monika; Mintken, Karl-Heinz; Reese, Jürgen (Hrsg.): Schriftenreihe Moderne Verwaltungsentwicklung Band 1: Evaluation des Studiengangs Öffentliches Management. Münster 2004 (ISBN 3-937312-97-8; Preis: 14,50 EUR; Verlag Monsenstein und Vannerdat)

www.profdrmintken.de