Als Beispiel wird die Methode der Qualitativen Gewichtung und Summierung vorgestellt, die Baumgartner / Häfele / Maier-Häfele bei ihrer Evaluation von Lernmanagement-Systemen (LMS) im Auftrag des BMBWK verwendeten. Sie basiert auf dem Einsatz von Kriterienkatalogen. Die Vorzüge dieser Methode liegen darin, dass sie kostengünstig, schnell und methodisch sauber ist. Ihr Nachteil ist das Problem der Gewichtung.
Zum Vergleich zuerst noch ein Blick auf die Methode der Numerischen Gewichtung und Summierung:
a. Einschätzung der einzelnen Dimensionen in ihrer relativen Wichtigkeit (mit Hilfe einer Skala)
b. Einschätzung (rating) der zu evaluierenden Sache (Evaluand) nach den einzelnen Dimensionen
c. Berechnung des Produkts aus Leistungsbewertung und Gewicht + Summierung für jede zu evaluierende Sache
d. Reihung / Liste
Probleme: Minimalanforderungen fehlen; die Kriterien sind isoliert; die Skala ist linear; die Zahl der Kriterien ist nicht voraussehbar (unlösbares Hauptproblem)
a. Zuordnung von fünf Gewichten für die einzelnen Dimensionen (z.B. „entscheidend“ – „wesentlich“ – „nützlich“ – „weniger wichtig“ – „vernachlässigbar“); Streichung der „vernachlässigbaren“ Dimensionen
b. Überprüfung, ob alle zu evaluierenden Sachen die Minimalanforderungen erfüllen (sonst Ausscheidung); dadurch fällt „entscheidend“ weg.
c. Ranking erstellen (z.B. „kommt in die Top 16“)
d. Summierung der Kategorien mit der gleichen Wertigkeit: ergibt drei Gesamtwerte für jeden Evaluanden (wesentlich – nützlich – weniger wichtig).
e. Ausschließung von Eigenschaften, die alle Evaluanden gleichermaßen aufweisen.
f. Abschließende Rangordnung erstellen.
Nachteil: QGS ist kein eindeutiger Entscheidungsalgorithmus.
Praktische
Durchführung:
1. Vergleich aller relevanten Lernplattformen und Erstellung einer Liste der Top 16
2. Detaillierter Vergleich der 16 Produkte. Auswahl von 5 Produkten und Usability-Test.
Evaluationskriterien:
Abstimmung
der Art der Kriterien und ihre Gewichtung mit einer Expertengruppe aus den relevanten Bildungsorganisationen
verschiedener Bereiche (= zentraler Punkt).
Einsatz
der Delphi-Methode für die gemeinsame Ausarbeitung der
Kriterien (Rückmeldung der Ergebnisse … Änderungen … Einarbeitung …).
Die folgenden fünf Punkte wurden als Mindestkriterien für die Zulassung von Lernplattformen zum Test festgelegt:
1. Österreichweite Rahmenlizenz
2. Webbasierende Lösung
3. Administration (User-Verwaltung; Organisation von Inhalten und Kursen)
4. Kommunikation (innerhalb und zwischen den Rollen)
5. Käuflich erwerbbar / open source / public domain
Die Zahl der Kriterien war verteilt auf die Teilbereiche
• Kommunikation, Kooperation & Kollaboration: 5 Kriterien
• Didaktik: 7 Kriterien
• Administration: 3 Kriterien
• Technik: 12 Kriterien
Baumgartner, Peter / Häfele, Hartmut / Maier-Häfele, Kornelia:
E-Learning Praxishandbuch: Auswahl von Lernplattformen; Studienverlag, Innsbruck 2002
Jelitto, Marc:
Evaluationsmethoden;
2004
http://www.evaluieren.de/evaluat.ion/methoden.htm