Der Fragebogen – Das am häufigsten verwendete Untersuchungsinstrument zur Evaluation von Weiterbildungsmaßnahmen

Der Fragebogen ist das am häufigsten verwendete Untersuchungsinstrument, wenn es um die Evaluation von Weiterbildungsmaßnahmen geht – und dies nicht ohne Grund. Denn Fragebögen besitzen im Vergleich zu anderen Instrumenten ein paar eindeutige Vorteile: 

Zum Beispiel eine einfache Versendung & Ergebnisauswertung. Außerdem eine gute Vergleichbarkeit von Ergebnissen sowie einen verhältnismäßig geringen Zeitaufwand. Doch diese Vorteile bringen ebenfalls Risiken mit sich. Verlässt man sich zu sehr auf die eben genannten Vorteile und vergisst dabei, dass diese nur bei einem qualitativ hochwertigen Evaluationsbogen eintreten, läuft man schnell Gefahr, die Qualität der Ergebnisse zu überschätzen oder die Akzeptanz der befragten Zielgruppe gegenüber dem Fragebogen zu verlieren.

Der Fragebogen eignet sich besonders gut für die Evaluation von betrieblichen Weiterbildungen wie Seminaren, Trainings oder Coachings. Durch die Auswertung einer Vielzahl an Studien und eigener Forschungsarbeit, konnten wir neue Erkenntnisse zum Aufbau eines Fragebogens als Evaluationsinstrument gewinnen. Die wichtigsten Aspekte hierbei sind:

• Umfang 
• visuelle Darstellung
• Einleitung
• Skala
• richtige Formulierung
• Fragengestaltung
• Anonymität

1. Welchen Umfang sollte ein Fragebogen haben? 

Je größer der Umfang eines Fragebogens ist, umso mehr Details können abgefragt werden. Allerdings wirkt sich ein zu hoher Umfang leider negativ auf die tatsächliche Umsetzungsmöglichkeit aus.

Eine unserer Studien zeigte, dass Teilnehmer Weiterbildungsmaßnahmen zwar evaluieren möchten, aber nur eine geringe Bereitschaft haben, viel Zeit in die Evaluation zu investieren. Eine einzelne Befragung sollte daher nicht mehr als 10 Minuten in Anspruch nehmen.

Neben dem zeitlichen Umfang ist ebenfalls darauf zu achten, dass die Anzahl an Fragen und Seiten nicht zu hoch ist. Beides erweckt den abschreckenden Eindruck eines hohen Zeitaufwandes und wirkt sich daher negativ auf die Bereitschaft zur Teilnahme und somit der Datenqualität aus.

• Zeitaufwand: maximal 10 Minuten
• Anzahl der Fragen: zwischen 15-25 Fragen
• Anzahl der Seiten: maximal 2 gedruckte Seiten

2. Was ist bei der visuellen Darstellung eines Fragebogens zu beachten?

Dass eine angemessene visuelle Darstellen für den Erfolg einer Befragung essenziell ist, scheint zunächst offensichtlich zu sein. Umso überraschender ist es, dass dieser Aspekt in der praktischen Umsetzung häufig gar keine Beachtung findet.

Hierzu lässt sich jedoch eindeutig festhalten: Ist ein Fragebogen nicht ansprechend gestaltet, sinkt die Akzeptanz der Teilnehmer gegenüber dem Fragebogen und demzufolge auch die Qualität der erhobenen Daten.

Dabei ist es trotzdem keinesfalls notwendig ein aufwendiges Design zu kreieren. Es muss allerdings darauf geachtet werden, dass der Fragebogen übersichtlich gestaltet ist. Daher sollte eine gut lesbare Schriftart und -größe verwendet werden. Wenn Farben zum Einsatz kommen, sollten diese ausreichend Kontrast bieten, den Teilnehmer jedoch nicht irritieren. Zudem sollten Antwortbereiche und deren Zugehörigkeit zu einer Frage klar gekennzeichnet sein. Bei offenen Fragen muss ausreichend Platz für eine Antwort gegeben sein.

• Design: übersichtlich
• Text: gut lesbare Schriftart und -größe
• Farben: kontrastreich, aber nicht irritierend
• Fragen und Antwortbereiche: klare Kennzeichnung und genügend Platz

3. Braucht man eine Einleitung für einen Fragebogen?

Viele Fragebögen starten direkt mit der ersten Frage. Dies spart zwar Zeit, nimmt den Befragten aber leider auch die Möglichkeit sich zu orientieren.

Eine kurze Übersicht über die Details zur Maßnahme, wie Titel, Datum, Seminarleiter oder Dozent etc. zu geben ist insbesondere dann wichtig, wenn die Evaluation nicht direkt im Anschluss an die Weiterbildungsmaßnahme stattfindet. Darüber hinaus sind diese Daten zwingend notwendig für die Zusammenfassung der Ergebnisse. Neben den Details zur Maßnahme kann hier insbesondere ein kurzer Einführungstext hilfreich sein.

Der Einleitungstext sollte, neben einer kurzen Begrüßung und einigen Hinweisen zur Durchführung, auch auf die Bedeutung der Evaluation eingehen. Dabei sollte der Text jedoch nicht zu lang sein, um die Teilnahmebereitschaft der befragten Personen nicht schon vor der ersten Frage zu mindern.

Positiv wahrgenommen wird oftmals auch eine kurze Grußformel am Ende der Befragung, in der man sich für die Teilnahme und Unterstützung bedankt.

• Details zur Maßnahme: Titel, Datum, Dozent, Seminarleiter oder Trainer
• Einleitungstext: Begrüßung, Hinweise zur Durchführung und Bedeutung der Evaluation
• Abschlusstext: Grußformel mit Danksagung

4. Welche Skala sollte zur Bewertung von geschlossenen Fragen verwendet werden?

Für eine perfekte Skala oder einen perfekten Fragebogen gilt das Gleiche – beides gibt es nicht.

Allerdings sind verschiedene Arten von Skalen jeweils mit Vor- und Nachteilen verbunden, die gegeneinander abgewogen werden müssen. So hat die Verwendung eines mittleren Skalenpunktes zwar den Vorteil, dass der Befragte seine Unentschlossenheit ausdrücken kann, gleichzeitig sind solche Antworten aber auch wenig aussagekräftig.

Dennoch lassen sich hierzu einige grundlegende Empfehlungen aussprechen. Insbesondere sollte darauf verzichtet werden unterschiedliche Skalen zu verwenden. Am besten ist es, eine Skala einzuführen und diese durchgängig für alle Fragen zu verwenden. Die einzelnen Skalenpunkte sollten dabei eindeutig und konsequent benannt werden. Um den Befragten ausreichend Spielraum für ihre Antworten zu geben, sie gleichzeitig aber nicht zu überfordern, bieten sich Skalen zwischen vier und sechs verschiedenen Ausprägungen an.

• Kontinuität: nur eine Skala verwenden
• Verständlichkeit: Skalenpunkte eindeutig beschriften
• Ausprägungsempfehlung: 4er oder 6er Skala
• Mittelpunkt: kein mittlerer Skalenpunkt

5. Was ist bei der Formulierung einer guten Frage zu beachtet?

Durch wissenschaftliche Experimente konnte nachgewiesen werden, dass das Antwortverhalten durch eine Veränderung der Formulierung deutlich beeinflusst werden kann.

Die Formulierung sollte daher mit Sorgfalt gewählt werden. Außerdem sollte sie konstant sein, um einen Vergleich zwischen verschiedenen Maßnahmen zu ermöglichen. Es sollte darauf geachtet werden, dass alle Fragen logisch zu beantworten sind. Werden beispielsweise Fragen zur Umsetzung einer Weiterbildungsmaßnahme gestellt, obwohl diese noch gar nicht durchgeführt wurde, irritiert dies schnell.

Die Formulierung sollte eindeutig, verständlich und einfach sein. Außerdem sollte nach Möglichkeit auf Fachbegriffe verzichtet werden. Sollten dennoch Fachbegriffe verwendet werden, sind diese unbedingt zu erklären. Ein sehr häufig auftretendes Problem ist die Verwendung von doppelten Stimuli. Ein Stimuli ist hierbei ein zu bewertendes Kriterium. Jede Frage sollte nur ein einziges Kriterium bewerten, da es sonst nicht möglich ist das Ergebnis sinnvoll geschweige denn eindeutig zu interpretieren.

• Antwortmöglichkeit: logisch
• Formulierung: verständlich, eindeutig und einfach
• Befragungsobjekt: keine doppelten Stimuli

6. Sollten Fragen eher offen oder geschlossen gestaltet werden?

Eine geschlossene Frage ist schneller zu beantworten und die Ergebnisse sind deutlich einfacher auszuwerten und zusammenzufassen. Eine offene Frage liefert hingegen detailliertere Ergebnisse, ist aber auch etwas aufwendiger zu beantworten und schwieriger auszuwerten.

Wir hatten bereits angesprochen, dass es wichtig ist, die Motivation der Befragten aufrecht zu erhalten und daher keine zu langen Befragungen durchzuführen. Es bietet sich deshalb an, beide Fragearten miteinander zu kombinieren. Dies hat den zusätzlichen Vorteil, dass die Befragten Personen ihre ganz persönliche Antwort auf offene Fragen geben können und hier die Möglichkeit haben Anmerkungen zu hinterlassen, wenn sie das Gefühl haben, dass durch die geschlossenen Fragen nicht die für sie entscheidenden Punkte abgefragt wurden. Zum Beispiel gibt es eine Vielzahl von Kriterien die den Transfer beeinflussen. Möchte man diese abfragen, bieten sich geschlossene Fragen an, um Zeit zu sparen. Diese sollten dann durch weitere offene Fragen ergänzt werden, die dann bei der Interpretation der Ergebnisse helfen können.

• Geschlossene Fragen:        sparen Zeit
• Offene Fragen:                     helfen bei der Interpretation von Ergebnissen
• Empfehlung:                         Kombination beider Arten  

7. Sollte eine Evaluation anonym durchgeführt werden?

Die Frage nach der Anonymität stellt sich bei den meisten Befragungen. Die Entscheidung ist dabei meist eine Abwägungssache. Grundsätzlich sind die Antwortbereitschaft und die Qualität der Daten jedoch höher, wenn eine Befragung anonym durchgeführt wird.

So wird durch die Anonymität beispielsweise der Effekt der sozialen Erwünschtheit eingeschränkt. Denn durch diesen neigen Menschen in der Regel dazu, Antworten zu geben, die von ihnen erwartet werden, auch wenn diese nicht mit ihrer eigentlichen Meinung übereinstimmen. In nicht anonymen Befragungen kann es gerade bei negativen Eindrücken vorkommen, dass Teilnehmer diese nicht anmerken oder nur in abgeschwächter Form, um Konflikte zu vermeiden. Daher ist es bei einer anonymen Befragung etwas wahrscheinlicher ehrliche Antworten zu bekommen.

Bei anonymen Befragungen fehlt allerdings die Möglichkeit, nochmals genauer nachzufragen oder vollständig ausgefüllte Fragebögen von Personen einzufordern, die einige der Fragen nicht beantwortet haben. Da eine Abwägung dieser Aspekte stark von der Unternehmenskultur, der konkreten Zielsetzung und dem Inhalt der Maßnahme abhängt, möchten wir hier an dieser Stelle keine finale Wertung vornehmen.

• Einflussfaktoren:                   Unternehmenskultur, Zielsetzung, Inhalt
• Pro Anonymität:                    höhere Antwortbereitschaft und Datenqualität  
• Kontra Anonymität:               keine Zuordnung von Ergebnissen