Evaluation in Studium und Lehre bezieht sich auf systematische Verfahren zur Beurteilung und Verbesserung der Qualit?t von Lehrveranstaltungen, Studieng?ngen und Studienbedingungen. Sie dient dazu, St?rken und Schw?chen zu identifizieren, Entscheidungen zu treffen und letztendlich die Qualit?t von Studium und Lehre zu sichern und weiterzuentwickeln.
Grundlage für die verschiedenen Verfahren der Evaluation bildet die vom Senat beschlossene Ordnung zur Evaluation von Studium und Lehre i.d.F. der ?nderungssatzung vom 27. Juli 2023.
Für die erste Phase der Studiengangsevaluation und Lehramtsevaluation (fakult?tsinterne Evaluation) stehen Methoden und Instrumente zur Datensammlung zur Verfügung. Das QM-Team unterstützt hierbei alle Fakult?ten der Universit?t Regensburg bei der Organisation, Durchführung und Auswertung von schriftlichen und mündlichen Befragungen, die der Weiterentwicklung der Qualit?t von Studium und Lehre dienen. Um wertvolle Informationen für den Selbstbericht zu gewinnen, gibt es einen Pool an Items, die in einer Fragebogenerhebung oder in Form eines Interviews zum Einsatz kommen k?nnen. Die Frageb?gen wurden mit Vertretern und Vertreterinnen der Studierenden erstellt und mit dem studentischen Konvent, den Studiendekanen bzw. Studiendekaninnen und den Studiengangskoordinationen abgestimmt. Neben diesen Informationen liegen als weitere Informationsgrundlage statistische Daten (z.B. Zahl der Studierenden, Zahl der Absolventen bzw. Absolventinnen, Studienerfolgsquoten, etc.) für den Studiengang vor.
Wer wird befragt?
Bei allen Befragungen handelt es sich um eine Vollerhebung der jeweiligen Zielgruppe (Studierende, Lehrende oder Absolventen bzw. Absolventinnen), die papierbasiert oder online durchgeführt werden kann. Bei einer gro?en Kohorte bietet sich aus ?konomischen Gründen eine Onlineerhebung an. In kleinen Studieng?ngen ist es m?glich, Gruppeninterviews durchzuführen.
Was ist Gegenstand der Befragung?
Die Items der Befragungen orientieren sich an den Qualit?tskriterien aus dem Evaluationsleitfaden. Es werden sieben Qualit?tsbereiche untersucht, die in 27 Teilbereichen untergliedert sind. Die fakult?tsinterne Arbeitsgruppe (AG Evaluation) erh?lt durch die Analyse der Befragungsergebnisse von Studierenden, Absolventen bzw. Absolventinnen und Lehrenden Daten, die ein m?glichst umfassendes Bild von der Qualit?t des Studiengangs liefern sollen.
Was passiert mit den Ergebnissen?
Die Ergebnisse werden vom QM-Team in aggregierter und anonymisierter Form der Arbeitsgruppe (AG Evaluation) zur Verfügung gestellt. Dazu z?hlen u.a. die studiengangsbezogenen Befragungen der Studierenden, der Lehrenden sowie der Absolventen bzw. Absolventinnen, die für die St?rken-Schw?chen-Analyse im Rahmen der fakult?tsinternen Studiengangsevaluation ben?tigt werden.
Im Bereich von Studium und Lehre werden an der Universit?t Regensburg regelm??ig folgende Befragungen durchgeführt:
Erstsemesterbefragung
Die Erstsemesterbefragung wird in der Regel gegen Ende der Vorlesungszeit papierbasiert durchgeführt. Zu folgenden Themenfeldern werden die Studierenden aus dem ersten Semester des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Fachbezogene Vorkenntnisse
- Informationsangebote des Studiengangs
- Gründe für die Studienwahl
- Bewerbungs- und Zulassungsverfahren
- Unterstützung und Beratung
- Erfahrungen nach den ersten Monaten im Studium
Studierendenbefragung
Zu folgenden Themenfeldern werden die Studierenden des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Aufbau und Inhalt des Studiums
- Organisation der Lehrveranstaltungen und Prüfungen
- Arbeitsbelastung im Studium
- Informationskultur im Studium
- F?rderliche bzw. einschr?nkende Studienbedingungen
- Berufspraktikum und Mobilit?tsf?rderung im Studium
- Unterstützungs- und Betreuungsm?glichkeiten
Lehrendenbefragung
Zu folgenden Themenfeldern werden die Lehrenden, des zu evaluierenden Studiengangs bzw. Fachs, befragt, in dem sie haupts?chlich lehren:
- Struktur, Lehrangebot und Inhalte des Studiengangs
- Prüfungskonzept und –organisation
- Informationskultur im Studiengang
- Betreuung der Abschlussarbeit
- Studienbedingungen und studienorganisatorische Abl?ufe
- Arbeitsbedingungen in Bereich Forschung und Lehre
- Zufriedenheit mit der beruflichen Situation
- Hochschuldidaktische Weiterbildungsangebote
studentische Lehrveranstaltungsevaluation (Lehrevaluation)
Die Lehrevaluation wird dezentral an den Fakult?ten durchgeführt. Die Auswahl der zu evaluierenden Lehrveranstaltungen und die Durchführung der Lehrevaluation liegen in der Verantwortung der Studiendekanin bzw. des Studiendekans. Die Fachschaft kann Vorschl?ge zur Auswahl der Veranstaltungen einreichen. Die Studiendekanin bzw. der Studiendekan leitet die Ergebnisse der Lehrevaluation an die jeweilige Dozentin bzw. den jeweiligen Dozenten weiter. Bei Bedarf h?lt die Studiendekanin bzw. der Studiendekan Rücksprache mit der Dozentin bzw. dem Dozenten. Die Studiendekanin bzw. der Studiendekan fa?t die Ergebnisse der Befragungen in nicht-personenbezogener Form im Lehrbericht zusammen.
Dabei wird ihr im Rahmen der Qualit?tssicherung keine Disziplinierungs- bzw. Beurteilungsfunktion zugeschrieben, vielmehr soll sie eine Steuerungs- bzw. Optimierungsfunktion übernehmen. Empirisch gut belegt ist, dass dies nur gelingen kann, wenn die Evaluation in ein Netz aus weiterführenden Ma?nahmen integriert wird. Daher setzt die Universit?t nicht auf die Intervention bei kritisch bewerteten Lehrveranstaltungen, sondern auf eine proaktive und begleitende Qualit?tsentwicklung aller Lehrveranstaltungen und damit der Schaffung einer universit?tsweiten Qualit?tskultur.
Workloaderhebung
Die Workloaderhebung dient der ?berprüfung der Studierbarkeit der Bachelor- und Masterstudieng?nge. Es soll festgestellt werden, ob der Arbeitsaufwand, den die Studierenden in einem Studiengang leisten müssen, angemessen ist. Dabei wird das Verh?ltnis zwischen dem tats?chlichen Workload und den vergebenen Leistungspunkten übergeprüft. Die bisher durchgeführten Workloaderhebungen wurden in der Regel im Rahmen der Lehrveranstaltungsevaluation, also am Ende der Vorlesungszeit durchgeführt. Die Fragen zum Workload wurden dabei entweder in den Fragebogen zur Lehrveranstaltungsevaluation integriert oder in einem eigenen kurzen Fragebogen zusammengefasst. {web_name}e Form der Workloaderhebung ist nicht unproblematisch, da es für die Studierenden schwer ist, retrospektiv die tats?chliche Arbeitszeit w?hrend des Semesters einzusch?tzen. Aus diesem Grund sollen zukünftig auch andere Methoden und Instrumente zur Verfügung gestellt werden. So k?nnen beispielsweise Studierende gebeten werden, Lerntagebücher zu führen. Eine weitere M?glichkeit ist der problemzentrierte Workshop mit einer bestimmten Gruppe von Studierenden am Ende des Semesters.
Abbrecherbefragung
Abbrecherbefragung
Die Universit?t Regensburg verfolgt das Ziel, die Gründe der Studierenden für das Verlassen der Universit?t vor Beendigung des Studiums zu ermitteln Zu folgenden Themenfeldern werden Abbrecher des zu evaluierenden Studiengangs bzw. Fachs befragt:
- Gründe für den Fachwechsel an der Universit?t Regensburg
- Ursprüngliche Gründe für die Fachwahl
Absolventen- bzw. Absolventenbefragung
Ehemalige Studierende, die ein Bachelor- oder Masterstudium im zu evaluierenden Studiengang absolviert haben, werden ebenso befragt. Die Absolventen bzw. Absolventinnen haben dadurch die M?glichkeit, sich rückblickend anhand der offenen und geschlossenen Fragen im Fragebogen über den abgeschlossenen Studiengang zu ?u?ern. Zudem bieten die Ergebnisse wertvolle Informationen darüber, wie gut der ?bergang vom Studium ins Berufsleben gelungen ist. Folgende Themenfelder werden im Fragebogen erfasst:
- Aufbau, Lehrangebot und Vertiefungsm?glichkeiten
- Prüfungskonzept und -organisation
- Erworbene Kompetenzen und Praxisbezug des Studiums
- Berufspraktikum und Mobilit?tsf?rderung w?hrend des Studiums
- Unterstützung und Beratung w?hrend des Studiums
- ?bergang ins Berufsleben
Musterfrageb?gen und Interviewleitf?den
Fragebogenerhebung
Für die im Rahmen der Studiengangsevaluation ben?tigten Befragungen stehen Musterfrageb?gen zur Verfügung, deren Fragen sich inhaltlich an den im Evaluationsleitfaden enthaltenen Prüfkriterien orientieren. In Rücksprache mit Fachvertretern werden die Instrumente vor Beginn der Befragung an die fachspezifischen Besonderheiten und individuellen Anliegen angepasst.
Alle Befragungen k?nnen papierbasiert, online oder als eine Kombination von Papier- und Onlineverfahren (Hybridumfrage) mit Hilfe des campusweiten Evaluationssystems EvaSys durchgeführt werden. Ob die Durchführung online oder als papierbasierte Variante sinnvoller ist, h?ngt stark von den Gegebenheiten, des zu evaluierenden Studiengangs ab (z.B. Anzahl der Studierenden, pers?nliche Erreichbarkeit etc.). Falls die Variante mit Papierfrageb?gen gew?hlt wird, werden diese in der Regel in Lehrveranstaltungen verteilt, da die Wahrscheinlichkeit steigt, einen Gro?teil der Studierenden zu erreichen. Die Rücklaufquote der Online-Befragung erreicht eine etwas geringere, aber zufriedenstellende Rücklaufquote. Die Online-Befragung erm?glicht es den Studierenden, sich mehr Zeit für das Ausfüllen des Fragebogens zu lassen, weswegen hier zu beobachten ist, dass auf die offenen Fragen ausführlichere Antworten als bei den papierbasierten Befragungen abgegeben werden.
Interviews
Anstelle oder zus?tzlich zu der schriftlichen Befragung k?nnen im Zuge der fakult?tsinternen Evaluation auch mündliche Befragungen (z. B. Gruppengespr?che, Interviews etc.) durchgeführt werden. Das hierfür verwendete leitfadengestützte Interview kann in Zusammenarbeit mit dem Qualit?tsmanagementteam den fakult?tsspezifischen Besonderheiten und Bedürfnissen individuell angepasst werden. Die Auswertung des Interviews erfolgt durch das Analyseprogramm MAXQDA. Die Ergebnisse aus den Interviews werden in Form eines Ergebnisprotokolls an einen Vertreter bzw. einer Vertreterin der Interviewgruppe weitergeleitet. Die Gruppe hat die M?glichkeit hierzu Stellung zu nehmen. Anschlie?end wird das endgültige Ergebnisprotokoll der Arbeitsgruppe (AG Evaluation) übergeben. Alle Befragungen (quantitativ und qualitativ) werden anonym und unter Einhaltung der Datenschutzbestimmungen durchgeführt.
Folgende Musterfrageb?gen und Interviewleitf?den stehen Universit?tsangeh?rigen als PDF-Download im Intranet zur Verfügung:
- Studiengangsevaluation
- Studierendenbefragung
- Erstsemesterbefragung
- Absolventen-Absolventinnenbefragung (Bachelor)
- Absolventen-Absolventinnenbefragung (Master)
- Lehrendenbefragung (offene Fragen)
- Lehrendenbefragung (offene und geschlossene Fragen)
- Interviewleitfaden Studierende
- Interviewleitfaden Lehrende
- Lehrveranstaltungsevaluation
- Lehrveranstaltungsevaluation Seminar
- Lehrveranstaltungsevaluation Vorlesung
- Worklaoadevaluation der Fakult?t SLK
- Fragenpool QM
Evaluationsprogramme
Evaluationssoftware EvaSys
Für die Durchführung der verschiedenen Befragungen im Rahmen der Evaluationsordnung hat die Universit?t Regensburg eine Campuslizenz der Evaluationssoftware EvaSys erworben. Mit dieser Software k?nnen sowohl papiergestützte als auch Onlinebefragungen einfach und schnell durchgeführt werden. Das Programm liefert automatisch eine H?ufigkeitsauswertung der gegebenen Antworten (inkl. Mittelwerte, Balkendiagramme etc.). Das “Abtippen” von Frageb?gen entf?llt. Eine tiefer gehende Auswertung von Befragungsergebnissen (testtheoretische Verfahren) muss allerdings mit einem der einschl?gigen Statistikprogramme (z.B. SPSS) durchgeführt werden. Für die massenweise Verarbeitung von Lehrveranstaltungsbewertungen und die Durchführung von allgemeinen Studierendenbefragungen stellt das System aber eine leistungsf?hige L?sung zur Verfügung.
Die Nutzung des Systems steht allen Fakult?ten und Einrichtungen offen.
Features
- Die Nutzung kann durch die Teilbereichsadministration pro Fakult?t (eventuell auch pro Fach) erfolgen. Die Teilbereichsadministration kann selbstst?ndig Frageb?gen eingeben und verwalten, Befragungen anlegen und durchführen, sowie die Ergebnisse einsehen und verschicken.
- Die Bedingung des Systems erfolgt sehr intuitiv. Befragungen k?nnen mit wenigen Klicks angelegt und durchgeführt werden.
- Darüber hinaus gibt es weitere Nutzerrollen im System, die verschiedene Teilaufgaben übernehmen k?nnen. Eine Berichterstellerin bzw. ein Berichtsersteller ist beispielsweise in der Lage aggregierte Berichte zu erstellen (z.B. über alle Lehrveranstaltungen eines Fachs) oder Teilpopulationen auszuwerten (z.B. Teilauswertung für Studierende des 3. Fachsemesters etc.).
- Die Datenerfassungskraft (im Normalfall durch eine studentische Hilfskraft) kann handschriftliche Kommentare abtippen und damit anonymisieren.
Der Verifikator kann bei unsicheren Scannerergebnissen die Entscheidung treffen, ob eine Antwort gewertet wird oder nicht. - Weitere umfangreiche Funktionen zur Verfügung, die im Rahmen weiterer Schulungen erkl?rt werden sollen.
Grunds?tzlich ist das System für jede Art von Befragung verwendbar. Auch Befragungen im Rahmen von Forschungsvorhaben (z.B. empirische Studien) oder Abschlussarbeiten von Studierenden k?nnen über das System bearbeitet werden. Allerdings ist es aus organisatorischen Gründen nicht immer m?glich die notwendige Unterstützung bei der Benutzung zu gew?hrleisten. Daher steht vorerst die Evaluation von Studium und Lehre im Vordergrund. Die Nutzung für Forschungsvorhaben und andere Befragungen der Universit?t muss jedes Mal gesondert beantragt werden.
Software qualitative Datenanalyse mit MAXQDA
MAXQDA ist eine Software für die qualitative Analyse von unstrukturierten Daten wie Interviews, Feldnotizen, Umfragen, Tabellen, Bildern, Video- und Audioaufnahmen, bibliographischen Datenbanken und ?hnlichem.
Hybridumfrage
Bei einer Hybridumfrage handelt es sich um eine Befragung, bei der die Befragten sowohl einen papierbasierten Fragebogen wie auch eine pers?nliche TAN-Nummer für eine Online-Befragung erhalten. Das bevorzugte Medium kann zum Ausfüllen des Fragebogens genutzt werden. Bei der Hybridumfrage ist gew?hrleistet, dass jede Teilnehmerin bzw. jeder Teilnehmer nur einmal an der Befragung teilnehmen kann. Wurde der Papierbogen ausgefüllt und eingescannt, gilt die TAN automatisch als verbraucht und umgekehrt.