Umfrage unter den sächsischen Studiendekanen zum Thema E-Assessment

Zu Beginn des Projektes entschlossen wir uns, die fachlichen und strukturellen Ausgangsbedingungen für E-Assessment und insbesondere für E-Klausuren mit hohen Teilnehmerzahlen an den sächsischen Hochschulen mittels einer Online-Befragung der amtierenden Studiendekane zu erheben. Insgesamt wurden 126 Studiendekane an neun verschiedene Hochschulen befragt. Neben den drei Projektstützpunkten, der Universität Leipzig, der TU Dresden und der Westsächsischen Hochschule Zwickau wurden die Studiendekane der TU Chemnitz, der TU Bergakademie Freiberg, der HTWK Leipzig, der Hochschule Zittau/Görlitz, der HTW Dresden und der Hochschule Mittweida per E-Mail angeschrieben und ein Fragebogen als PDF-Formular beigefügt.

Vor allem interessierte uns, ob in den Arbeitsbereichen der Studiendekane Formen von E-Assessment angewandt werden und welche Verfahren und Werkzeuge zur automatischen Auswertung oder zur Durchführung von Prüfungen bereits zum Einsatz kommen und welche Erfahrungen damit gemacht wurden. Des Weiteren wurde versucht, mittels allgemeiner Fragen die Einstellung der Studiendekane zum Thema E-Assessment zu ermitteln, um einschätzen zu können, welche Erwartungen, Befürchtungen und Meinungen mit E-Assessment verbunden werden und ob die Studiendekane an den unterschiedlichen Hochschulen ein generelles Interesse an computergestützten Prüfungen (CGP) ausmachen oder hier eher die Skepsis überwiegt oder auch lediglich ein Informationsdefizit besteht.

Die Befragung hat somit vor allem Projektintern Bedeutung, weil wir so in der Lage sind jene Fakultäten und Hochschulen näher zu Befragen, die bereits Formen von E-Assessment einsetzten, um deren Erfahrungen mit in das Projekt einzubeziehen.

Der Fragebogen ist in fünf unterschiedliche Themenkomplexe gegliedert, denen sich ein Freitextfeld für Anmerkungen anschließt.

Im ersten Fragenblock werden Basisinformationen zum jeweiligen Arbeitsbereich des befragten Studiendekans erhoben.

Um die Reliabilität der Grundgesamtheit auch bei Aggregation einzelner Bereiche zu erhalten, waren zunächst die Fakultäten, oder bei Fakultäten mit mehreren Studiendekanen deren Arbeitsbereiche an jeder der befragten Hochschule in den Fragebögen vorgegeben. Die Studiendekane mussten hier lediglich ihren Arbeitsbereich aus einer alphabetisch sortierten Liste auswählen.

Anschließend wurden die Studiendekane gebeten, die Anzahl der von ihnen betreuten Studiengänge anzugeben, an die sich Angaben zur durchschnittlichen Klausuranzahl im Semester und zur Maximalzahl an Teilnehmern bezogen auf die meistbesuchte Prüfung anschließen. Für die beiden letzten Eingaben wurden großzügige Intervalle zur Auswahl vorgegeben, so dass die Studiendekane hier Ihre grob geschätzten Erfahrungswerte einfacher angeben konnten.

Der zweite Block der Untersuchung beschäftigt sich mit allgemeinen Angaben zur Durchführung computergestützter Prüfungen.

Zunächst wird gefragt, ob im entsprechenden Arbeitsbereich bzw. in den durch ihn betreuten Studiengängen computergestützte Prüfungen (CGP) durchgeführt werden. Ist dies der Fall, wird nach der Form der Prüfungen gefragt, wie oft diese durchgeführt werden, seit wann dies geschieht und ob die Prüfungsordnungen an die Durchführung computergestützter Prüfungen angepasst sind. Andernfalls, wenn folglich keine computergestützten Prüfungen stattfinden, können diese Unterfragen übersprungen werden.

Im dritten Teil des Fragebogens werden drei Ja-Nein-Fragen zur Gestaltung und zum Workflow bestehender Massenprüfungen gestellt. Es wird gefragt, ob formalisierte Prüfungsformen auf Papierbasis (z.B. mit Multiple Choice-Anteilen, Lückentexten usw.) in dem Arbeitsbereich des Studiendekans eingesetzt werden, ob ein elektronisches Campus-Management-System zur Verwaltung der Prüfungsdaten (z.B. HIS-POS) existiert und abschließend, ob studienbegleitende (Selbst-)Tests in den Lehrveranstaltungen durchgeführt werden.

Ziel dieses Fragenblocks ist die Erhebung der Erfahrungen mit E-Assessment-ähnlichen Massenprüfungen und die Untersuchung möglicher Schnittstellen zu existierenden E-Assessment-Systemen.

Teil vier der Umfrage versucht im Anschluss, ein grobes Bild der generelle Interessen und Erwartungen der Studiendekane zum Thema computergestützter Prüfungen zu zeichnen. Zunächst waren die Studiendekane gebeten, das Interesse an E-Assessment an ihren Arbeitsbereichen einzuschätzen. Es waren vier Antwortmöglichkeiten vorgegeben: Ob alle oder nur einzelne Kollegen Interesse an der Durchführung computergestützter Prüfungen haben, ob dieses Thema bereits diskutiert und abgelehnt wurde, folglich kein Interesse besteht, oder ob bis dato noch keine Diskussionen zu diesem Thema stattgefunden haben.

Anschließend wurden die Studiendekane um eine persönliche Einschätzung zum Ausmaß der Effekte computergestützter Prüfungen gebeten. Hier wird auf einer Skala von 1 (negativ) bis 5 (positiv) gefragt, wie sich E-Assessments auf die Verbesserung der Prüfungsqualität, den Zeitaufwand, die langfristigen Kosten, die Modernisierung der Lehre und auf die Erzielung von Wettbewerbsvorteilen auswirken kann.

Einem ähnlichen Muster folgend wird anschließend erhoben, wo der Befragte Probleme im Hinblick auf die Rechts- und IT-Sicherheit, die Beschränkung der Aufgabenformate, die testmethodische Qualitätssicherung, eine mangelnde Akzeptanz bei den Studierenden sowie den Einarbeitungsaufwand in neue Technologie und zusätzliche Einstiegskosten bei computergestützten Prüfungen sieht. Diese Frage verfügte ebenso über eine Antwortskala von 1 (keine) bis 5 (viele).

Abschließend erfolgt die Erhebung technischer und organisatorischer Voraussetzungen des jeweiligen Arbeitsbereiches. Hier sind Angaben zu treffen, die einen Einblick in die Verfügbarkeit von PC-Pools und deren Anzahl liefern. Dabei wird zwischen kleinen (10-20 Arbeitsplätze in einem Raum), mittleren (21-50 Arbeitsplätze), großen Pool (51-100) und Großanlagen (mit mehr als 100 Arbeitsplätzen) unterschieden.

Für Anmerkungen oder sonstigen Angaben sind den einzelnen Abschnitten des Fragebogens Freitextfelder beigefügt, über die der Befragte Ergänzungen o.ä. angeben kann.

Der Versand des Fragebogens fand in Form eines PDF-Anhanges an eine an die Studiendekane bzw. deren Sekretärinnen adressierte Mail statt. Darin wurde neben einer persönlichen Anrede eine Kurzinformation zum Projekt iAssess.Sax gegeben. Zusätzlich wurden dem Adressaten die technischen Details zur Beantwortung des Fragebogens mitgeliefert.

Nach Beantwortung der Umfrage waren die Studiendekane gebeten, den ausgefüllten Bogen an eine einheitliche, vom Projektteam bereitgestellte E-Mail-Adresse zurück zu schicken.

Nach Ablauf einer ersten Frist wurde eine Dankesmail an alle Beteiligten verschickt, die gleichzeitig als Erinnerung für all jeden dienen sollte, die noch keine Zeit gefunden hatten, den Fragebogen auszufüllen.

Für die Auswertung der Ergebnisse wurden zunächst alle Angaben automatisiert oder manuell in eine einheitliche Excel-Tabelle überführt. In dieser konnten dann erste grafische Auswertungen und die notwendigen Anpassung vorgenommen werden, die für den Import der Daten in die Statistik- und Analyse-Software SPSS erforderlich sind.

Im folgenden Abschnitt wird dargestellt, welche grundlegenden Erkenntnisse aus der Befragung gewonnen werden konnten. Dabei geht es zunächst um befragungstechnische Angaben, wie den Rücklauf (allgemein und für jede Hochschule) oder um Aussagen zur Anzahl durchgeführter Klausuren. Im Anschluss werden dann die Verteilungen der Antworten des eingangs vorgestellten Fragebogens untersucht und bereits Ausreißer, erste Implikationen etc. zusammengetragen.

Der gesamte Rücklauf der Umfrage stellt sich wie folgt dar:

Abbildung 1: Gesamtrücklauf aller sächsischen Hochschulen

Bei 126 verschickten Fragebögen ergibt sich insgesamt ein Rücklauf von 60,3 Prozent (vgl. Abbildung 1). Betrachtet man ausschließlich die Anzahl erhaltener, ausgefüllter Fragebögen, beträgt der Rücklauf 56,3 Prozent. Dies ist für eine freiwillige Befragung eine erfreulich hohe Rücklaufquote, die eine hohe Kooperationsbereitschaft und ein vorhandenes und leicht aktivierbares Interesse bei den Befragten signalisiert.

Je nach Größe der einzelnen Hochschule zeichnet sich ein sehr differenziertes Bild des Rücklaufs ab. Obwohl an kleineren Hochschulen der Prozentsatz oftmals höher ist konnte bei den großen Hochschulen stets ein Rücklauf über 50 Prozent erzielt werden. Bei kleineren aber stark gegliederten Hochschulen erwies sich die Adressierung der Erfahrungsträger als problematisch. Entsprechend gering fällt teilweise der Rücklauf aus (vgl. Abbildung 2). An der Universität Leipzig kam es bei der ersten Befragung zu technischen Problemen beim Versand der Fragebögen, so dass dort eine erhöhte Anzahl von Antworten ohne ausgefüllte Fragebögen zu verzeichnen war, ohne das jedoch der generelle Rücklauf und auch die Quote der ausgefüllten Fragebögen niedriger als der Durchschnitt ausgefallen wäre.

Abbildung 2: Rücklauf nach Hochschulen

Abbildung 3: Anzahl der im Semester durchgeführten Klausuren

Die Bereiche, die durch ein besonders hohes Prüfungsaufkommen als besonders interessiert an einer (teil-)automatisierten Durchführung von Prüfungen sein sollten, sind alle jene, deren Klausuraufkommen im vierstelligen Bereich liegt. Zu den Arbeitsbereichen, die über 5.000 Prüfungen durchführen, gehören zwei wirtschaftswissenschaftliche Fakultäten (TU Dresden und WH Zwickau), die Informatik an der TU Dresden sowie die Humanmedizin an der Uni Leipzig und der Bereich Maschinenbau in Freiberg.

Abbildung 4: Teilnehmerzahl der meistbesuchten Prüfung im Semester

Die Beantwortung dieser Frage ergab einige wenige Spitzenwerte, die allesamt der Technischen Universität Dresden zugeordnet werden können. Zu den Arbeitsbereichen, an denen bis zu 500-1.000 Studierende gemeinsam an einer Prüfung teilnehmen, zählt die Physik, die Psychologie, die Sprach-, Literatur- und Kulturwissenschaften sowie die Fakultäten der Verkehrs- und Wirtschaftswissenschaften, wobei letztere sogar über 1000 Teilnehmer verbuchen kann.

Nach den Basisinformationen, die dem Projekt Rückschlüsse zu grundlegenden Größenordnungen, was das Prüfungsaufkommen eines jeden Arbeitsbereiches an den sächsischen Hochschulen angeht, liefern sollen, folgen nun detailliertere Fragestellungen zu computergestützten Prüfungen und deren Durchführung.

Diese Frage erlaubt einen Einblick in den derzeitigen Stand der Verbreitung computergestützter Prüfungen an den sächsischen Hochschulen. In den 71 ausgefüllten Fragebögen (vgl. Abbildung 1) gaben lediglich 15 an, computergestützte Prüfungen an ihrem Arbeitsbereich durchzuführen (vgl. Abbildung 5). 54 verneinten dies, zwei weitere lieferten keine Antwort zu dieser Frage.

Abbildung 5: Anzahl der Arbeitsbereiche, in denen CGP stattfinden.

Zu jenen Bereichen, an denen computergestützte Prüfungen stattfinden, zählen:

• an der TU Dresden: die Fakultät für Geodäsie, Kartographie und Astronomie, die medizinische Fakultät und die Wirtschaftswissenschaften;
• an der Uni Leipzig die Erziehungswissenschaften, Humanmedizin und Veterinärmedizin;
• an der HTWK Leipzig das Bauwesen, die Medien und die Wirtschaftswissenschaften,
• sowie an der TU Freiberg die Geowissenschaften an der Hochschule Zittau/Görlitz das Maschinenwesen, die Elektrotechnik an der HTW Dresden, der Arbeitsbereich Mathematik/Physik/Informatik in Mittweida und in Zwickau die Architektur.

Für die weitere Auswertung der Erfahrungen, die in diesen Arbeitsbereichen gewonnen werden konnten, ist es ein Ziel weiterer Befragungen (die z.T. bereits durch den Fragebogen abgedeckt werden), Material und konkretes Wissen zu sammeln, die für die zu erstellenden Leitfäden und Checklisten genutzt werden können.

Die Frage nach der Form der computergestützten Prüfung richtet sich an die Studiendekane der Arbeitsbereiche, die zuvor angegeben haben, dass in deren Verantwortungsbereich solche durchgeführt werden.

Tabelle 1: Form der CGP nach Fachbereich und Hochschule

Tabelle 1 verdeutlicht, dass computergestützte Prüfungen am häufigsten (9-mal) in PC-Pools abgehalten werden. Vereinzelt erfolgt die automatisierte Auswertung von herkömmlichen Klausuraufgaben (7-mal) und in noch selteneren Fällen die Durchführung von Prüfungen am eigenen Rechner (3-mal). Die Durchführung von Prüfungen durch Drittfirmen findet hingegen an keiner der sächsischen Hochschulen statt.

Auf die Frage nach der Häufigkeit der durchgeführten computergestützten Klausuren ergibt sich ein recht homogenes Bild. Bis auf die Leipziger Humanmedizin mit über 1000 Prüfungsfällen und den Erziehungswissenschaften der Universität Leipzig mit 101 bis 500 Prüfungsfällen, rangieren die übrigen Befragten allesamt bei unter 100 computergestützt durchgeführten Klausuren bzw. Prüfungsfällen (vgl. Abbildung 6).

Abbildung 6: Anzahl der computergestützten Prüfungsfälle im Semester

Um herauszufinden, an welcher Hochschule besonders versierte Erfahrungsträger zum Thema E-Assessment beschäftigt sind, fokussiert die folgende Frage den Zeitraum, seit dem computergestützte Prüfungen am jeweiligen Arbeitsbereich durchgeführt werden. Die nachstehende Abbildung zeigt, dass sich mehr als die Hälfte (6) der Anwender seit über vier Jahren mit dem Thema beschäftigen und dort computergestützte Prüfungen stattfinden (vgl. Abbildung 7).

Abbildung 7: Zeitraum seit Begin der erstmaligen Durchführung von CGP

Im Hinblick auf die Schaffung und Sicherung rechtlicher Grundlagen für die Durchführung computergestützter Prüfung gilt es frühzeitig sicherzustellen, dass die Rahmenbedingungen und Anforderungen in den jeweiligen Prüfungsordnungen der Studiengänge bzw. Fakultäten fixiert werden. Die Umfrage unter den Studiendekanen, die z.T. bereits computergestützte Prüfungen durchführen (vgl. 3.3.1), ergab, dass lediglich 11 Prozent eine angepasste Prüfungsordnung besitzen (vgl. Abbildung 8). Ein Großteil bewegt sich bei der Anwendung in einem rechtsunsicheren Raum und verdeutlicht damit die Problematik der unzureichenden gesetzlichen Fundierung computergestützter Prüfungen (vgl. AP 2.3).

Abbildung 8: Anzahl der an die Durchführung von CGP angepassten Studienordnungen

Der nachfolgende Abschnitt klärt, ob formalisierte Prüfungsformen auf Papierbasis (z.B. mit Multiple Choice-Anteilen, Lückentexten usw.) in dem Fachbereich des jeweiligen Studiendekans eingesetzt werden. Zusätzlich kann gezeigt werden, ob in den Arbeitsbereichen elektronische Campus-Management-Systeme zur Verwaltung der Prüfungsdaten existieren und ob studienbegleitende (Selbst-)Tests durchgeführt werden.

Auf die Frage nach vergleichbaren Prüfungsformen auf Papierbasis zeigt sich, dass mit 29 Studiendekanen immerhin 41 Prozent der Befragten bereits MC-Klausuren o.ä. durchführen (vgl. Abbildung 9).

Abbildung 9: Anteil der Arbeitsbereiche, die formalisierte Prüfungsformen durchführen

Der größere Rest hingegen hat weder mit computergestützten Klausuren noch mit formalisierten Klausuren an sich Erfahrungen.

Zur Automatisierung der Prüfungsanmeldung und der Übergabe dieser Informationen an das computergestützte Prüfungssystem ist es vorteilhaft, auf ein elektronisches Campus-Management-System wie HIS-POS o.ä. zurückgreifen zu können.

Fast zwei Drittel der befragten Studiendekane gibt zu dieser Frage an, dass ein solches System bereits zur Anwendung kommt (vgl. Abbildung 10). An dieser Stelle ist davon auszugehen, dass in den nächsten Jahren dieser Anteil weiter wachsen wird. Für die Durchführung computergestützter Prüfungen ist das natürlich ein Vorteil.

Abbildung 10: Anteil der Arbeitsbereiche, die elektronische Campusmanagement-Systeme nutzen

Da computergestützte Prüfungen nicht ausschließlich in Form von Klausuren an Computern abgehalten werden, stellt sich die Frage, ob an den verschiedenen Arbeitsbereichen andere Formen von Assessments, die zukünftig ebenso durch ein elektronisches Prüfungssystem gehandhabt werden können, durchgeführt werden.

Abbildung 11 veranschaulicht hierzu, dass sich der Anteil derer, die solche Tests durchführen ungefähr mit denen die Waage hält, die dies nicht tun.

Abbildung 11: Anteil der Arbeitsbereiche, die studienbegleitende (Selbst)Tests durchführen

Mit der Untersuchung des Interesses und der Erwartungen seitens der Studiendekane der sächsischen Hochschulen wird aufgezeigt, welche Arbeitsbereiche besonders affin zum Thema computergestützte Prüfungen sind und welche den Ansatz eher als problembehaftet ansehen.

Über die Ergebnisse dieser Frage wird ein Einblick in die Interessenlage der Studiendekane und den ihnen untergebenen Professoren etc. gewährt. Mit den alternativen Antwortmöglichkeiten wird erfasst, ob alle oder nur einzelne Kollegen Interesse an der Durchführung computergestützter Prüfungen haben, ob das Thema bereist diskutiert und abgelehnt wurde, folglich kein Interesse besteht oder ob bis dato noch keine Diskussionen zu diesem Thema stattgefunden haben.

Abbildung 12: Interessenspektrum der Arbeitsbereiche an CGP

In Abbildung 12 werden die unterschiedlichen Aussagen summiert. Von besonderem Interesse für das Projekt iAssess.Sax sind selbstverständlich alle jene Arbeitsbereiche, die grundlegend Interesse am Einsatz computergestützter Prüfungen bekunden. Um die Nachhaltigkeit der Ergebnisse des Projektes zu gewährleisten, sollten in einer längerfristigen Betrachtung zusätzlich die Studiendekane oder Bereiche für den Einsatz computergestützter Prüfungen gewonnen werden, in denen das Thema noch nicht behandelt wurde. Damit den Anwendern ein reibungsloser Einsatz garantiert werden kann, sollten schlussendlich auch all die Studiendekane befragt werden, die den Einsatz diskutiert und abgelehnt haben. Hier lassen sich Hinweise auf Probleme oder Anforderungen an computergestützte Prüfungen identifizieren, die in die spätere Konzeption der Leitfäden und Checklisten einfließen können.

Ein Studiendekan an der TU Bergakademie Freiberg gab als Ablehnungsgrund bspw. an, dass bei computergestützten Klausuren „keine Prüfungsatmosphäre“ und „keine positive Spannung“ aufkäme. „Gerade schwächere Studenten“ täten mit der Anonymität der Prüfungssituation schwer. Grundsätzlich unterscheiden sich die Situationen einer klassischen Papierklausur und einer Prüfung am Computer jedoch nicht wesentlich voneinander. Während sich die Studierenden bei der ersten Variante mit bedrucktem Papier beschäftigen, ändern sich im zweiten Fall nur das Medium bzw. die Arbeitsmittel, die dem Studenten zur Verfügung stehen. In den Pilotprüfungen der Projektteilnehmer herrschte ansonsten eine identische Atmosphäre.

Die Frage nach den Effekten computergestützter Prüfungen gliedert sich in fünf Teilaspekte. Neben den Auswirkungen auf die Prüfungsqualität, wurde nach den Einflüssen auf den Zeitaufwand, auf die Kosten sowie auf die Modernisierung der Lehre und die Erzielung von Wettbewerbsvorteilen gefragt. Mit einer Skala von 1 (negativ) bis 5 (positiv) lassen sich die Ergebnisse der Befragung zu folgenden Grafiken aggregieren:

Abbildung 13: Einfluss auf die Prüfungsqualität

Abbildung 14: Einfluss auf den Zeitverbrauch

Abbildung 13 gibt Aufschluss darüber, welchen Einfluss computergestützter Prüfungen die Befragten auf die Prüfungsqualität sehen. Mit 47 Prozent misst fasst die Hälfte der Studiendekane der Prüfungsform einen negativen Einfluss bei. Lediglich 10 Prozent erwarten eine Verbesserung durch computergestützte Prüfungen. Abbildung 14 zeichnet ein sehr positives Bild bei einem Großteil der Befragten. Nur 12 Prozent erwarten eine Verschlechterung der Ver- und Bearbeitungszeit.

Abbildung 15: Einfluss auf die anfallenden Kosten

Abbildung 16: Einfluss auf die Lehre

Im Hinblick auf die langfristige Entwicklung der Kosten wird ebenfalls eine eher positive Entwicklung erwartet. Abbildung 15 veranschaulicht dazu, dass über 45 Prozent der Studiendekane von computergestützten Prüfungen einen positiven Effekt auf die Prüfungskosten etc. erwarten. Lediglich 17 Prozent haben diesbezüglich eine pessimistischere Haltung.

Abbildung 16 verdeutlicht, dass die Erwartungen an einen modernisierenden Effekt durch computergestützte Prüfungen sehr zwiespältig sind. Die größte Gruppe mit 38 Prozent schätzt den Effekt als neutral ein. Der Rest verteilt sich fast gleichmäßig auf die anderen Kategorien.

Abbildung 17: Einfluss auf den Wettbewerb

Zum Wettbewerb beziehen die wenigsten eine konkrete Position.

Abbildung 17 veranschaulicht, dass über die Hälfte der Befragten keinen klaren Vor- oder Nachteil erkennen. Wirklich positiv werden die Auswirkungen nur von 13 Prozent der Studiendekane empfunden bzw. erwartet.

Die nachstehenden Graphen differenzieren die Ergebnisse noch einmal nach Fachbereichen, in denen CGP bereits durchgeführt werden bzw. solchen, die bis dato noch keine Erfahrungen mit elektronisch gestützten Klausuren haben (vgl. Abbildung 5).

Abbildung 18: Einfluss auf die Prüfungsqualität aus Sicht der CGP-Anwender

Abbildung 19: Einfluss auf die Prüfungsqualität aus Sicht der CGP-Unerfahrenen

Beiden Perspektiven ist gemein, dass die Masse der Befragten der Nutzung von computergestützten Prüfungen einen neutralen Effekt auf die Prüfungsqualität beimisst. Allerdings ist der Anteil derer, die der Durchführung von CGP einen positiven Einfluss auf die Prüfungsqualität attestieren auf Seiten der Anwender von elektronischen Assessments größer als auf Seiten der Unerfahrenen.

Abbildung 20: Einfluss auf den Zeitverbrauch aus Sicht der CGP-Anwender

Abbildung 21: Einfluss auf den Zeitverbrauch aus Sicht der CGP-Unerfahrenen

Der Vergleich des empfundenen Einflusses auf den Zeitverbrauch zeigt deutlich, dass die Nutzer computergestützter Prüfungen diesen positiver empfinden. In der praktischen Anwendung können demnach die Bedenken, die z.T. auf Seiten der Nicht-Anwender vorherrschen ausgeräumt werden.

Abbildung 22: Einfluss auf die anfallenden Kosten aus Sicht der CGP-Anwender

Abbildung 23: Einfluss auf die anfallenden Kosten aus Sicht der CGP-Unerfahrenen

Die Wahrnehmung des Kostenfaktors liefert nach der Aufteilung in die beiden Zielgruppen kein differenziertes Bild. Tendenziell fallen die Erwartungen der Nicht-Anwender aber etwas positiver aus.

Abbildung 24: Einfluss auf die Lehre aus Sicht der CGP-Anwender

Abbildung 25: Einfluss auf die Lehre aus Sicht der CGP-Unerfahrenen

Im Hinblick auf modernisierende Einflüsse auf die Lehre durch die Nutzung computergestützter Prüfungen zeigt sich, dass der Anteil der negativen Einschätzungen unter den Anwendern von E-Assessments geringer ist. Insgesamt spricht die Zielgruppe den CPG einen eher neutralen Effekt zu.

Abbildung 26: Einfluss auf den Wettbewerb aus Sicht der CGP-Anwender

Abbildung 27: Einfluss auf den Wettbewerb aus Sicht der CGP-Unerfahrenen

In puncto Wettbewerbsvorteile zeichnet sich auch ein positiveres Bild auf Seiten der Anwendungserfahrenen ab. Der Anteil der positiven Wortmeldungen ist im Vergleich zu den Nicht-Anwendern höher. Die rein negativen Einschätzungen verteilen sich unter den Anwendern eher auf die nächst positiveren („eher negativ“ und „neutral“) Stufen.

Neben der Wahrnehmung der Einflüsse, die computergestützte Prüfungen auf den Ablauf der Lehre usw. haben, ist von entscheidendem Interesse, ob die Veränderungen, die der Einsatz computergestützter Prüfungen mit sich bringt, als problematisch wahrgenommen werden. Wo sehen die Befragten Probleme im Hinblick auf die Rechts- und IT-Sicherheit? Entstehen Probleme durch die Beschränkung der Aufgabenformate? Ist die testmethodische Qualitätssicherung gefährdet? Herrscht eine mangelnde Akzeptanz bei den Studierenden oder werden der Einarbeitungsaufwand in die neue Technologie und die zusätzlichen Einstiegskosten als besonders gravierend empfunden. Über eine Skala von 1 (keine) bis 5 (viele) waren diese Fragen zu beantworten.

Abbildung 28: Probleme mit der Rechtssicherheit

Abbildung 29: Probleme mit der IT-Sicherheit

Abbildung 28 und Abbildung 29 zeigen gleichermaßen, dass über die Hälfte Befragten vermehrt oder gar viele Probleme im Hinblick auf die Sicherheit beim Einsatz computergestützter Prüfungen sehen.

Zum Teil schreiben die Befragten computergestützten Prüfungen in der Folge eine Verschlechterung der Leistungen zu, weil sie „dem Betrug wird Vorschub“ leiste. Allerdings können die Studierenden in einer tatsächlichen Prüfungssituation kaum von ihren Nachbarn profitieren. Durch die Möglichkeit, die Aufgaben und Aufgabenblöcke für jeden Prüfungsteilnehmer individuell durchzumischen, besteht praktisch keine Chance, die Lösungen des Nachbars zu übernehmen.

Ein Studiendekan an der Universität Leipzig sieht die Gefährdung der IT- und Rechtssicherheit eher unscharf. Die Sicherheit eines computergestützten Prüfungssystem „könnte ein Problem werden, muss aber nicht.“

Abbildung 30: Probleme mit den Aufgabenformaten

Abbildung 31: Probleme mit der Testmethodik

Abbildung 30 verdeutlicht, dass ein Großteil der Studiendekane die Beschränkung der Aufgabenformate als problematisch ansieht. Keine Probleme herrschen hingegen im Bereich Wirtschaftswissenschaften an der HTWK Leipzig sowie an der Universität Leipzig in den Bereichen der Human- und Veterinärmedizin. Hauptproblem in der Mathematik, so ein befragter Studiendekan liegt in der Tatsache, dass „Computer […] Rechenwege/Beweisideen nicht bewerten“ können. Ein Ausweg, der im gleichen Atemzug angeboten wird: Nur „ein (kleiner) Teil der Klausur […] computergestützt“ durchgeführt. So ließen sich „ Akzeptanzprobleme […] viel Ärger mit den Kollegen der anderen Fakultäten“ vermeiden.

Ein Befragter an der Universität Leipzig lehnt elektronische Assessments aus dem Grund ab, weil aus seiner Sicht computergestützte Prüfungen einen erhöhten „Zeitaufwand [und] unspezifische Fragestellungen“ mit sich bringen. Zusätzlich seien „computergestützte Prüfungen sehr schwer zu realisieren, [da] praktisch keine Ja-/Nein-Fragen“ gestellt würden. „Multiple Choice soll in der Regel nicht geprüft werden“. Ein weiterer Studiendekan an der Universität Leipzig sieht besonders im Hinblick auf die „Prüfung von graphischen Elementen, Skizzen, Schemata“ Probleme. Zudem wird besonders in den Ingenieurwissenschaften der „Ansatz […] als nicht zielführend“ oder gar als „völlig sinnlos“ angesehen. Besonders die erste Aussagen steht in klarem Widerspruch zu den Erfahrungen, die im Rahmen des Projektes iAssess.Sax gemacht werden konnten. Durch die Nutzung wohlformulierter MC-Fragen können eine hohe Qualität und die Sicherung der Prüfziele gewährleistet werden. In eine ähnliche Richtung geht die Aussage eines Leipziger Kollegen, demzufolge Computer „größere Möglichkeiten, unterschiedliche Formate abzubilden als Papier“ böten.

Abbildung 31 gibt ein sehr ausgeglichenes Bild wieder. Hier sind die Anteile der Besorgten und Unbesorgten relativ gleich, weshalb sich hier keine klaren Schlüsse ohne eine genauere Betrachtung der jeweiligen Arbeitsbereiche ziehen lassen. Allerdings lieferten die Bemerkungen einzelner Studiendekane z.T. recht drastische Aussagen, nach denen MC-Aufgaben in Klausuren als „nicht hochschuladäquat“ bezeichnet wurden. Zudem gäben „computergestützte Klausuren […] keinen Aufschluss über die Fähigkeiten und Fertigkeiten des Studenten“.

Abbildung 32: Probleme mit der Akzeptanz bei Studenten

Abbildung 33: Probleme mit der Einarbeitung

Die Abbildung 32 veranschaulicht, dass im Hinblick auf die Akzeptanz der neuen Prüfungsform die wenigsten Studiendekane ernsthafte Probleme auf sich zukommen sehen. Als ein besonderes Hindernis empfunden wird die Akzeptanz bei den Studenten u.a. bei den Geowissenschaften in Freiberg, den Erziehungswissenschaften an der Universität Leipzig und im Bauwesen der HTWK Leipzig. Den Einarbeitungsaufwand in die neue Technologie sehen ähnlich wie die Beschränkung der Aufgabenformate viele Befragte als kritisch an (vgl. Abbildung 33).

Abbildung 34: Probleme mit anfallenden Einstiegskosten

Zuletzt wurde in diesem Fragenblock ermittelt, ob die Einstiegskosten, die bei Anwendung computergestützter Prüfungen anfallen, von den Studiendekanen als problematisch verstanden werden. Hier zeigt sich, dass zwar über 50 Prozent einige bis viele Probleme auf sich zukommen sehen, über ein Drittel der Befragten nimmt hingegen eine neutrale Position zu dieser Frage ein (vgl. Abbildung 34).

Die nachstehenden Graphen differenzieren die Ergebnisse noch einmal nach Fachbereichen, in denen CGP bereits durchgeführt werden bzw. solchen, die bis dato noch keine Erfahrungen mit elektronisch gestützten Klausuren haben.

Abbildung 35: Probleme mit der Rechtssicherheit aus Sicht der CGP-Anwender

Abbildung 36: Probleme mit der Rechtssicherheit aus Sicht der CGP-Unerfahrenen

Je nach Betrachtungsgruppe werden die Probleme mit der Rechtssicherheit eines computergestützten Prüfungssystems recht unterschiedlich wahrgenommen. Während die CGP-Unerfahrenen eher Probleme erwarten, nehmen die Befragten, die computergestützte Prüfungen bereits durchgeführt haben, diesbezüglich eine (im Schnitt) neutrale Haltung ein.

Abbildung 37: Probleme mit der IT-Sicherheit aus Sicht der CGP-Anwender

Abbildung 38: Probleme mit der IT-Sicherheit aus Sicht der CGP-Unerfahrenen

Im Hinblick auf die IT-Sicherheit zeichnet sich ebenfall ein positiveres Bild auf Seiten der Anwendungserfahrenen ab. Während der Anteil derer, die einige Probleme sehen, ungefähr gleich ist, ist auf Anwenderseite die Gruppe, die viele Probleme mit der IT-Sicherheit ausmacht, deutlich kleiner.

Abbildung 39: Probleme mit den Aufgabenformaten aus Sicht der CGP-Anwender

Abbildung 40: Probleme mit den Aufgabenformaten aus Sicht der CGP-Unerfahrenen

Die Beschränkung der Aufgabenformate sehen die Befragten, die noch keine Erfahrungen mit computergestützten Prüfungen gemacht haben, fast durchweg als kritisch. Auf der Seite der Anwendungserfahrenen Studiendekane zeichnet sich hingegen ein sehr homogenes Bild ab. Dort existieren zwar auch Skeptiker, jedoch gaben hier über 50 Prozent eine neutrale bis positive Einschätzung ab.

Abbildung 41: Probleme mit der Testmethodik aus Sicht der CGP-Anwender

Abbildung 42: Probleme mit der Testmethodik aus Sicht der CGP-Unerfahrenen

Im Vergleich zu den Bereichen, in denen derzeit noch keine CGP durchgeführt werden, ist die Zahl der Befragten, die keine bis kaum Probleme mit der Qualitätssicherung der Testmethodik sehen erheblich geringer als auf Seiten der Nicht-Anwender. Diese nehmen vielmehr ein neutrale bis kritische Position ein.

Abbildung 43: Probleme mit der Akzeptanz aus Sicht der CGP-Anwender

Abbildung 44: Probleme mit der Akzeptanz aus Sicht der CGP-Unerfahrenen

Der Großteil der Befragten Studiendekane, die sich in ihren Fachbereichen bereits mit E-Assessments beschäftigen, schätzen die Akzeptanzprobleme ihrer Systeme seitens der Studenten als gering bis nicht vorhanden ein. In der Gruppe der Nicht-Anwender hingegen nehmen die meisten eine neutrale Position zu dieser Frage ein. Die Wenigsten sehen hier viele Probleme auf sich zukommen.

Abbildung 45: Probleme mit der Einarbeitung aus Sicht der CGP-Anwender

Abbildung 46: Probleme mit der Einarbeitung aus Sicht der CGP-Unerfahrenen

In beiden Fokusgruppen ist die häufigste Einschätzung des Einarbeitungsaufwandes mit „einige[r]“ angegeben. Anders als bei den Unerfahrenen findet sich auf Anwenderseite aber auch ein großer Anteil an Befragten, die kaum Probleme mit der neuen Technologie wahrnehmen.

Abbildung 47: Probleme mit anfallenden Einstiegskosten aus Sicht der CGP-Anwender

Abbildung 48: Probleme mit anfallenden Einstiegskosten aus Sicht der CGP-Unerfahrenen

Die Betrachtung der zu erwartenden Kosten wirft auf beiden Seiten ein ähnliches Bild auf. Insgesamt sehen die Befragten, die E-Assessments bereits durchführen, mehr Probleme mit zusätzlichen Einstiegskosten.

Für die Realisierung computergestützter Prüfungen ist das Vorhandensein der notwendigen Hardware von entscheidender Bedeutung. Speziell im Hinblick auf die Durchführung von Massenprüfungen sollten dazu idealerweise PC-Pools mit hohen Kapazitäten zur Verfügung stehen. Andernfalls müsste bei solchen Prüfungen eine Vielzahl an Prüfungsterminen angeboten werden, zu dem jedes Mal eine Aufsichtsperson abzustellen wäre. Für kleinere Prüfungen reichen kleinere bis mittlere Pools.

Vor der Untersuchung der Art und Größe der Pools eines jeden Arbeitsbereiches sollte ein Überblick über das grundsätzliche Vorhandensein von Pools gewonnen werden. Abbildung 49 zeigt hierzu, dass fast 93 Prozent der Befragten die Möglichkeit haben, auf einen oder mehrere Pools zuzugreifen.

Abbildung 49: Nutzungsmöglichkeit von PC-Pools

Keinen Zugang haben die Bereiche Europa-Studien und Germanistik an der TU Chemnitz, sowie die Theologie an der Universität Leipzig und die Fakultäten Raumentwicklung bzw. Naturressourcenmanagement und die der Sprach-, Literatur- und Kulturwissenschaften an der TU Dresden.

Im Hinblick auf die Tatsache, dass PC-Pools zur Durchführung von computergestützten Prüfungen in ausreichender Form vorhanden sein müssen, konnte die Erhebung unterschiedliche Einschränkungen aufdecken: Zwei Studiendekane zählen die Einschränkung durch eine mangelnde Ausstattung mit PC-Pools schon in den zu erwartenden Problemen mit CGP zu den Hindernissen. Hierzu gehören die Hochschule Mittweida in der Sozialen Arbeit („zu wenige Computer im Verhältnis zu den Semestergruppen-Größen“) und die Wirtschaftswissenschaftler an der TU Chemnitz („PC-Pool ist zu klein“).

Oftmals sind die Pools wie bei den Elektrotechniker/Informationstechnikern an der TU Chemnitz Lehrstuhl-gebunden („Die Pools gehören den einzelnen Lehrstühlen, nicht der Fakultät. Sie stehen also nur diesen Lehrstühlen zur Verfügung. Viele Lehrstühle haben keine Pools.“). Die Ressourcen sind praktisch da, müssten aber erst noch freigegeben werden.

Nachfolgende Tabellen liefern einen Überblick über die Verfügbarkeit von Computer-Pools an den verschiedenen Hochschulen. Durch die Erhebung dieser Zahlen kann ein Eindruck davon gewonnen werden, welche Arbeitsbereiche über welche technischen Voraussetzungen verfügen.

Tabelle 2: Ausstattung mit PC-Pools an der TU Chemnitz

Tabelle 3: Ausstattung mit PC-Pools an der TU Dresden

Tabelle 4: Ausstattung mit PC-Pools an der TU BA Freiberg

Tabelle 5: Ausstattung mit PC-Pools an der Hochschule Zittau/Görlitz

Tabelle 6: Ausstattung mit PC-Pools an der HTW Dresden

Tabelle 7: Ausstattung mit PC-Pools an der HTWK Leipzig

Tabelle 8: Ausstattung mit PC-Pools an der Universität Leipzig

Tabelle 9: Ausstattung mit PC-Pools an der Hochschule Mittweida

Tabelle 10: Ausstattung mit PC-Pools an der Westsächsischen Hochschule Zwickau

Die Umfrage unter den sächsischen Studiendekanen zu E-Assessments zeigt deutlich, dass das Thema nicht unbekannt ist. Die Auswertung der Umfrage ergab, dass Erfahrungen zwar vorhanden sind, sich diese aber auf kleine Gruppe beschränken - unabhängig sowohl von der Art der Hochschule als auch vom Standort. In der Diskussion befinden sich E-Assessments in weitaus mehr Fachbereichen.

Die Prüfungsbelastung an den Hochschulen und innerhalb der verschiedenen Verwantwortungsbreiche erweist sich als weitgehend homogen, hat aber einige deutliche Ausreißer. Primäres Ziel des Projekts iAssess.Sax sollte es sein, die Verantwortlichen dieser Bereiche zu gewinnen, um E-Assessments an den sächsischen Hochschulen zu etablieren. Mit derartigen Referenzpiloten im Rücken könnten dann mittel- und langfristig weitere Anwender einbezogen werden.

Eine Grundvoraussetzung dafür ist die Absicherung der rechtlichen Voraussetzungen für computergestützte Prüfungen. In Anbetracht der Umfrageergebnisse, kann hier ein klarer Handlungsbedarf identifiziert werden. Lediglich 11 Prozent der Befragten konnten auf eine den Anforderungen angepasste Prüfungsordnung zurückgreifen.

Im Hinblick auf die Einstellungen und Erwartungen der befragten Studiendekane gehen die Angaben z.T. weit auseinander. Während der Einfluss von E-Assessments auf ein Großteil der relevanten Aspekte als positiv erachtet wird, bildet der Einfluss auf die Qualität die einzige Ausnahme. Genau diesem Umstand will sich das Projekt iAssess.Sax aber besonders widmen. Ziel ist es nicht nur die Qualität trotz der Nutzung neuer Prüfungsmethoden sicherzustellen, sondern die Möglichkeiten zu ergründen, wie die Qualität sogar verbessert werden kann.

Der Eindruck einer z.T. unbegründeten Unsicherheit E-Assessments gegenüber bestätigt sich dadurch, dass die Einschätzungen der Anwender computergestützter Prüfungen deutlich positiver ausfallen als die der Nicht-Anwender. Besonders im Hinblick auf die Qualität. Zudem nehmen Sicherheitsbedenken (rechtlich und IT-spezifisch) signifikant ab. Einblicke in die darstellbaren Aufgabenformate senken die Bedenken ggü. E-Assessments und testmethodische Qualitätssorgen verringern sich nach Anwendung. Ebenfalls positiver wird der Einarbeitungsaufwand und die Akzeptanz auf Seiten der Prüflinge empfunden und wird in der Umfrage im Durchschnitt positiver bewertet. Lediglich die Beurteilung Einstiegskosten in die neue Technologie liefert ein ähnliches Bild auf beiden Seiten.

Die abschließende Frage nach der Ausstattung mit PC an den jeweiligen Hochschulen bezeugt, dass mit zunehmender Größe einer Hochschule, auch die Ausstattung und Zahl an PC-Pools steigt. Ausnahmen gibt es allerdings auch hier. Dennoch lässt sich feststellen, dass die technischen Grundvoraussetzungen durchaus gegeben sind. Ob diese geeignet sind, computergestützte Prüfungen abzuhalten und wie hoch der individuelle Anpassungsaufwand ausfällt, wird sich erst in der konkreten Anwendung ermitteln lassen.