In Kürze
Das E-OSCE System bietet eine besonders effiziente Lösung um medizinische Prüfungen (OSCE) durchzuführen. Im Rahmen des SWITCH Projekts E-OSCE entwickeln das Institut für Medizinische Lehre der Universität Bern (IML) und das Institut für Software der Hochschule für Technik Rapperswil (IFS HSR) eine praxistaugliche Assessmentlösung für OSCE Prüfungen. Dieses Projekt wird im Rahmen des von SWITCH geleiteten Programms "AAA/SWITCH e-Infrastructure for e-Science" durchgeführt und erhielt finanzielle Unterstützung durch das Staatssekretariat für Bildung und Forschung (SBF) und das Bundesamt für Berufsbildung und Technologie (BBT).
Thematik
In der Ausbildung von angehenden Ärzten werden nicht nur theoretisches Wissen, sondern auch praktische Fertigkeiten in sog. Objective Structured Clinical Exams (OSCE) geprüft (Assessment of Clinical Competence using Objective Structured Examination). Für die in steigender Frequenz durchgeführten OSCEs bedarf es einer effizienteren Lösung für die Erfassung der Leistungen der Studenten. Dabei soll der bisherige papiergebundene Prozess durch einen effizienteren elektronischen und weniger fehleranfälligen Bewertungsprozess ersetzt werden.
Den Anforderungen entsprechen mobile Geräte wie das iPhone oder Tablet-PCs, welche eine Eingabe mittels Touch-Screen erlauben. Die zentrale Herausforderung besteht darin, ein System zu entwickeln welches der Papierlösung bezüglich Usability (mindestens) ebenbürtig ist. Gleichzeitig gilt es den vielen juristischen Aspekten des mobilen E-Assessments gerecht zu werden. Wir haben aus diesem Grund einen iterativen Entwicklungsprozess gewählt, in dem wir mittels häufiger Evaluation der entwickelten Prototypen Feedback zu unseren Lösungsvorschlägen erhalten. Im Bereich Sicherheit haben wir auf Vorarbeiten des SWITCH Sioux Teams der ETH aufgebaut.
Das E-OSCE System
Das E-OSCE System besteht aus zwei wesentlichen Komponenten: Einer iPad App und einer Server Software. Jeder Fachexperte und jede Fachexpertin, welche an einer OSCE Prüfung als Examinatoren agiert, erfasst die Leistungen der Kandidaten mit einem Apple iPad. Alle erfassten Bewertungen werden im Hintergrund kabellos und verschlüsselt direkt an einen zentralen Server-PC gesendet und dort gesichert.
E-OSCE iPad App
Damit die Fachexperten möglichst intuitiv und ablenkungsfrei ihre Bewertungen erfassen können, wurde eine eigene App fürs iPad konzipiert und entwickelt. Jeder Fachexperte erhält während der Prüfungsdauer ein eigenes, vorbereitetes Gerät. In mehreren Usability-Tests wurde die App von echten Benutzern getestet und verifiziert. Die Applikation wurde in den bisherigen Tests positiv aufgenommen. Dabei wurde festgestellt, dass dem Medium E-OSCE gegenüber den Papierchecklisten eine höhere Usability zugewiesen wurde und die Arbeit gleichzeitig als weniger anstrengend wahrgenommen wurde. Desweiteren konnte zwischen den Bewertungen auf Papier und dem E-OSCE System keine Unterschiede festgestellt werden. Eine Publikation mit weiteren Daten und Informationen ist in Arbeit.
Features der E-OSCE iPad App
- Gruppierung von Kandidaten/Kandidatinnen in Rotationen und Parcours
- Erfassen von Bewertungen für jeden Kandidaten/Kandidatin
- Hinweise auf fehlende Bewertungen im Formular
- Sichere und fortlaufende Übertragung der Bewertungsdaten im Hintergrund an den zentralen Server
- Automatisches elektronisches Signieren der Fragebogen per eigenem Zertifikat
- Unterstützung mehrerer Fragetypen
- Erfassen von Notizen pro Kandidat/in
- Erfassen der Abwesenheit pro Kandidat/in
- Darstellung von Pausen für den Fachexperten
- Anzeige der verbleibenden Zeit pro Kandidat/Kandidatin und der Pausendauer
- Synchroner Start aller Prüfungen auf allen Stationen
- Hilfestellung zur Bedienung der Applikation und Prozessfragen
- Offline-Mode: Weiterbewertung auch nach WiFi-Verbindungsstörungen möglich
- Hinweis beim Bewerten von unvorhergesehenen Kandidaten/Kandidatinnen
- Notfall-Konzept bei Beschädigung des Gerätes während der Prüfung
E-OSCE Serversoftware
Die E-OSCE Serversoftware ist das zentrale Element im E-OSCE System. Dabei kommt sie während der Prüfungsvorbereitungsphase, der Prüfungsdurchführungphase und der Prüfungsauswertungphase zum Einsatz. Während der Prüfungsvorbereitung im Vorfeld der E-OSCE Prüfungen können einerseits die Prüfungsbogen in elektronischer Form erstellt werden und andererseits die Kandidaten und Experten in Rotationen und Parcours aufgeteilt werden. Während der Prüfungsdurchführung werden die Bewertungsformulare der Fachexperten und Fachexpertinnen an den Server gesendet und bei Bedarf auch wieder verteilt. Zudem lässt sich der aktuelle Zustand der Prüfung auch überwachen. In der Prüfungsauswertungsphase werden die erfassten Bewertungen zusammengefasst und in einem auswertungsfreundlichen XML-Format exportiert.
Features der E-OSCE Serversoftware
- Bereitstellung der Formulare für jeden Fachexperten/in
- Verschlüsselte Kommunikation mit den E-OSCE iPad Clients
- Import der Prüfungskandidaten
- Zuteilung von Kandidaten und Experten auf Rotationen und Parcours
- Erstellung von Prüfungsbogen per grafischem Editor im XML Format
- Export aller erfassten Prüfungsdaten als .zip Datei