The timely completion of objective assessment tools for evaluation of technical skills

[ToSkORL: self- and objective assessment of examination skills in the head and neck region]

Hintergrund

Ein zentrales Ziel des Medizinstudiums ist der Erwerb theoretischer und praktischer Kompetenzen. Es mangelt jedoch an Evidenz, wie der Erwerb von Kompetenzen in speziellen Untersuchungstechniken gemessen werden kann. ToSkORL (Teaching of Skills in Otorhinolaryngology) ist ein Projekt, das die studentische Selbstwahrnehmung ihrer Kompetenz bei speziellen Untersuchungstechniken der Hals-Nasen-Ohren-Heilkunde und des Kopf-Hals-Bereichs aus didaktisch-wissenschaftlicher Sichtweise beleuchtet.

Methodik

Im Rahmen des Untersuchungskurses erfolgte eine standardisierte mündlich-praktische Prüfung zu neun verschiedenen Untersuchungstechniken. Vor der Prüfung erfolgte eine Evaluation der studentischen Selbsteinschätzung mittels Fragebogen, die Prüfung wurde mittels Checkliste durch die Prüfenden standardisiert geprüft. Selbst- und Fremdeinschätzung nach der Likert-Skala wurden korreliert. Die neun Untersuchungstechniken wurden jeweils 42-mal von insgesamt 91 Studierenden in gegenseitiger Untersuchung durchgeführt.

Ergebnisse

Die Selbsteinschätzung der Kompetenz in den Untersuchungstechniken variiert erheblich, insgesamt schätzten Studierende ihre eigene Untersuchungskompetenz weitgehend unabhängig von Alter und Geschlecht meist realistisch ein. Studierende mit einem hohen Interesse an der Hals-Nasen-Ohren-Heilkunde gaben bessere Selbsteinschätzungen an, neigten jedoch auch eher zur Selbstüberschätzung. Bei Untersuchungen des mittleren Schwierigkeitsniveaus ergab sich die größte Divergenz von Selbst- und Fremdeinschätzung.

Schlussfolgerung

Die studentische Selbsteinschätzung ist ein geeignetes Instrument zur Messung der Untersuchungskompetenz in der Hals-Nasen-Ohren-Heilkunde. Es sollte ein besonderer Fokus auf die Lehre vermeintlich mittelschwerer Untersuchungstechniken gelegt werden, da diese am stärksten über- und unterschätzt werden.

Zusatzmaterial online

Die Online-Version dieses Beitrags (10.1007/s00106-021-01097-y) enthält zwei Mini-Clinical-Exam(CEX)-Evaluationsbögen für Studenten und Untersucher. Beitrag und Zusatzmaterial stehen Ihnen auf www.springermedizin.de zur Verfügung. Bitte scannen Sie den QR-Code, das Zusatzmaterial finden Sie beim Beitrag unter „Ergänzende Inhalte“.

QR-Code scannen & Beitrag online lesen

Performance Assessment for Mastoidectomy

Objective The aim of this report is to provide a review of the current literature for assessment of performance for mastoidectomy, to identify the current assessment tools available in the literature, and to summarize the evidence for their validity. Data Sources The MEDLINE database was accessed via PubMed. Review Methods Inclusion criteria consisted of English-language published articles that reported use of a mastoidectomy performance assessment tool. Studies ranged from 2007 to November 2015 and were divided into 2 groups: intraoperative assessments and those performed with simulation (cadaveric laboratory or virtual reality). Studies that contained specific reliability analyses were also highlighted. For each publication, validity evidence data were analyzed and interpreted according to conceptual definitions provided in a recent systematic review on the modern framework of validity evidence. Conclusions Twenty-three studies were identified that met our inclusion criteria for review, including 4 intraoperative objective assessment studies, 5 cadaveric studies, 10 virtual reality simulation studies, and 4 that used both cadaveric assessment and virtual reality. Implications for Practice A review of the literature revealed a wide variety of mastoidectomy assessment tools and varying levels of reliability and validity evidence. The assessment tool developed at Johns Hopkins possesses the most validity evidence of those reviewed. However, a number of agreed-on specific metrics could be integrated into a standardized assessment instrument to be used nationally. A universally agreed-on assessment tool will provide a means for developing standardized benchmarks for performing mastoid surgery.