1
|
Matet A, Fournel L, Gaillard F, Amar L, Arlet JB, Baron S, Bats AS, Buffel du Vaure C, Charlier C, De Lastours V, Faye A, Jablon E, Kadlub N, Leguen J, Lebeaux D, Malmartel A, Mirault T, Planquette B, Régent A, Thebault JL, Dinh AT, Nuzzo A, Turc G, Friedlander G, Ruszniewski P, Badoual C, Ranque B, Oualha M, Courbebaisse M. Impact of integrating objective structured clinical examination into academic student assessment: Large-scale experience in a French medical school. PLoS One 2021; 16:e0245439. [PMID: 33444375 PMCID: PMC7808634 DOI: 10.1371/journal.pone.0245439] [Citation(s) in RCA: 9] [Impact Index Per Article: 3.0] [Reference Citation Analysis] [Abstract] [MESH Headings] [Track Full Text] [Download PDF] [Figures] [Journal Information] [Subscribe] [Scholar Register] [Received: 10/01/2020] [Accepted: 01/01/2021] [Indexed: 12/02/2022] Open
Abstract
Purpose Objective structured clinical examinations (OSCE) evaluate clinical reasoning, communication skills, and interpersonal behavior during medical education. In France, clinical training has long relied on bedside clinical practice in academic hospitals. The need for a simulated teaching environment has recently emerged, due to the increasing number of students admitted to medical schools, and the necessity of objectively evaluating practical skills. This study aimed at investigating the relationships between OSCE grades and current evaluation modalities. Methods Three-hundred seventy-nine 4th-year students of University-of-Paris Medical School participated to the first large-scale OSCE at this institution, consisting in three OSCE stations (OSCE#1–3). OSCE#1 and #2 focused on cardiovascular clinical skills and competence, whereas OSCE#3 focused on relational skills while providing explanations before planned cholecystectomy. We investigated correlations of OSCE grades with multiple choice (MCQ)-based written examinations and evaluations of clinical skills and behavior (during hospital traineeships); OSCE grade distribution; and the impact of integrating OSCE grades into the current evaluation in terms of student ranking. Results The competence-oriented OSCE#1 and OSCE#2 grades correlated only with MCQ grades (r = 0.19, P<0.001) or traineeship skill grades (r = 0.17, P = 0.001), respectively, and not with traineeship behavior grades (P>0.75). Conversely, the behavior-oriented OSCE#3 grades correlated with traineeship skill and behavior grades (r = 0.19, P<0.001, and r = 0.12, P = 0.032), but not with MCQ grades (P = 0.09). The dispersion of OSCE grades was wider than for MCQ examinations (P<0.001). When OSCE grades were integrated to the final fourth-year grade with an incremental 10%, 20% or 40% coefficient, an increasing proportion of the 379 students had a ranking variation by ±50 ranks (P<0.001). This ranking change mainly affected students among the mid-50% of ranking. Conclusion This large-scale French experience showed that OSCE designed to assess a combination of clinical competence and behavioral skills, increases the discriminatory capacity of current evaluations modalities in French medical schools.
Collapse
Affiliation(s)
- Alexandre Matet
- Université de Paris, Faculté de Médecine, Paris, France
- Centre de Recherche des Cordeliers, INSERM UMR1138, Paris, France
- Service d’ophtalmologie, Institut Curie, Paris, France
- * E-mail:
| | - Ludovic Fournel
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM UMR1124, Paris, France
- Service de chirurgie thoracique, AP-HP, Hôpital Cochin, Paris, France
| | - François Gaillard
- Département de physiologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Laurence Amar
- Université de Paris, Faculté de Médecine, Paris, France
- PARCC INSERM U970, Paris, France
- Département d’hypertension artérielle, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Jean-Benoit Arlet
- Université de Paris, Faculté de Médecine, Paris, France
- Service de Médecine interne, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Stéphanie Baron
- Université de Paris, Faculté de Médecine, Paris, France
- Département de physiologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Anne-Sophie Bats
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM UMR-S 1147, Paris, France
- Service de gynécologie oncologique et de chirurgie du sein, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Celine Buffel du Vaure
- Département de médecine générale, Université de Paris, Faculté de Médecine, Paris, France
| | - Caroline Charlier
- Université de Paris, Faculté de Médecine, Paris, France
- Institut Pasteur, INSERM U1117, Paris, France
- Département de maladies infectieuses et tropicales, AP-HP, Hôpital Universitaire Necker, Paris, France
| | - Victoire De Lastours
- Université de Paris, Faculté de Médecine, Paris, France
- IAME, UMR1137, INSERM, Paris, France
- Service de Médecine Interne, AP-HP, Hôpital Beaujon, Clichy, France
| | - Albert Faye
- Université de Paris, Faculté de Médecine, Paris, France
- Service de Pédiatrie Générale, Hôpital Robert Debré, Paris, INSERM ECEVE 1123, Paris, France
| | - Eve Jablon
- Service AGIR, Université de Paris, Faculté de Médecine, Paris, France
| | - Natacha Kadlub
- Université de Paris, Faculté de Médecine, Paris, France
- Département de chirurgie maxillo-faciale et de chirurgie plastique, AP-HP, Hôpital Universitaire Necker, Paris, France
| | - Julien Leguen
- Université de Paris, Faculté de Médecine, Paris, France
- Service de Gériatrie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - David Lebeaux
- Université de Paris, Faculté de Médecine, Paris, France
- Département de Microbiologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Alexandre Malmartel
- Département de médecine générale, Université de Paris, Faculté de Médecine, Paris, France
| | - Tristan Mirault
- Université de Paris, Faculté de Médecine, Paris, France
- PARCC INSERM U970, Paris, France
- Département d’hypertension artérielle, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Benjamin Planquette
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM UMR S1140, Paris, France
- Service de Pneumologie et de soins intensifs, AH-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Alexis Régent
- Université de Paris, Faculté de Médecine, Paris, France
- Institut Cochin, INSERM U1016, CNRS UMR 8104, LabEx INFLAMEX, Paris, France
- Service de Médecine Interne, Centre de Référence pour les Maladies Systémiques Auto immunes Rares d’Ile-de-France, AP-HP, Hôpital Cochin, Paris, France
| | - Jean-Laurent Thebault
- Département de médecine générale, Université de Paris, Faculté de Médecine, Paris, France
| | - Alexy Tran Dinh
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM U1148 LVTS, Villetanneuse, France
- Département d'Anesthésie-Réanimation, AP-HP, Hôpital Bichat-Claude Bernard, Paris, France
| | - Alexandre Nuzzo
- Université de Paris, Faculté de Médecine, Paris, France
- Service de gastro-entérologie et pancréatologie, AP-HP, Hôpital Beaujon, Paris, France
| | - Guillaume Turc
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM U1266, Paris, France
- Service de neurologie, Hôpital Sainte Anne, AH-HP, Paris, France
| | - Gérard Friedlander
- Université de Paris, Faculté de Médecine, Paris, France
- Département de physiologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
- Institut Necker-Enfants Malades, INSERM U1151-CNRS UMR8253, Paris, France
| | - Philippe Ruszniewski
- Université de Paris, Faculté de Médecine, Paris, France
- INSERM U1266, Paris, France
- INSERM UMR1149, Paris, France
| | - Cécile Badoual
- Université de Paris, Faculté de Médecine, Paris, France
- PARCC INSERM U970, Paris, France
- Service d’anatomopathologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Brigitte Ranque
- Université de Paris, Faculté de Médecine, Paris, France
- PARCC INSERM U970, Paris, France
- Service de Médecine interne, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
| | - Mehdi Oualha
- Université de Paris, Faculté de Médecine, Paris, France
- Unité EA7323, Université de Paris, Faculté de Médecine, Paris, France
- Service de réanimation et de surveillance continue médico-chirurgicale pédiatrique, AP-HP, Hôpital Universitaire Necker, Paris, France
| | - Marie Courbebaisse
- Université de Paris, Faculté de Médecine, Paris, France
- Département de physiologie, AP-HP, Hôpital Européen Georges Pompidou, Paris, France
- Institut Necker-Enfants Malades, INSERM U1151-CNRS UMR8253, Paris, France
| |
Collapse
|