[ { "model_name": "model-meta-llama-Meta-Llama-3.1-8B-Instruct", "Neurology": 51.26050420168067, "Occupational medicine": 38.983050847457626, "Family medicine": 34.166666666666664, "Pathology": 46.666666666666664, "Sports medicine": 45.0, "Neonatology": 45.378151260504204, "Orthopedics": 40.0, "Palliative medicine": 55.00000000000001, "Dental surgery": 31.092436974789916, "Diabetology": 40.833333333333336, "Hematology": 40.833333333333336, "Clinical oncology": 36.134453781512605, "Prosthodontics": 40.0, "Neurosurgery": 26.05042016806723, "Allergology": 35.833333333333336, "Geriatrics": 44.166666666666664, "Gynecological oncology": 42.016806722689076, "Otorhinolaryngology": 32.05128205128205, "Orthodontics": 24.576271186440678, "Anesthesiology": 50.42016806722689, "Endocrinology": 31.666666666666664, "Periodontology": 38.655462184873954, "Medical rehabilitation": 46.666666666666664, "Perinatology": 36.666666666666664, "Pediatrics": 39.49579831932773, "Nephrology": 36.666666666666664, "Pulmonology": 50.847457627118644, "Ophthalmology": 44.06779661016949, "Cardiac surgery": 42.5, "Vascular surgery": 36.666666666666664, "Rheumatology": 40.0, "Surgical oncology": 36.666666666666664, "Clinical transplantology": 34.18803418803419, "Radiation oncology": 35.0, "Cardiology": 38.46153846153847, "Angiology": 39.166666666666664, "Gastroenterology": 38.13559322033898, "Hypertensiology": 46.21848739495798, "Conservative dentistry": 37.81512605042017, "Emergency medicine": 49.074074074074076, "Pediatric nephrology": 45.378151260504204, "Pediatric dentistry": 31.932773109243694, "Maxillofacial surgery": 26.31578947368421, "Infectious diseases": 30.833333333333336, "Conservative dentistry with endodontics": 26.89075630252101, "Internal medicine": 43.333333333333336, "Laboratory diagnostics": 48.30508474576271, "Pediatric urology": 36.283185840707965, "Public health": 60.50420168067227, "Clinical genetics": 46.61016949152542, "Nuclear medicine": 43.58974358974359, "Plastic surgery": 43.333333333333336, "Thoracic surgery": 36.666666666666664, "Intensive care": 44.166666666666664, "overall_accuracy": 39.91725406068036 }, { "model_name": "model-ProbeMedicalYonseiMAILab-medllama3-v20", "Neurology": 41.17647058823529, "Occupational medicine": 31.35593220338983, "Family medicine": 25.833333333333336, "Pathology": 39.166666666666664, "Sports medicine": 35.0, "Neonatology": 34.45378151260504, "Orthopedics": 33.91304347826087, "Palliative medicine": 34.166666666666664, "Dental surgery": 28.57142857142857, "Diabetology": 36.666666666666664, "Hematology": 19.166666666666668, "Clinical oncology": 26.89075630252101, "Prosthodontics": 35.0, "Neurosurgery": 24.369747899159663, "Allergology": 35.0, "Geriatrics": 28.333333333333332, "Gynecological oncology": 27.73109243697479, "Otorhinolaryngology": 27.77777777777778, "Orthodontics": 22.88135593220339, "Anesthesiology": 41.17647058823529, "Endocrinology": 30.0, "Periodontology": 26.05042016806723, "Medical rehabilitation": 38.333333333333336, "Perinatology": 22.5, "Pediatrics": 31.092436974789916, "Nephrology": 30.833333333333336, "Pulmonology": 42.3728813559322, "Ophthalmology": 38.983050847457626, "Cardiac surgery": 34.166666666666664, "Vascular surgery": 36.666666666666664, "Rheumatology": 27.500000000000004, "Surgical oncology": 30.833333333333336, "Clinical transplantology": 27.350427350427353, "Radiation oncology": 30.833333333333336, "Cardiology": 23.931623931623932, "Angiology": 23.333333333333332, "Gastroenterology": 40.67796610169492, "Hypertensiology": 42.857142857142854, "Conservative dentistry": 23.52941176470588, "Emergency medicine": 32.407407407407405, "Pediatric nephrology": 36.97478991596639, "Pediatric dentistry": 22.689075630252102, "Maxillofacial surgery": 27.192982456140353, "Infectious diseases": 24.166666666666668, "Conservative dentistry with endodontics": 29.411764705882355, "Internal medicine": 34.166666666666664, "Laboratory diagnostics": 42.3728813559322, "Pediatric urology": 30.08849557522124, "Public health": 40.33613445378151, "Clinical genetics": 23.728813559322035, "Nuclear medicine": 23.931623931623932, "Plastic surgery": 34.166666666666664, "Thoracic surgery": 25.833333333333336, "Intensive care": 45.83333333333333, "overall_accuracy": 31.489426907753597 }, { "model_name": "model-meta-llama-Llama-3.2-3B-Instruct", "Neurology": 36.97478991596639, "Occupational medicine": 34.74576271186441, "Family medicine": 34.166666666666664, "Pathology": 30.833333333333336, "Sports medicine": 36.666666666666664, "Neonatology": 35.294117647058826, "Orthopedics": 27.82608695652174, "Palliative medicine": 46.666666666666664, "Dental surgery": 35.294117647058826, "Diabetology": 37.5, "Hematology": 30.0, "Clinical oncology": 40.33613445378151, "Prosthodontics": 34.166666666666664, "Neurosurgery": 27.73109243697479, "Allergology": 28.333333333333332, "Geriatrics": 30.833333333333336, "Gynecological oncology": 28.57142857142857, "Otorhinolaryngology": 22.64957264957265, "Orthodontics": 31.35593220338983, "Anesthesiology": 38.655462184873954, "Endocrinology": 18.333333333333332, "Periodontology": 34.45378151260504, "Medical rehabilitation": 30.833333333333336, "Perinatology": 30.0, "Pediatrics": 38.655462184873954, "Nephrology": 31.666666666666664, "Pulmonology": 44.06779661016949, "Ophthalmology": 37.28813559322034, "Cardiac surgery": 30.833333333333336, "Vascular surgery": 36.666666666666664, "Rheumatology": 31.666666666666664, "Surgical oncology": 29.166666666666668, "Clinical transplantology": 29.914529914529915, "Radiation oncology": 30.0, "Cardiology": 29.059829059829063, "Angiology": 24.166666666666668, "Gastroenterology": 32.20338983050847, "Hypertensiology": 32.773109243697476, "Conservative dentistry": 21.84873949579832, "Emergency medicine": 32.407407407407405, "Pediatric nephrology": 32.773109243697476, "Pediatric dentistry": 24.369747899159663, "Maxillofacial surgery": 28.947368421052634, "Infectious diseases": 27.500000000000004, "Conservative dentistry with endodontics": 29.411764705882355, "Internal medicine": 34.166666666666664, "Laboratory diagnostics": 38.13559322033898, "Pediatric urology": 35.39823008849557, "Public health": 45.378151260504204, "Clinical genetics": 35.59322033898305, "Nuclear medicine": 27.350427350427353, "Plastic surgery": 39.166666666666664, "Thoracic surgery": 30.0, "Intensive care": 43.333333333333336, "overall_accuracy": 32.53141281029727 }, { "model_name": "model-mistralai-Mistral-Small-Instruct-2409", "Neurology": 46.21848739495798, "Occupational medicine": 31.35593220338983, "Family medicine": 33.33333333333333, "Pathology": 41.66666666666667, "Sports medicine": 45.83333333333333, "Neonatology": 35.294117647058826, "Orthopedics": 33.91304347826087, "Palliative medicine": 45.0, "Dental surgery": 34.45378151260504, "Diabetology": 31.666666666666664, "Hematology": 37.5, "Clinical oncology": 40.33613445378151, "Prosthodontics": 36.666666666666664, "Neurosurgery": 33.61344537815126, "Allergology": 36.666666666666664, "Geriatrics": 36.666666666666664, "Gynecological oncology": 31.092436974789916, "Otorhinolaryngology": 28.63247863247863, "Orthodontics": 31.35593220338983, "Anesthesiology": 38.655462184873954, "Endocrinology": 32.5, "Periodontology": 30.252100840336134, "Medical rehabilitation": 38.333333333333336, "Perinatology": 34.166666666666664, "Pediatrics": 42.857142857142854, "Nephrology": 35.0, "Pulmonology": 54.23728813559322, "Ophthalmology": 33.05084745762712, "Cardiac surgery": 36.666666666666664, "Vascular surgery": 37.5, "Rheumatology": 37.5, "Surgical oncology": 42.5, "Clinical transplantology": 35.04273504273504, "Radiation oncology": 32.5, "Cardiology": 35.8974358974359, "Angiology": 40.0, "Gastroenterology": 38.13559322033898, "Hypertensiology": 46.21848739495798, "Conservative dentistry": 30.252100840336134, "Emergency medicine": 44.44444444444444, "Pediatric nephrology": 52.94117647058824, "Pediatric dentistry": 27.73109243697479, "Maxillofacial surgery": 28.947368421052634, "Infectious diseases": 40.0, "Conservative dentistry with endodontics": 30.252100840336134, "Internal medicine": 35.0, "Laboratory diagnostics": 49.152542372881356, "Pediatric urology": 35.39823008849557, "Public health": 58.82352941176471, "Clinical genetics": 38.13559322033898, "Nuclear medicine": 40.17094017094017, "Plastic surgery": 35.833333333333336, "Thoracic surgery": 35.833333333333336, "Intensive care": 48.333333333333336, "overall_accuracy": 37.680049034630706 }, { "model_name": "model-Qwen-Qwen2.5-7B-Instruct", "Neurology": 45.378151260504204, "Occupational medicine": 36.440677966101696, "Family medicine": 45.0, "Pathology": 38.333333333333336, "Sports medicine": 46.666666666666664, "Neonatology": 56.30252100840336, "Orthopedics": 38.26086956521739, "Palliative medicine": 55.833333333333336, "Dental surgery": 35.294117647058826, "Diabetology": 40.0, "Hematology": 34.166666666666664, "Clinical oncology": 32.773109243697476, "Prosthodontics": 41.66666666666667, "Neurosurgery": 36.97478991596639, "Allergology": 45.0, "Geriatrics": 48.333333333333336, "Gynecological oncology": 41.17647058823529, "Otorhinolaryngology": 35.47008547008547, "Orthodontics": 36.440677966101696, "Anesthesiology": 43.69747899159664, "Endocrinology": 30.0, "Periodontology": 37.81512605042017, "Medical rehabilitation": 50.83333333333333, "Perinatology": 40.0, "Pediatrics": 39.49579831932773, "Nephrology": 35.0, "Pulmonology": 60.16949152542372, "Ophthalmology": 38.13559322033898, "Cardiac surgery": 36.666666666666664, "Vascular surgery": 47.5, "Rheumatology": 34.166666666666664, "Surgical oncology": 40.0, "Clinical transplantology": 36.75213675213676, "Radiation oncology": 45.83333333333333, "Cardiology": 38.46153846153847, "Angiology": 37.5, "Gastroenterology": 44.06779661016949, "Hypertensiology": 52.10084033613446, "Conservative dentistry": 36.134453781512605, "Emergency medicine": 51.85185185185185, "Pediatric nephrology": 47.05882352941176, "Pediatric dentistry": 33.61344537815126, "Maxillofacial surgery": 28.07017543859649, "Infectious diseases": 39.166666666666664, "Conservative dentistry with endodontics": 23.52941176470588, "Internal medicine": 35.833333333333336, "Laboratory diagnostics": 59.32203389830508, "Pediatric urology": 26.548672566371685, "Public health": 64.70588235294117, "Clinical genetics": 41.52542372881356, "Nuclear medicine": 42.73504273504273, "Plastic surgery": 37.5, "Thoracic surgery": 40.833333333333336, "Intensive care": 47.5, "overall_accuracy": 41.26570640514864 }, { "model_name": "model-OpenMeditron-Meditron3-70B", "Neurology": 61.34453781512605, "Occupational medicine": 34.74576271186441, "Family medicine": 44.166666666666664, "Pathology": 73.33333333333333, "Sports medicine": 50.83333333333333, "Neonatology": 57.14285714285714, "Orthopedics": 32.17391304347826, "Palliative medicine": 55.00000000000001, "Dental surgery": 39.49579831932773, "Diabetology": 42.5, "Hematology": 48.333333333333336, "Clinical oncology": 47.05882352941176, "Prosthodontics": 34.166666666666664, "Neurosurgery": 33.61344537815126, "Allergology": 50.83333333333333, "Geriatrics": 51.66666666666667, "Gynecological oncology": 35.294117647058826, "Otorhinolaryngology": 38.46153846153847, "Orthodontics": 29.66101694915254, "Anesthesiology": 45.378151260504204, "Endocrinology": 40.833333333333336, "Periodontology": 36.134453781512605, "Medical rehabilitation": 41.66666666666667, "Perinatology": 35.833333333333336, "Pediatrics": 62.18487394957983, "Nephrology": 50.0, "Pulmonology": 53.38983050847458, "Ophthalmology": 48.30508474576271, "Cardiac surgery": 53.333333333333336, "Vascular surgery": 45.83333333333333, "Rheumatology": 49.166666666666664, "Surgical oncology": 50.83333333333333, "Clinical transplantology": 40.17094017094017, "Radiation oncology": 35.833333333333336, "Cardiology": 41.88034188034188, "Angiology": 41.66666666666667, "Gastroenterology": 44.91525423728814, "Hypertensiology": 50.42016806722689, "Conservative dentistry": 35.294117647058826, "Emergency medicine": 57.407407407407405, "Pediatric nephrology": 64.70588235294117, "Pediatric dentistry": 31.932773109243694, "Maxillofacial surgery": 35.08771929824561, "Infectious diseases": 45.83333333333333, "Conservative dentistry with endodontics": 31.932773109243694, "Internal medicine": 60.83333333333333, "Laboratory diagnostics": 58.47457627118644, "Pediatric urology": 44.24778761061947, "Public health": 62.18487394957983, "Clinical genetics": 58.47457627118644, "Nuclear medicine": 55.55555555555556, "Plastic surgery": 47.5, "Thoracic surgery": 40.833333333333336, "Intensive care": 56.666666666666664, "overall_accuracy": 46.4296659515783 }, { "model_name": "model-speakleash-Bielik-11B-v2.2-Instruct", "Neurology": 49.57983193277311, "Occupational medicine": 42.3728813559322, "Family medicine": 43.333333333333336, "Pathology": 50.0, "Sports medicine": 55.833333333333336, "Neonatology": 45.378151260504204, "Orthopedics": 42.608695652173914, "Palliative medicine": 45.83333333333333, "Dental surgery": 36.134453781512605, "Diabetology": 30.833333333333336, "Hematology": 33.33333333333333, "Clinical oncology": 43.69747899159664, "Prosthodontics": 35.833333333333336, "Neurosurgery": 28.57142857142857, "Allergology": 35.0, "Geriatrics": 44.166666666666664, "Gynecological oncology": 41.17647058823529, "Otorhinolaryngology": 38.034188034188034, "Orthodontics": 32.20338983050847, "Anesthesiology": 52.10084033613446, "Endocrinology": 33.33333333333333, "Periodontology": 36.134453781512605, "Medical rehabilitation": 52.5, "Perinatology": 35.833333333333336, "Pediatrics": 49.57983193277311, "Nephrology": 34.166666666666664, "Pulmonology": 52.54237288135594, "Ophthalmology": 45.76271186440678, "Cardiac surgery": 37.5, "Vascular surgery": 45.83333333333333, "Rheumatology": 35.833333333333336, "Surgical oncology": 44.166666666666664, "Clinical transplantology": 34.18803418803419, "Radiation oncology": 42.5, "Cardiology": 40.17094017094017, "Angiology": 47.5, "Gastroenterology": 46.61016949152542, "Hypertensiology": 50.42016806722689, "Conservative dentistry": 27.73109243697479, "Emergency medicine": 48.148148148148145, "Pediatric nephrology": 50.42016806722689, "Pediatric dentistry": 32.773109243697476, "Maxillofacial surgery": 27.192982456140353, "Infectious diseases": 40.833333333333336, "Conservative dentistry with endodontics": 36.134453781512605, "Internal medicine": 38.333333333333336, "Laboratory diagnostics": 50.0, "Pediatric urology": 37.16814159292036, "Public health": 71.42857142857143, "Clinical genetics": 37.28813559322034, "Nuclear medicine": 43.58974358974359, "Plastic surgery": 45.83333333333333, "Thoracic surgery": 40.833333333333336, "Intensive care": 45.83333333333333, "overall_accuracy": 41.863315966901624 }, { "model_name": "model-BioMistral-BioMistral-7B", "Neurology": 24.369747899159663, "Occupational medicine": 18.64406779661017, "Family medicine": 22.5, "Pathology": 22.5, "Sports medicine": 23.333333333333332, "Neonatology": 22.689075630252102, "Orthopedics": 20.0, "Palliative medicine": 30.833333333333336, "Dental surgery": 19.327731092436977, "Diabetology": 20.0, "Hematology": 25.833333333333336, "Clinical oncology": 26.05042016806723, "Prosthodontics": 17.5, "Neurosurgery": 21.84873949579832, "Allergology": 21.666666666666668, "Geriatrics": 24.166666666666668, "Gynecological oncology": 19.327731092436977, "Otorhinolaryngology": 20.085470085470085, "Orthodontics": 21.1864406779661, "Anesthesiology": 20.168067226890756, "Endocrinology": 17.5, "Periodontology": 21.84873949579832, "Medical rehabilitation": 20.833333333333336, "Perinatology": 24.166666666666668, "Pediatrics": 30.252100840336134, "Nephrology": 19.166666666666668, "Pulmonology": 25.423728813559322, "Ophthalmology": 26.27118644067797, "Cardiac surgery": 25.833333333333336, "Vascular surgery": 20.0, "Rheumatology": 24.166666666666668, "Surgical oncology": 30.0, "Clinical transplantology": 23.076923076923077, "Radiation oncology": 23.333333333333332, "Cardiology": 23.931623931623932, "Angiology": 18.333333333333332, "Gastroenterology": 19.491525423728813, "Hypertensiology": 26.05042016806723, "Conservative dentistry": 22.689075630252102, "Emergency medicine": 24.074074074074073, "Pediatric nephrology": 27.73109243697479, "Pediatric dentistry": 17.647058823529413, "Maxillofacial surgery": 23.684210526315788, "Infectious diseases": 20.0, "Conservative dentistry with endodontics": 22.689075630252102, "Internal medicine": 20.833333333333336, "Laboratory diagnostics": 27.966101694915253, "Pediatric urology": 20.353982300884958, "Public health": 26.05042016806723, "Clinical genetics": 22.88135593220339, "Nuclear medicine": 29.059829059829063, "Plastic surgery": 19.166666666666668, "Thoracic surgery": 22.5, "Intensive care": 23.333333333333332, "overall_accuracy": 22.770456634998467 }, { "model_name": "model-johnsnowlabs-JSL-MedLlama-3-8B-v2.0", "Neurology": 28.57142857142857, "Occupational medicine": 32.20338983050847, "Family medicine": 20.0, "Pathology": 37.5, "Sports medicine": 35.833333333333336, "Neonatology": 30.252100840336134, "Orthopedics": 28.695652173913043, "Palliative medicine": 33.33333333333333, "Dental surgery": 30.252100840336134, "Diabetology": 30.0, "Hematology": 26.666666666666668, "Clinical oncology": 26.89075630252101, "Prosthodontics": 30.0, "Neurosurgery": 21.008403361344538, "Allergology": 25.0, "Geriatrics": 30.0, "Gynecological oncology": 19.327731092436977, "Otorhinolaryngology": 27.350427350427353, "Orthodontics": 27.11864406779661, "Anesthesiology": 37.81512605042017, "Endocrinology": 25.0, "Periodontology": 26.05042016806723, "Medical rehabilitation": 31.666666666666664, "Perinatology": 22.5, "Pediatrics": 31.932773109243694, "Nephrology": 23.333333333333332, "Pulmonology": 37.28813559322034, "Ophthalmology": 25.423728813559322, "Cardiac surgery": 32.5, "Vascular surgery": 25.833333333333336, "Rheumatology": 29.166666666666668, "Surgical oncology": 31.666666666666664, "Clinical transplantology": 27.350427350427353, "Radiation oncology": 25.833333333333336, "Cardiology": 21.367521367521366, "Angiology": 25.0, "Gastroenterology": 29.66101694915254, "Hypertensiology": 31.092436974789916, "Conservative dentistry": 31.092436974789916, "Emergency medicine": 25.0, "Pediatric nephrology": 36.134453781512605, "Pediatric dentistry": 17.647058823529413, "Maxillofacial surgery": 26.31578947368421, "Infectious diseases": 20.833333333333336, "Conservative dentistry with endodontics": 26.05042016806723, "Internal medicine": 30.0, "Laboratory diagnostics": 40.67796610169492, "Pediatric urology": 29.20353982300885, "Public health": 42.857142857142854, "Clinical genetics": 22.033898305084744, "Nuclear medicine": 34.18803418803419, "Plastic surgery": 35.833333333333336, "Thoracic surgery": 28.333333333333332, "Intensive care": 39.166666666666664, "overall_accuracy": 28.976402083971802 }, { "model_name": "model-gpt-4o-2024-08-06", "Neurology": 83.19327731092437, "Occupational medicine": 61.016949152542374, "Family medicine": 81.66666666666667, "Pathology": 90.0, "Sports medicine": 85.83333333333333, "Neonatology": 68.90756302521008, "Orthopedics": 72.17391304347827, "Palliative medicine": 85.0, "Dental surgery": 59.66386554621849, "Diabetology": 63.33333333333333, "Hematology": 75.0, "Clinical oncology": 78.99159663865547, "Prosthodontics": 75.83333333333333, "Neurosurgery": 68.90756302521008, "Allergology": 77.5, "Geriatrics": 81.66666666666667, "Gynecological oncology": 67.22689075630252, "Otorhinolaryngology": 70.94017094017094, "Orthodontics": 53.38983050847458, "Anesthesiology": 81.5126050420168, "Endocrinology": 71.66666666666667, "Periodontology": 70.58823529411765, "Medical rehabilitation": 80.83333333333333, "Perinatology": 70.0, "Pediatrics": 85.71428571428571, "Nephrology": 72.5, "Pulmonology": 85.59322033898306, "Ophthalmology": 77.11864406779661, "Cardiac surgery": 78.33333333333333, "Vascular surgery": 75.0, "Rheumatology": 83.33333333333334, "Surgical oncology": 73.33333333333333, "Clinical transplantology": 64.1025641025641, "Radiation oncology": 66.66666666666666, "Cardiology": 64.95726495726495, "Angiology": 73.33333333333333, "Gastroenterology": 74.57627118644068, "Hypertensiology": 78.15126050420169, "Conservative dentistry": 60.50420168067227, "Emergency medicine": 87.03703703703704, "Pediatric nephrology": 78.15126050420169, "Pediatric dentistry": 64.70588235294117, "Maxillofacial surgery": 52.63157894736842, "Infectious diseases": 76.66666666666667, "Conservative dentistry with endodontics": 52.94117647058824, "Internal medicine": 85.83333333333333, "Laboratory diagnostics": 90.67796610169492, "Pediatric urology": 76.99115044247787, "Public health": 85.71428571428571, "Clinical genetics": 83.89830508474576, "Nuclear medicine": 73.50427350427351, "Plastic surgery": 75.83333333333333, "Thoracic surgery": 80.83333333333333, "Intensive care": 85.83333333333333, "overall_accuracy": 74.7471651854122 }, { "model_name": "model-OpenMeditron-Meditron3-8B", "Neurology": 46.21848739495798, "Occupational medicine": 31.35593220338983, "Family medicine": 30.833333333333336, "Pathology": 40.0, "Sports medicine": 43.333333333333336, "Neonatology": 42.857142857142854, "Orthopedics": 39.130434782608695, "Palliative medicine": 51.66666666666667, "Dental surgery": 31.092436974789916, "Diabetology": 45.0, "Hematology": 34.166666666666664, "Clinical oncology": 33.61344537815126, "Prosthodontics": 39.166666666666664, "Neurosurgery": 31.092436974789916, "Allergology": 30.833333333333336, "Geriatrics": 36.666666666666664, "Gynecological oncology": 30.252100840336134, "Otorhinolaryngology": 32.47863247863248, "Orthodontics": 27.11864406779661, "Anesthesiology": 47.05882352941176, "Endocrinology": 27.500000000000004, "Periodontology": 38.655462184873954, "Medical rehabilitation": 40.0, "Perinatology": 18.333333333333332, "Pediatrics": 39.49579831932773, "Nephrology": 31.666666666666664, "Pulmonology": 46.61016949152542, "Ophthalmology": 36.440677966101696, "Cardiac surgery": 42.5, "Vascular surgery": 39.166666666666664, "Rheumatology": 37.5, "Surgical oncology": 34.166666666666664, "Clinical transplantology": 34.18803418803419, "Radiation oncology": 36.666666666666664, "Cardiology": 28.205128205128204, "Angiology": 38.333333333333336, "Gastroenterology": 38.983050847457626, "Hypertensiology": 41.17647058823529, "Conservative dentistry": 29.411764705882355, "Emergency medicine": 47.22222222222222, "Pediatric nephrology": 43.69747899159664, "Pediatric dentistry": 29.411764705882355, "Maxillofacial surgery": 26.31578947368421, "Infectious diseases": 26.666666666666668, "Conservative dentistry with endodontics": 24.369747899159663, "Internal medicine": 35.0, "Laboratory diagnostics": 50.0, "Pediatric urology": 38.93805309734513, "Public health": 56.30252100840336, "Clinical genetics": 30.508474576271187, "Nuclear medicine": 47.008547008547005, "Plastic surgery": 38.333333333333336, "Thoracic surgery": 37.5, "Intensive care": 46.666666666666664, "overall_accuracy": 36.959852896107876 }, { "model_name": "model-mistralai-Mistral-Large-Instruct-2407", "Neurology": 74.78991596638656, "Occupational medicine": 47.45762711864407, "Family medicine": 62.5, "Pathology": 70.83333333333334, "Sports medicine": 75.0, "Neonatology": 59.66386554621849, "Orthopedics": 59.130434782608695, "Palliative medicine": 75.0, "Dental surgery": 50.42016806722689, "Diabetology": 54.166666666666664, "Hematology": 59.166666666666664, "Clinical oncology": 57.98319327731093, "Prosthodontics": 50.83333333333333, "Neurosurgery": 47.05882352941176, "Allergology": 58.333333333333336, "Geriatrics": 65.83333333333333, "Gynecological oncology": 56.30252100840336, "Otorhinolaryngology": 53.41880341880342, "Orthodontics": 44.91525423728814, "Anesthesiology": 67.22689075630252, "Endocrinology": 51.66666666666667, "Periodontology": 43.69747899159664, "Medical rehabilitation": 65.83333333333333, "Perinatology": 50.83333333333333, "Pediatrics": 70.58823529411765, "Nephrology": 51.66666666666667, "Pulmonology": 79.66101694915254, "Ophthalmology": 55.08474576271186, "Cardiac surgery": 56.666666666666664, "Vascular surgery": 65.0, "Rheumatology": 55.833333333333336, "Surgical oncology": 60.83333333333333, "Clinical transplantology": 49.572649572649574, "Radiation oncology": 56.666666666666664, "Cardiology": 58.97435897435898, "Angiology": 53.333333333333336, "Gastroenterology": 59.32203389830508, "Hypertensiology": 71.42857142857143, "Conservative dentistry": 40.33613445378151, "Emergency medicine": 72.22222222222221, "Pediatric nephrology": 63.86554621848739, "Pediatric dentistry": 42.857142857142854, "Maxillofacial surgery": 39.473684210526315, "Infectious diseases": 63.33333333333333, "Conservative dentistry with endodontics": 39.49579831932773, "Internal medicine": 70.83333333333334, "Laboratory diagnostics": 77.11864406779661, "Pediatric urology": 51.32743362831859, "Public health": 74.78991596638656, "Clinical genetics": 61.86440677966102, "Nuclear medicine": 64.1025641025641, "Plastic surgery": 58.333333333333336, "Thoracic surgery": 61.66666666666667, "Intensive care": 75.83333333333333, "overall_accuracy": 59.23996322402697 }, { "model_name": "model-aaditya-Llama3-OpenBioLLM-70B", "Neurology": 26.05042016806723, "Occupational medicine": 18.64406779661017, "Family medicine": 20.0, "Pathology": 45.0, "Sports medicine": 43.333333333333336, "Neonatology": 40.33613445378151, "Orthopedics": 29.565217391304348, "Palliative medicine": 53.333333333333336, "Dental surgery": 31.932773109243694, "Diabetology": 39.166666666666664, "Hematology": 39.166666666666664, "Clinical oncology": 42.857142857142854, "Prosthodontics": 33.33333333333333, "Neurosurgery": 29.411764705882355, "Allergology": 41.66666666666667, "Geriatrics": 35.0, "Gynecological oncology": 33.61344537815126, "Otorhinolaryngology": 30.34188034188034, "Orthodontics": 27.11864406779661, "Anesthesiology": 49.57983193277311, "Endocrinology": 35.0, "Periodontology": 37.81512605042017, "Medical rehabilitation": 38.333333333333336, "Perinatology": 30.0, "Pediatrics": 51.26050420168067, "Nephrology": 42.5, "Pulmonology": 53.38983050847458, "Ophthalmology": 37.28813559322034, "Cardiac surgery": 41.66666666666667, "Vascular surgery": 45.83333333333333, "Rheumatology": 32.5, "Surgical oncology": 45.83333333333333, "Clinical transplantology": 35.8974358974359, "Radiation oncology": 40.833333333333336, "Cardiology": 42.73504273504273, "Angiology": 37.5, "Gastroenterology": 38.13559322033898, "Hypertensiology": 46.21848739495798, "Conservative dentistry": 32.773109243697476, "Emergency medicine": 48.148148148148145, "Pediatric nephrology": 58.82352941176471, "Pediatric dentistry": 29.411764705882355, "Maxillofacial surgery": 29.82456140350877, "Infectious diseases": 36.666666666666664, "Conservative dentistry with endodontics": 31.092436974789916, "Internal medicine": 47.5, "Laboratory diagnostics": 55.08474576271186, "Pediatric urology": 44.24778761061947, "Public health": 56.30252100840336, "Clinical genetics": 43.22033898305085, "Nuclear medicine": 45.2991452991453, "Plastic surgery": 46.666666666666664, "Thoracic surgery": 35.0, "Intensive care": 45.83333333333333, "overall_accuracy": 39.243027888446214 }, { "model_name": "model-meta-llama-Meta-Llama-3.1-70B-Instruct", "Neurology": 73.94957983193278, "Occupational medicine": 47.45762711864407, "Family medicine": 61.66666666666667, "Pathology": 81.66666666666667, "Sports medicine": 74.16666666666667, "Neonatology": 68.0672268907563, "Orthopedics": 61.73913043478261, "Palliative medicine": 70.0, "Dental surgery": 56.30252100840336, "Diabetology": 51.66666666666667, "Hematology": 64.16666666666667, "Clinical oncology": 60.50420168067227, "Prosthodontics": 52.5, "Neurosurgery": 47.05882352941176, "Allergology": 61.66666666666667, "Geriatrics": 69.16666666666667, "Gynecological oncology": 50.42016806722689, "Otorhinolaryngology": 55.55555555555556, "Orthodontics": 40.67796610169492, "Anesthesiology": 65.54621848739495, "Endocrinology": 57.49999999999999, "Periodontology": 46.21848739495798, "Medical rehabilitation": 71.66666666666667, "Perinatology": 56.666666666666664, "Pediatrics": 70.58823529411765, "Nephrology": 56.666666666666664, "Pulmonology": 74.57627118644068, "Ophthalmology": 60.16949152542372, "Cardiac surgery": 62.5, "Vascular surgery": 63.33333333333333, "Rheumatology": 64.16666666666667, "Surgical oncology": 50.0, "Clinical transplantology": 47.008547008547005, "Radiation oncology": 55.00000000000001, "Cardiology": 54.700854700854705, "Angiology": 63.33333333333333, "Gastroenterology": 61.016949152542374, "Hypertensiology": 68.0672268907563, "Conservative dentistry": 47.05882352941176, "Emergency medicine": 71.29629629629629, "Pediatric nephrology": 73.10924369747899, "Pediatric dentistry": 43.69747899159664, "Maxillofacial surgery": 42.10526315789473, "Infectious diseases": 55.00000000000001, "Conservative dentistry with endodontics": 42.016806722689076, "Internal medicine": 78.33333333333333, "Laboratory diagnostics": 77.96610169491525, "Pediatric urology": 54.86725663716814, "Public health": 75.63025210084034, "Clinical genetics": 65.2542372881356, "Nuclear medicine": 75.21367521367522, "Plastic surgery": 64.16666666666667, "Thoracic surgery": 65.83333333333333, "Intensive care": 74.16666666666667, "overall_accuracy": 61.07876187557463 }, { "model_name": "model-gpt-4o-mini-2024-07-18", "Neurology": 66.38655462184873, "Occupational medicine": 47.45762711864407, "Family medicine": 54.166666666666664, "Pathology": 69.16666666666667, "Sports medicine": 61.66666666666667, "Neonatology": 59.66386554621849, "Orthopedics": 51.30434782608696, "Palliative medicine": 64.16666666666667, "Dental surgery": 52.10084033613446, "Diabetology": 50.0, "Hematology": 49.166666666666664, "Clinical oncology": 50.42016806722689, "Prosthodontics": 49.166666666666664, "Neurosurgery": 43.69747899159664, "Allergology": 55.833333333333336, "Geriatrics": 60.83333333333333, "Gynecological oncology": 49.57983193277311, "Otorhinolaryngology": 53.41880341880342, "Orthodontics": 33.89830508474576, "Anesthesiology": 64.70588235294117, "Endocrinology": 50.0, "Periodontology": 42.857142857142854, "Medical rehabilitation": 65.0, "Perinatology": 50.0, "Pediatrics": 68.90756302521008, "Nephrology": 53.333333333333336, "Pulmonology": 75.42372881355932, "Ophthalmology": 55.08474576271186, "Cardiac surgery": 55.00000000000001, "Vascular surgery": 52.5, "Rheumatology": 52.5, "Surgical oncology": 48.333333333333336, "Clinical transplantology": 44.44444444444444, "Radiation oncology": 46.666666666666664, "Cardiology": 46.15384615384615, "Angiology": 47.5, "Gastroenterology": 55.08474576271186, "Hypertensiology": 64.70588235294117, "Conservative dentistry": 45.378151260504204, "Emergency medicine": 67.5925925925926, "Pediatric nephrology": 63.02521008403361, "Pediatric dentistry": 36.97478991596639, "Maxillofacial surgery": 35.08771929824561, "Infectious diseases": 54.166666666666664, "Conservative dentistry with endodontics": 34.45378151260504, "Internal medicine": 60.0, "Laboratory diagnostics": 73.72881355932203, "Pediatric urology": 56.63716814159292, "Public health": 71.42857142857143, "Clinical genetics": 56.779661016949156, "Nuclear medicine": 59.82905982905983, "Plastic surgery": 61.66666666666667, "Thoracic surgery": 52.5, "Intensive care": 65.0, "overall_accuracy": 54.688936561446525 }, { "model_name": "model-meta-llama-Llama-3.2-1B-Instruct", "Neurology": 23.52941176470588, "Occupational medicine": 21.1864406779661, "Family medicine": 24.166666666666668, "Pathology": 24.166666666666668, "Sports medicine": 20.0, "Neonatology": 21.84873949579832, "Orthopedics": 14.782608695652174, "Palliative medicine": 25.833333333333336, "Dental surgery": 23.52941176470588, "Diabetology": 25.0, "Hematology": 22.5, "Clinical oncology": 24.369747899159663, "Prosthodontics": 17.5, "Neurosurgery": 21.008403361344538, "Allergology": 20.833333333333336, "Geriatrics": 22.5, "Gynecological oncology": 21.84873949579832, "Otorhinolaryngology": 20.085470085470085, "Orthodontics": 22.033898305084744, "Anesthesiology": 19.327731092436977, "Endocrinology": 17.5, "Periodontology": 20.168067226890756, "Medical rehabilitation": 20.0, "Perinatology": 22.5, "Pediatrics": 22.689075630252102, "Nephrology": 20.0, "Pulmonology": 27.966101694915253, "Ophthalmology": 25.423728813559322, "Cardiac surgery": 25.833333333333336, "Vascular surgery": 23.333333333333332, "Rheumatology": 26.666666666666668, "Surgical oncology": 28.333333333333332, "Clinical transplantology": 19.65811965811966, "Radiation oncology": 21.666666666666668, "Cardiology": 26.495726495726498, "Angiology": 19.166666666666668, "Gastroenterology": 16.101694915254235, "Hypertensiology": 18.487394957983195, "Conservative dentistry": 24.369747899159663, "Emergency medicine": 27.77777777777778, "Pediatric nephrology": 23.52941176470588, "Pediatric dentistry": 18.487394957983195, "Maxillofacial surgery": 21.929824561403507, "Infectious diseases": 20.0, "Conservative dentistry with endodontics": 22.689075630252102, "Internal medicine": 23.333333333333332, "Laboratory diagnostics": 27.966101694915253, "Pediatric urology": 26.548672566371685, "Public health": 24.369747899159663, "Clinical genetics": 23.728813559322035, "Nuclear medicine": 23.931623931623932, "Plastic surgery": 20.0, "Thoracic surgery": 19.166666666666668, "Intensive care": 20.833333333333336, "overall_accuracy": 22.295433650015323 }, { "model_name": "model-Qwen-Qwen2.5-72B-Instruct", "Neurology": 67.22689075630252, "Occupational medicine": 48.30508474576271, "Family medicine": 59.166666666666664, "Pathology": 67.5, "Sports medicine": 70.0, "Neonatology": 56.30252100840336, "Orthopedics": 58.26086956521739, "Palliative medicine": 68.33333333333333, "Dental surgery": 50.42016806722689, "Diabetology": 50.0, "Hematology": 55.833333333333336, "Clinical oncology": 54.621848739495796, "Prosthodontics": 54.166666666666664, "Neurosurgery": 50.42016806722689, "Allergology": 59.166666666666664, "Geriatrics": 66.66666666666666, "Gynecological oncology": 53.78151260504202, "Otorhinolaryngology": 52.991452991452995, "Orthodontics": 48.30508474576271, "Anesthesiology": 62.18487394957983, "Endocrinology": 47.5, "Periodontology": 51.26050420168067, "Medical rehabilitation": 61.66666666666667, "Perinatology": 58.333333333333336, "Pediatrics": 70.58823529411765, "Nephrology": 54.166666666666664, "Pulmonology": 81.35593220338984, "Ophthalmology": 54.23728813559322, "Cardiac surgery": 55.833333333333336, "Vascular surgery": 67.5, "Rheumatology": 49.166666666666664, "Surgical oncology": 61.66666666666667, "Clinical transplantology": 47.008547008547005, "Radiation oncology": 55.00000000000001, "Cardiology": 58.97435897435898, "Angiology": 61.66666666666667, "Gastroenterology": 55.08474576271186, "Hypertensiology": 62.18487394957983, "Conservative dentistry": 45.378151260504204, "Emergency medicine": 69.44444444444444, "Pediatric nephrology": 68.0672268907563, "Pediatric dentistry": 48.739495798319325, "Maxillofacial surgery": 37.719298245614034, "Infectious diseases": 64.16666666666667, "Conservative dentistry with endodontics": 40.33613445378151, "Internal medicine": 66.66666666666666, "Laboratory diagnostics": 79.66101694915254, "Pediatric urology": 56.63716814159292, "Public health": 76.47058823529412, "Clinical genetics": 62.71186440677966, "Nuclear medicine": 64.1025641025641, "Plastic surgery": 60.83333333333333, "Thoracic surgery": 59.166666666666664, "Intensive care": 78.33333333333333, "overall_accuracy": 58.88752681581367 } ]