Spaces:
Sleeping
Sleeping
| [ | |
| { | |
| "model_name": "model-meta-llama-Meta-Llama-3.1-8B-Instruct", | |
| "Neurology": 51.26050420168067, | |
| "Occupational medicine": 38.983050847457626, | |
| "Family medicine": 34.166666666666664, | |
| "Pathology": 46.666666666666664, | |
| "Sports medicine": 45.0, | |
| "Neonatology": 45.378151260504204, | |
| "Orthopedics": 40.0, | |
| "Palliative medicine": 55.00000000000001, | |
| "Dental surgery": 31.092436974789916, | |
| "Diabetology": 40.833333333333336, | |
| "Hematology": 40.833333333333336, | |
| "Clinical oncology": 36.134453781512605, | |
| "Prosthodontics": 40.0, | |
| "Neurosurgery": 26.05042016806723, | |
| "Allergology": 35.833333333333336, | |
| "Geriatrics": 44.166666666666664, | |
| "Gynecological oncology": 42.016806722689076, | |
| "Otorhinolaryngology": 32.05128205128205, | |
| "Orthodontics": 24.576271186440678, | |
| "Anesthesiology": 50.42016806722689, | |
| "Endocrinology": 31.666666666666664, | |
| "Periodontology": 38.655462184873954, | |
| "Medical rehabilitation": 46.666666666666664, | |
| "Perinatology": 36.666666666666664, | |
| "Pediatrics": 39.49579831932773, | |
| "Nephrology": 36.666666666666664, | |
| "Pulmonology": 50.847457627118644, | |
| "Ophthalmology": 44.06779661016949, | |
| "Cardiac surgery": 42.5, | |
| "Vascular surgery": 36.666666666666664, | |
| "Rheumatology": 40.0, | |
| "Surgical oncology": 36.666666666666664, | |
| "Clinical transplantology": 34.18803418803419, | |
| "Radiation oncology": 35.0, | |
| "Cardiology": 38.46153846153847, | |
| "Angiology": 39.166666666666664, | |
| "Gastroenterology": 38.13559322033898, | |
| "Hypertensiology": 46.21848739495798, | |
| "Conservative dentistry": 37.81512605042017, | |
| "Emergency medicine": 49.074074074074076, | |
| "Pediatric nephrology": 45.378151260504204, | |
| "Pediatric dentistry": 31.932773109243694, | |
| "Maxillofacial surgery": 26.31578947368421, | |
| "Infectious diseases": 30.833333333333336, | |
| "Conservative dentistry with endodontics": 26.89075630252101, | |
| "Internal medicine": 43.333333333333336, | |
| "Laboratory diagnostics": 48.30508474576271, | |
| "Pediatric urology": 36.283185840707965, | |
| "Public health": 60.50420168067227, | |
| "Clinical genetics": 46.61016949152542, | |
| "Nuclear medicine": 43.58974358974359, | |
| "Plastic surgery": 43.333333333333336, | |
| "Thoracic surgery": 36.666666666666664, | |
| "Intensive care": 44.166666666666664, | |
| "overall_accuracy": 39.91725406068036 | |
| }, | |
| { | |
| "model_name": "model-ProbeMedicalYonseiMAILab-medllama3-v20", | |
| "Neurology": 41.17647058823529, | |
| "Occupational medicine": 31.35593220338983, | |
| "Family medicine": 25.833333333333336, | |
| "Pathology": 39.166666666666664, | |
| "Sports medicine": 35.0, | |
| "Neonatology": 34.45378151260504, | |
| "Orthopedics": 33.91304347826087, | |
| "Palliative medicine": 34.166666666666664, | |
| "Dental surgery": 28.57142857142857, | |
| "Diabetology": 36.666666666666664, | |
| "Hematology": 19.166666666666668, | |
| "Clinical oncology": 26.89075630252101, | |
| "Prosthodontics": 35.0, | |
| "Neurosurgery": 24.369747899159663, | |
| "Allergology": 35.0, | |
| "Geriatrics": 28.333333333333332, | |
| "Gynecological oncology": 27.73109243697479, | |
| "Otorhinolaryngology": 27.77777777777778, | |
| "Orthodontics": 22.88135593220339, | |
| "Anesthesiology": 41.17647058823529, | |
| "Endocrinology": 30.0, | |
| "Periodontology": 26.05042016806723, | |
| "Medical rehabilitation": 38.333333333333336, | |
| "Perinatology": 22.5, | |
| "Pediatrics": 31.092436974789916, | |
| "Nephrology": 30.833333333333336, | |
| "Pulmonology": 42.3728813559322, | |
| "Ophthalmology": 38.983050847457626, | |
| "Cardiac surgery": 34.166666666666664, | |
| "Vascular surgery": 36.666666666666664, | |
| "Rheumatology": 27.500000000000004, | |
| "Surgical oncology": 30.833333333333336, | |
| "Clinical transplantology": 27.350427350427353, | |
| "Radiation oncology": 30.833333333333336, | |
| "Cardiology": 23.931623931623932, | |
| "Angiology": 23.333333333333332, | |
| "Gastroenterology": 40.67796610169492, | |
| "Hypertensiology": 42.857142857142854, | |
| "Conservative dentistry": 23.52941176470588, | |
| "Emergency medicine": 32.407407407407405, | |
| "Pediatric nephrology": 36.97478991596639, | |
| "Pediatric dentistry": 22.689075630252102, | |
| "Maxillofacial surgery": 27.192982456140353, | |
| "Infectious diseases": 24.166666666666668, | |
| "Conservative dentistry with endodontics": 29.411764705882355, | |
| "Internal medicine": 34.166666666666664, | |
| "Laboratory diagnostics": 42.3728813559322, | |
| "Pediatric urology": 30.08849557522124, | |
| "Public health": 40.33613445378151, | |
| "Clinical genetics": 23.728813559322035, | |
| "Nuclear medicine": 23.931623931623932, | |
| "Plastic surgery": 34.166666666666664, | |
| "Thoracic surgery": 25.833333333333336, | |
| "Intensive care": 45.83333333333333, | |
| "overall_accuracy": 31.489426907753597 | |
| }, | |
| { | |
| "model_name": "model-meta-llama-Llama-3.2-3B-Instruct", | |
| "Neurology": 36.97478991596639, | |
| "Occupational medicine": 34.74576271186441, | |
| "Family medicine": 34.166666666666664, | |
| "Pathology": 30.833333333333336, | |
| "Sports medicine": 36.666666666666664, | |
| "Neonatology": 35.294117647058826, | |
| "Orthopedics": 27.82608695652174, | |
| "Palliative medicine": 46.666666666666664, | |
| "Dental surgery": 35.294117647058826, | |
| "Diabetology": 37.5, | |
| "Hematology": 30.0, | |
| "Clinical oncology": 40.33613445378151, | |
| "Prosthodontics": 34.166666666666664, | |
| "Neurosurgery": 27.73109243697479, | |
| "Allergology": 28.333333333333332, | |
| "Geriatrics": 30.833333333333336, | |
| "Gynecological oncology": 28.57142857142857, | |
| "Otorhinolaryngology": 22.64957264957265, | |
| "Orthodontics": 31.35593220338983, | |
| "Anesthesiology": 38.655462184873954, | |
| "Endocrinology": 18.333333333333332, | |
| "Periodontology": 34.45378151260504, | |
| "Medical rehabilitation": 30.833333333333336, | |
| "Perinatology": 30.0, | |
| "Pediatrics": 38.655462184873954, | |
| "Nephrology": 31.666666666666664, | |
| "Pulmonology": 44.06779661016949, | |
| "Ophthalmology": 37.28813559322034, | |
| "Cardiac surgery": 30.833333333333336, | |
| "Vascular surgery": 36.666666666666664, | |
| "Rheumatology": 31.666666666666664, | |
| "Surgical oncology": 29.166666666666668, | |
| "Clinical transplantology": 29.914529914529915, | |
| "Radiation oncology": 30.0, | |
| "Cardiology": 29.059829059829063, | |
| "Angiology": 24.166666666666668, | |
| "Gastroenterology": 32.20338983050847, | |
| "Hypertensiology": 32.773109243697476, | |
| "Conservative dentistry": 21.84873949579832, | |
| "Emergency medicine": 32.407407407407405, | |
| "Pediatric nephrology": 32.773109243697476, | |
| "Pediatric dentistry": 24.369747899159663, | |
| "Maxillofacial surgery": 28.947368421052634, | |
| "Infectious diseases": 27.500000000000004, | |
| "Conservative dentistry with endodontics": 29.411764705882355, | |
| "Internal medicine": 34.166666666666664, | |
| "Laboratory diagnostics": 38.13559322033898, | |
| "Pediatric urology": 35.39823008849557, | |
| "Public health": 45.378151260504204, | |
| "Clinical genetics": 35.59322033898305, | |
| "Nuclear medicine": 27.350427350427353, | |
| "Plastic surgery": 39.166666666666664, | |
| "Thoracic surgery": 30.0, | |
| "Intensive care": 43.333333333333336, | |
| "overall_accuracy": 32.53141281029727 | |
| }, | |
| { | |
| "model_name": "model-mistralai-Mistral-Small-Instruct-2409", | |
| "Neurology": 46.21848739495798, | |
| "Occupational medicine": 31.35593220338983, | |
| "Family medicine": 33.33333333333333, | |
| "Pathology": 41.66666666666667, | |
| "Sports medicine": 45.83333333333333, | |
| "Neonatology": 35.294117647058826, | |
| "Orthopedics": 33.91304347826087, | |
| "Palliative medicine": 45.0, | |
| "Dental surgery": 34.45378151260504, | |
| "Diabetology": 31.666666666666664, | |
| "Hematology": 37.5, | |
| "Clinical oncology": 40.33613445378151, | |
| "Prosthodontics": 36.666666666666664, | |
| "Neurosurgery": 33.61344537815126, | |
| "Allergology": 36.666666666666664, | |
| "Geriatrics": 36.666666666666664, | |
| "Gynecological oncology": 31.092436974789916, | |
| "Otorhinolaryngology": 28.63247863247863, | |
| "Orthodontics": 31.35593220338983, | |
| "Anesthesiology": 38.655462184873954, | |
| "Endocrinology": 32.5, | |
| "Periodontology": 30.252100840336134, | |
| "Medical rehabilitation": 38.333333333333336, | |
| "Perinatology": 34.166666666666664, | |
| "Pediatrics": 42.857142857142854, | |
| "Nephrology": 35.0, | |
| "Pulmonology": 54.23728813559322, | |
| "Ophthalmology": 33.05084745762712, | |
| "Cardiac surgery": 36.666666666666664, | |
| "Vascular surgery": 37.5, | |
| "Rheumatology": 37.5, | |
| "Surgical oncology": 42.5, | |
| "Clinical transplantology": 35.04273504273504, | |
| "Radiation oncology": 32.5, | |
| "Cardiology": 35.8974358974359, | |
| "Angiology": 40.0, | |
| "Gastroenterology": 38.13559322033898, | |
| "Hypertensiology": 46.21848739495798, | |
| "Conservative dentistry": 30.252100840336134, | |
| "Emergency medicine": 44.44444444444444, | |
| "Pediatric nephrology": 52.94117647058824, | |
| "Pediatric dentistry": 27.73109243697479, | |
| "Maxillofacial surgery": 28.947368421052634, | |
| "Infectious diseases": 40.0, | |
| "Conservative dentistry with endodontics": 30.252100840336134, | |
| "Internal medicine": 35.0, | |
| "Laboratory diagnostics": 49.152542372881356, | |
| "Pediatric urology": 35.39823008849557, | |
| "Public health": 58.82352941176471, | |
| "Clinical genetics": 38.13559322033898, | |
| "Nuclear medicine": 40.17094017094017, | |
| "Plastic surgery": 35.833333333333336, | |
| "Thoracic surgery": 35.833333333333336, | |
| "Intensive care": 48.333333333333336, | |
| "overall_accuracy": 37.680049034630706 | |
| }, | |
| { | |
| "model_name": "model-Qwen-Qwen2.5-7B-Instruct", | |
| "Neurology": 45.378151260504204, | |
| "Occupational medicine": 36.440677966101696, | |
| "Family medicine": 45.0, | |
| "Pathology": 38.333333333333336, | |
| "Sports medicine": 46.666666666666664, | |
| "Neonatology": 56.30252100840336, | |
| "Orthopedics": 38.26086956521739, | |
| "Palliative medicine": 55.833333333333336, | |
| "Dental surgery": 35.294117647058826, | |
| "Diabetology": 40.0, | |
| "Hematology": 34.166666666666664, | |
| "Clinical oncology": 32.773109243697476, | |
| "Prosthodontics": 41.66666666666667, | |
| "Neurosurgery": 36.97478991596639, | |
| "Allergology": 45.0, | |
| "Geriatrics": 48.333333333333336, | |
| "Gynecological oncology": 41.17647058823529, | |
| "Otorhinolaryngology": 35.47008547008547, | |
| "Orthodontics": 36.440677966101696, | |
| "Anesthesiology": 43.69747899159664, | |
| "Endocrinology": 30.0, | |
| "Periodontology": 37.81512605042017, | |
| "Medical rehabilitation": 50.83333333333333, | |
| "Perinatology": 40.0, | |
| "Pediatrics": 39.49579831932773, | |
| "Nephrology": 35.0, | |
| "Pulmonology": 60.16949152542372, | |
| "Ophthalmology": 38.13559322033898, | |
| "Cardiac surgery": 36.666666666666664, | |
| "Vascular surgery": 47.5, | |
| "Rheumatology": 34.166666666666664, | |
| "Surgical oncology": 40.0, | |
| "Clinical transplantology": 36.75213675213676, | |
| "Radiation oncology": 45.83333333333333, | |
| "Cardiology": 38.46153846153847, | |
| "Angiology": 37.5, | |
| "Gastroenterology": 44.06779661016949, | |
| "Hypertensiology": 52.10084033613446, | |
| "Conservative dentistry": 36.134453781512605, | |
| "Emergency medicine": 51.85185185185185, | |
| "Pediatric nephrology": 47.05882352941176, | |
| "Pediatric dentistry": 33.61344537815126, | |
| "Maxillofacial surgery": 28.07017543859649, | |
| "Infectious diseases": 39.166666666666664, | |
| "Conservative dentistry with endodontics": 23.52941176470588, | |
| "Internal medicine": 35.833333333333336, | |
| "Laboratory diagnostics": 59.32203389830508, | |
| "Pediatric urology": 26.548672566371685, | |
| "Public health": 64.70588235294117, | |
| "Clinical genetics": 41.52542372881356, | |
| "Nuclear medicine": 42.73504273504273, | |
| "Plastic surgery": 37.5, | |
| "Thoracic surgery": 40.833333333333336, | |
| "Intensive care": 47.5, | |
| "overall_accuracy": 41.26570640514864 | |
| }, | |
| { | |
| "model_name": "model-OpenMeditron-Meditron3-70B", | |
| "Neurology": 61.34453781512605, | |
| "Occupational medicine": 34.74576271186441, | |
| "Family medicine": 44.166666666666664, | |
| "Pathology": 73.33333333333333, | |
| "Sports medicine": 50.83333333333333, | |
| "Neonatology": 57.14285714285714, | |
| "Orthopedics": 32.17391304347826, | |
| "Palliative medicine": 55.00000000000001, | |
| "Dental surgery": 39.49579831932773, | |
| "Diabetology": 42.5, | |
| "Hematology": 48.333333333333336, | |
| "Clinical oncology": 47.05882352941176, | |
| "Prosthodontics": 34.166666666666664, | |
| "Neurosurgery": 33.61344537815126, | |
| "Allergology": 50.83333333333333, | |
| "Geriatrics": 51.66666666666667, | |
| "Gynecological oncology": 35.294117647058826, | |
| "Otorhinolaryngology": 38.46153846153847, | |
| "Orthodontics": 29.66101694915254, | |
| "Anesthesiology": 45.378151260504204, | |
| "Endocrinology": 40.833333333333336, | |
| "Periodontology": 36.134453781512605, | |
| "Medical rehabilitation": 41.66666666666667, | |
| "Perinatology": 35.833333333333336, | |
| "Pediatrics": 62.18487394957983, | |
| "Nephrology": 50.0, | |
| "Pulmonology": 53.38983050847458, | |
| "Ophthalmology": 48.30508474576271, | |
| "Cardiac surgery": 53.333333333333336, | |
| "Vascular surgery": 45.83333333333333, | |
| "Rheumatology": 49.166666666666664, | |
| "Surgical oncology": 50.83333333333333, | |
| "Clinical transplantology": 40.17094017094017, | |
| "Radiation oncology": 35.833333333333336, | |
| "Cardiology": 41.88034188034188, | |
| "Angiology": 41.66666666666667, | |
| "Gastroenterology": 44.91525423728814, | |
| "Hypertensiology": 50.42016806722689, | |
| "Conservative dentistry": 35.294117647058826, | |
| "Emergency medicine": 57.407407407407405, | |
| "Pediatric nephrology": 64.70588235294117, | |
| "Pediatric dentistry": 31.932773109243694, | |
| "Maxillofacial surgery": 35.08771929824561, | |
| "Infectious diseases": 45.83333333333333, | |
| "Conservative dentistry with endodontics": 31.932773109243694, | |
| "Internal medicine": 60.83333333333333, | |
| "Laboratory diagnostics": 58.47457627118644, | |
| "Pediatric urology": 44.24778761061947, | |
| "Public health": 62.18487394957983, | |
| "Clinical genetics": 58.47457627118644, | |
| "Nuclear medicine": 55.55555555555556, | |
| "Plastic surgery": 47.5, | |
| "Thoracic surgery": 40.833333333333336, | |
| "Intensive care": 56.666666666666664, | |
| "overall_accuracy": 46.4296659515783 | |
| }, | |
| { | |
| "model_name": "model-speakleash-Bielik-11B-v2.2-Instruct", | |
| "Neurology": 49.57983193277311, | |
| "Occupational medicine": 42.3728813559322, | |
| "Family medicine": 43.333333333333336, | |
| "Pathology": 50.0, | |
| "Sports medicine": 55.833333333333336, | |
| "Neonatology": 45.378151260504204, | |
| "Orthopedics": 42.608695652173914, | |
| "Palliative medicine": 45.83333333333333, | |
| "Dental surgery": 36.134453781512605, | |
| "Diabetology": 30.833333333333336, | |
| "Hematology": 33.33333333333333, | |
| "Clinical oncology": 43.69747899159664, | |
| "Prosthodontics": 35.833333333333336, | |
| "Neurosurgery": 28.57142857142857, | |
| "Allergology": 35.0, | |
| "Geriatrics": 44.166666666666664, | |
| "Gynecological oncology": 41.17647058823529, | |
| "Otorhinolaryngology": 38.034188034188034, | |
| "Orthodontics": 32.20338983050847, | |
| "Anesthesiology": 52.10084033613446, | |
| "Endocrinology": 33.33333333333333, | |
| "Periodontology": 36.134453781512605, | |
| "Medical rehabilitation": 52.5, | |
| "Perinatology": 35.833333333333336, | |
| "Pediatrics": 49.57983193277311, | |
| "Nephrology": 34.166666666666664, | |
| "Pulmonology": 52.54237288135594, | |
| "Ophthalmology": 45.76271186440678, | |
| "Cardiac surgery": 37.5, | |
| "Vascular surgery": 45.83333333333333, | |
| "Rheumatology": 35.833333333333336, | |
| "Surgical oncology": 44.166666666666664, | |
| "Clinical transplantology": 34.18803418803419, | |
| "Radiation oncology": 42.5, | |
| "Cardiology": 40.17094017094017, | |
| "Angiology": 47.5, | |
| "Gastroenterology": 46.61016949152542, | |
| "Hypertensiology": 50.42016806722689, | |
| "Conservative dentistry": 27.73109243697479, | |
| "Emergency medicine": 48.148148148148145, | |
| "Pediatric nephrology": 50.42016806722689, | |
| "Pediatric dentistry": 32.773109243697476, | |
| "Maxillofacial surgery": 27.192982456140353, | |
| "Infectious diseases": 40.833333333333336, | |
| "Conservative dentistry with endodontics": 36.134453781512605, | |
| "Internal medicine": 38.333333333333336, | |
| "Laboratory diagnostics": 50.0, | |
| "Pediatric urology": 37.16814159292036, | |
| "Public health": 71.42857142857143, | |
| "Clinical genetics": 37.28813559322034, | |
| "Nuclear medicine": 43.58974358974359, | |
| "Plastic surgery": 45.83333333333333, | |
| "Thoracic surgery": 40.833333333333336, | |
| "Intensive care": 45.83333333333333, | |
| "overall_accuracy": 41.863315966901624 | |
| }, | |
| { | |
| "model_name": "model-BioMistral-BioMistral-7B", | |
| "Neurology": 24.369747899159663, | |
| "Occupational medicine": 18.64406779661017, | |
| "Family medicine": 22.5, | |
| "Pathology": 22.5, | |
| "Sports medicine": 23.333333333333332, | |
| "Neonatology": 22.689075630252102, | |
| "Orthopedics": 20.0, | |
| "Palliative medicine": 30.833333333333336, | |
| "Dental surgery": 19.327731092436977, | |
| "Diabetology": 20.0, | |
| "Hematology": 25.833333333333336, | |
| "Clinical oncology": 26.05042016806723, | |
| "Prosthodontics": 17.5, | |
| "Neurosurgery": 21.84873949579832, | |
| "Allergology": 21.666666666666668, | |
| "Geriatrics": 24.166666666666668, | |
| "Gynecological oncology": 19.327731092436977, | |
| "Otorhinolaryngology": 20.085470085470085, | |
| "Orthodontics": 21.1864406779661, | |
| "Anesthesiology": 20.168067226890756, | |
| "Endocrinology": 17.5, | |
| "Periodontology": 21.84873949579832, | |
| "Medical rehabilitation": 20.833333333333336, | |
| "Perinatology": 24.166666666666668, | |
| "Pediatrics": 30.252100840336134, | |
| "Nephrology": 19.166666666666668, | |
| "Pulmonology": 25.423728813559322, | |
| "Ophthalmology": 26.27118644067797, | |
| "Cardiac surgery": 25.833333333333336, | |
| "Vascular surgery": 20.0, | |
| "Rheumatology": 24.166666666666668, | |
| "Surgical oncology": 30.0, | |
| "Clinical transplantology": 23.076923076923077, | |
| "Radiation oncology": 23.333333333333332, | |
| "Cardiology": 23.931623931623932, | |
| "Angiology": 18.333333333333332, | |
| "Gastroenterology": 19.491525423728813, | |
| "Hypertensiology": 26.05042016806723, | |
| "Conservative dentistry": 22.689075630252102, | |
| "Emergency medicine": 24.074074074074073, | |
| "Pediatric nephrology": 27.73109243697479, | |
| "Pediatric dentistry": 17.647058823529413, | |
| "Maxillofacial surgery": 23.684210526315788, | |
| "Infectious diseases": 20.0, | |
| "Conservative dentistry with endodontics": 22.689075630252102, | |
| "Internal medicine": 20.833333333333336, | |
| "Laboratory diagnostics": 27.966101694915253, | |
| "Pediatric urology": 20.353982300884958, | |
| "Public health": 26.05042016806723, | |
| "Clinical genetics": 22.88135593220339, | |
| "Nuclear medicine": 29.059829059829063, | |
| "Plastic surgery": 19.166666666666668, | |
| "Thoracic surgery": 22.5, | |
| "Intensive care": 23.333333333333332, | |
| "overall_accuracy": 22.770456634998467 | |
| }, | |
| { | |
| "model_name": "model-johnsnowlabs-JSL-MedLlama-3-8B-v2.0", | |
| "Neurology": 28.57142857142857, | |
| "Occupational medicine": 32.20338983050847, | |
| "Family medicine": 20.0, | |
| "Pathology": 37.5, | |
| "Sports medicine": 35.833333333333336, | |
| "Neonatology": 30.252100840336134, | |
| "Orthopedics": 28.695652173913043, | |
| "Palliative medicine": 33.33333333333333, | |
| "Dental surgery": 30.252100840336134, | |
| "Diabetology": 30.0, | |
| "Hematology": 26.666666666666668, | |
| "Clinical oncology": 26.89075630252101, | |
| "Prosthodontics": 30.0, | |
| "Neurosurgery": 21.008403361344538, | |
| "Allergology": 25.0, | |
| "Geriatrics": 30.0, | |
| "Gynecological oncology": 19.327731092436977, | |
| "Otorhinolaryngology": 27.350427350427353, | |
| "Orthodontics": 27.11864406779661, | |
| "Anesthesiology": 37.81512605042017, | |
| "Endocrinology": 25.0, | |
| "Periodontology": 26.05042016806723, | |
| "Medical rehabilitation": 31.666666666666664, | |
| "Perinatology": 22.5, | |
| "Pediatrics": 31.932773109243694, | |
| "Nephrology": 23.333333333333332, | |
| "Pulmonology": 37.28813559322034, | |
| "Ophthalmology": 25.423728813559322, | |
| "Cardiac surgery": 32.5, | |
| "Vascular surgery": 25.833333333333336, | |
| "Rheumatology": 29.166666666666668, | |
| "Surgical oncology": 31.666666666666664, | |
| "Clinical transplantology": 27.350427350427353, | |
| "Radiation oncology": 25.833333333333336, | |
| "Cardiology": 21.367521367521366, | |
| "Angiology": 25.0, | |
| "Gastroenterology": 29.66101694915254, | |
| "Hypertensiology": 31.092436974789916, | |
| "Conservative dentistry": 31.092436974789916, | |
| "Emergency medicine": 25.0, | |
| "Pediatric nephrology": 36.134453781512605, | |
| "Pediatric dentistry": 17.647058823529413, | |
| "Maxillofacial surgery": 26.31578947368421, | |
| "Infectious diseases": 20.833333333333336, | |
| "Conservative dentistry with endodontics": 26.05042016806723, | |
| "Internal medicine": 30.0, | |
| "Laboratory diagnostics": 40.67796610169492, | |
| "Pediatric urology": 29.20353982300885, | |
| "Public health": 42.857142857142854, | |
| "Clinical genetics": 22.033898305084744, | |
| "Nuclear medicine": 34.18803418803419, | |
| "Plastic surgery": 35.833333333333336, | |
| "Thoracic surgery": 28.333333333333332, | |
| "Intensive care": 39.166666666666664, | |
| "overall_accuracy": 28.976402083971802 | |
| }, | |
| { | |
| "model_name": "model-gpt-4o-2024-08-06", | |
| "Neurology": 83.19327731092437, | |
| "Occupational medicine": 61.016949152542374, | |
| "Family medicine": 81.66666666666667, | |
| "Pathology": 90.0, | |
| "Sports medicine": 85.83333333333333, | |
| "Neonatology": 68.90756302521008, | |
| "Orthopedics": 72.17391304347827, | |
| "Palliative medicine": 85.0, | |
| "Dental surgery": 59.66386554621849, | |
| "Diabetology": 63.33333333333333, | |
| "Hematology": 75.0, | |
| "Clinical oncology": 78.99159663865547, | |
| "Prosthodontics": 75.83333333333333, | |
| "Neurosurgery": 68.90756302521008, | |
| "Allergology": 77.5, | |
| "Geriatrics": 81.66666666666667, | |
| "Gynecological oncology": 67.22689075630252, | |
| "Otorhinolaryngology": 70.94017094017094, | |
| "Orthodontics": 53.38983050847458, | |
| "Anesthesiology": 81.5126050420168, | |
| "Endocrinology": 71.66666666666667, | |
| "Periodontology": 70.58823529411765, | |
| "Medical rehabilitation": 80.83333333333333, | |
| "Perinatology": 70.0, | |
| "Pediatrics": 85.71428571428571, | |
| "Nephrology": 72.5, | |
| "Pulmonology": 85.59322033898306, | |
| "Ophthalmology": 77.11864406779661, | |
| "Cardiac surgery": 78.33333333333333, | |
| "Vascular surgery": 75.0, | |
| "Rheumatology": 83.33333333333334, | |
| "Surgical oncology": 73.33333333333333, | |
| "Clinical transplantology": 64.1025641025641, | |
| "Radiation oncology": 66.66666666666666, | |
| "Cardiology": 64.95726495726495, | |
| "Angiology": 73.33333333333333, | |
| "Gastroenterology": 74.57627118644068, | |
| "Hypertensiology": 78.15126050420169, | |
| "Conservative dentistry": 60.50420168067227, | |
| "Emergency medicine": 87.03703703703704, | |
| "Pediatric nephrology": 78.15126050420169, | |
| "Pediatric dentistry": 64.70588235294117, | |
| "Maxillofacial surgery": 52.63157894736842, | |
| "Infectious diseases": 76.66666666666667, | |
| "Conservative dentistry with endodontics": 52.94117647058824, | |
| "Internal medicine": 85.83333333333333, | |
| "Laboratory diagnostics": 90.67796610169492, | |
| "Pediatric urology": 76.99115044247787, | |
| "Public health": 85.71428571428571, | |
| "Clinical genetics": 83.89830508474576, | |
| "Nuclear medicine": 73.50427350427351, | |
| "Plastic surgery": 75.83333333333333, | |
| "Thoracic surgery": 80.83333333333333, | |
| "Intensive care": 85.83333333333333, | |
| "overall_accuracy": 74.7471651854122 | |
| }, | |
| { | |
| "model_name": "model-OpenMeditron-Meditron3-8B", | |
| "Neurology": 46.21848739495798, | |
| "Occupational medicine": 31.35593220338983, | |
| "Family medicine": 30.833333333333336, | |
| "Pathology": 40.0, | |
| "Sports medicine": 43.333333333333336, | |
| "Neonatology": 42.857142857142854, | |
| "Orthopedics": 39.130434782608695, | |
| "Palliative medicine": 51.66666666666667, | |
| "Dental surgery": 31.092436974789916, | |
| "Diabetology": 45.0, | |
| "Hematology": 34.166666666666664, | |
| "Clinical oncology": 33.61344537815126, | |
| "Prosthodontics": 39.166666666666664, | |
| "Neurosurgery": 31.092436974789916, | |
| "Allergology": 30.833333333333336, | |
| "Geriatrics": 36.666666666666664, | |
| "Gynecological oncology": 30.252100840336134, | |
| "Otorhinolaryngology": 32.47863247863248, | |
| "Orthodontics": 27.11864406779661, | |
| "Anesthesiology": 47.05882352941176, | |
| "Endocrinology": 27.500000000000004, | |
| "Periodontology": 38.655462184873954, | |
| "Medical rehabilitation": 40.0, | |
| "Perinatology": 18.333333333333332, | |
| "Pediatrics": 39.49579831932773, | |
| "Nephrology": 31.666666666666664, | |
| "Pulmonology": 46.61016949152542, | |
| "Ophthalmology": 36.440677966101696, | |
| "Cardiac surgery": 42.5, | |
| "Vascular surgery": 39.166666666666664, | |
| "Rheumatology": 37.5, | |
| "Surgical oncology": 34.166666666666664, | |
| "Clinical transplantology": 34.18803418803419, | |
| "Radiation oncology": 36.666666666666664, | |
| "Cardiology": 28.205128205128204, | |
| "Angiology": 38.333333333333336, | |
| "Gastroenterology": 38.983050847457626, | |
| "Hypertensiology": 41.17647058823529, | |
| "Conservative dentistry": 29.411764705882355, | |
| "Emergency medicine": 47.22222222222222, | |
| "Pediatric nephrology": 43.69747899159664, | |
| "Pediatric dentistry": 29.411764705882355, | |
| "Maxillofacial surgery": 26.31578947368421, | |
| "Infectious diseases": 26.666666666666668, | |
| "Conservative dentistry with endodontics": 24.369747899159663, | |
| "Internal medicine": 35.0, | |
| "Laboratory diagnostics": 50.0, | |
| "Pediatric urology": 38.93805309734513, | |
| "Public health": 56.30252100840336, | |
| "Clinical genetics": 30.508474576271187, | |
| "Nuclear medicine": 47.008547008547005, | |
| "Plastic surgery": 38.333333333333336, | |
| "Thoracic surgery": 37.5, | |
| "Intensive care": 46.666666666666664, | |
| "overall_accuracy": 36.959852896107876 | |
| }, | |
| { | |
| "model_name": "model-mistralai-Mistral-Large-Instruct-2407", | |
| "Neurology": 74.78991596638656, | |
| "Occupational medicine": 47.45762711864407, | |
| "Family medicine": 62.5, | |
| "Pathology": 70.83333333333334, | |
| "Sports medicine": 75.0, | |
| "Neonatology": 59.66386554621849, | |
| "Orthopedics": 59.130434782608695, | |
| "Palliative medicine": 75.0, | |
| "Dental surgery": 50.42016806722689, | |
| "Diabetology": 54.166666666666664, | |
| "Hematology": 59.166666666666664, | |
| "Clinical oncology": 57.98319327731093, | |
| "Prosthodontics": 50.83333333333333, | |
| "Neurosurgery": 47.05882352941176, | |
| "Allergology": 58.333333333333336, | |
| "Geriatrics": 65.83333333333333, | |
| "Gynecological oncology": 56.30252100840336, | |
| "Otorhinolaryngology": 53.41880341880342, | |
| "Orthodontics": 44.91525423728814, | |
| "Anesthesiology": 67.22689075630252, | |
| "Endocrinology": 51.66666666666667, | |
| "Periodontology": 43.69747899159664, | |
| "Medical rehabilitation": 65.83333333333333, | |
| "Perinatology": 50.83333333333333, | |
| "Pediatrics": 70.58823529411765, | |
| "Nephrology": 51.66666666666667, | |
| "Pulmonology": 79.66101694915254, | |
| "Ophthalmology": 55.08474576271186, | |
| "Cardiac surgery": 56.666666666666664, | |
| "Vascular surgery": 65.0, | |
| "Rheumatology": 55.833333333333336, | |
| "Surgical oncology": 60.83333333333333, | |
| "Clinical transplantology": 49.572649572649574, | |
| "Radiation oncology": 56.666666666666664, | |
| "Cardiology": 58.97435897435898, | |
| "Angiology": 53.333333333333336, | |
| "Gastroenterology": 59.32203389830508, | |
| "Hypertensiology": 71.42857142857143, | |
| "Conservative dentistry": 40.33613445378151, | |
| "Emergency medicine": 72.22222222222221, | |
| "Pediatric nephrology": 63.86554621848739, | |
| "Pediatric dentistry": 42.857142857142854, | |
| "Maxillofacial surgery": 39.473684210526315, | |
| "Infectious diseases": 63.33333333333333, | |
| "Conservative dentistry with endodontics": 39.49579831932773, | |
| "Internal medicine": 70.83333333333334, | |
| "Laboratory diagnostics": 77.11864406779661, | |
| "Pediatric urology": 51.32743362831859, | |
| "Public health": 74.78991596638656, | |
| "Clinical genetics": 61.86440677966102, | |
| "Nuclear medicine": 64.1025641025641, | |
| "Plastic surgery": 58.333333333333336, | |
| "Thoracic surgery": 61.66666666666667, | |
| "Intensive care": 75.83333333333333, | |
| "overall_accuracy": 59.23996322402697 | |
| }, | |
| { | |
| "model_name": "model-aaditya-Llama3-OpenBioLLM-70B", | |
| "Neurology": 26.05042016806723, | |
| "Occupational medicine": 18.64406779661017, | |
| "Family medicine": 20.0, | |
| "Pathology": 45.0, | |
| "Sports medicine": 43.333333333333336, | |
| "Neonatology": 40.33613445378151, | |
| "Orthopedics": 29.565217391304348, | |
| "Palliative medicine": 53.333333333333336, | |
| "Dental surgery": 31.932773109243694, | |
| "Diabetology": 39.166666666666664, | |
| "Hematology": 39.166666666666664, | |
| "Clinical oncology": 42.857142857142854, | |
| "Prosthodontics": 33.33333333333333, | |
| "Neurosurgery": 29.411764705882355, | |
| "Allergology": 41.66666666666667, | |
| "Geriatrics": 35.0, | |
| "Gynecological oncology": 33.61344537815126, | |
| "Otorhinolaryngology": 30.34188034188034, | |
| "Orthodontics": 27.11864406779661, | |
| "Anesthesiology": 49.57983193277311, | |
| "Endocrinology": 35.0, | |
| "Periodontology": 37.81512605042017, | |
| "Medical rehabilitation": 38.333333333333336, | |
| "Perinatology": 30.0, | |
| "Pediatrics": 51.26050420168067, | |
| "Nephrology": 42.5, | |
| "Pulmonology": 53.38983050847458, | |
| "Ophthalmology": 37.28813559322034, | |
| "Cardiac surgery": 41.66666666666667, | |
| "Vascular surgery": 45.83333333333333, | |
| "Rheumatology": 32.5, | |
| "Surgical oncology": 45.83333333333333, | |
| "Clinical transplantology": 35.8974358974359, | |
| "Radiation oncology": 40.833333333333336, | |
| "Cardiology": 42.73504273504273, | |
| "Angiology": 37.5, | |
| "Gastroenterology": 38.13559322033898, | |
| "Hypertensiology": 46.21848739495798, | |
| "Conservative dentistry": 32.773109243697476, | |
| "Emergency medicine": 48.148148148148145, | |
| "Pediatric nephrology": 58.82352941176471, | |
| "Pediatric dentistry": 29.411764705882355, | |
| "Maxillofacial surgery": 29.82456140350877, | |
| "Infectious diseases": 36.666666666666664, | |
| "Conservative dentistry with endodontics": 31.092436974789916, | |
| "Internal medicine": 47.5, | |
| "Laboratory diagnostics": 55.08474576271186, | |
| "Pediatric urology": 44.24778761061947, | |
| "Public health": 56.30252100840336, | |
| "Clinical genetics": 43.22033898305085, | |
| "Nuclear medicine": 45.2991452991453, | |
| "Plastic surgery": 46.666666666666664, | |
| "Thoracic surgery": 35.0, | |
| "Intensive care": 45.83333333333333, | |
| "overall_accuracy": 39.243027888446214 | |
| }, | |
| { | |
| "model_name": "model-meta-llama-Meta-Llama-3.1-70B-Instruct", | |
| "Neurology": 73.94957983193278, | |
| "Occupational medicine": 47.45762711864407, | |
| "Family medicine": 61.66666666666667, | |
| "Pathology": 81.66666666666667, | |
| "Sports medicine": 74.16666666666667, | |
| "Neonatology": 68.0672268907563, | |
| "Orthopedics": 61.73913043478261, | |
| "Palliative medicine": 70.0, | |
| "Dental surgery": 56.30252100840336, | |
| "Diabetology": 51.66666666666667, | |
| "Hematology": 64.16666666666667, | |
| "Clinical oncology": 60.50420168067227, | |
| "Prosthodontics": 52.5, | |
| "Neurosurgery": 47.05882352941176, | |
| "Allergology": 61.66666666666667, | |
| "Geriatrics": 69.16666666666667, | |
| "Gynecological oncology": 50.42016806722689, | |
| "Otorhinolaryngology": 55.55555555555556, | |
| "Orthodontics": 40.67796610169492, | |
| "Anesthesiology": 65.54621848739495, | |
| "Endocrinology": 57.49999999999999, | |
| "Periodontology": 46.21848739495798, | |
| "Medical rehabilitation": 71.66666666666667, | |
| "Perinatology": 56.666666666666664, | |
| "Pediatrics": 70.58823529411765, | |
| "Nephrology": 56.666666666666664, | |
| "Pulmonology": 74.57627118644068, | |
| "Ophthalmology": 60.16949152542372, | |
| "Cardiac surgery": 62.5, | |
| "Vascular surgery": 63.33333333333333, | |
| "Rheumatology": 64.16666666666667, | |
| "Surgical oncology": 50.0, | |
| "Clinical transplantology": 47.008547008547005, | |
| "Radiation oncology": 55.00000000000001, | |
| "Cardiology": 54.700854700854705, | |
| "Angiology": 63.33333333333333, | |
| "Gastroenterology": 61.016949152542374, | |
| "Hypertensiology": 68.0672268907563, | |
| "Conservative dentistry": 47.05882352941176, | |
| "Emergency medicine": 71.29629629629629, | |
| "Pediatric nephrology": 73.10924369747899, | |
| "Pediatric dentistry": 43.69747899159664, | |
| "Maxillofacial surgery": 42.10526315789473, | |
| "Infectious diseases": 55.00000000000001, | |
| "Conservative dentistry with endodontics": 42.016806722689076, | |
| "Internal medicine": 78.33333333333333, | |
| "Laboratory diagnostics": 77.96610169491525, | |
| "Pediatric urology": 54.86725663716814, | |
| "Public health": 75.63025210084034, | |
| "Clinical genetics": 65.2542372881356, | |
| "Nuclear medicine": 75.21367521367522, | |
| "Plastic surgery": 64.16666666666667, | |
| "Thoracic surgery": 65.83333333333333, | |
| "Intensive care": 74.16666666666667, | |
| "overall_accuracy": 61.07876187557463 | |
| }, | |
| { | |
| "model_name": "model-gpt-4o-mini-2024-07-18", | |
| "Neurology": 66.38655462184873, | |
| "Occupational medicine": 47.45762711864407, | |
| "Family medicine": 54.166666666666664, | |
| "Pathology": 69.16666666666667, | |
| "Sports medicine": 61.66666666666667, | |
| "Neonatology": 59.66386554621849, | |
| "Orthopedics": 51.30434782608696, | |
| "Palliative medicine": 64.16666666666667, | |
| "Dental surgery": 52.10084033613446, | |
| "Diabetology": 50.0, | |
| "Hematology": 49.166666666666664, | |
| "Clinical oncology": 50.42016806722689, | |
| "Prosthodontics": 49.166666666666664, | |
| "Neurosurgery": 43.69747899159664, | |
| "Allergology": 55.833333333333336, | |
| "Geriatrics": 60.83333333333333, | |
| "Gynecological oncology": 49.57983193277311, | |
| "Otorhinolaryngology": 53.41880341880342, | |
| "Orthodontics": 33.89830508474576, | |
| "Anesthesiology": 64.70588235294117, | |
| "Endocrinology": 50.0, | |
| "Periodontology": 42.857142857142854, | |
| "Medical rehabilitation": 65.0, | |
| "Perinatology": 50.0, | |
| "Pediatrics": 68.90756302521008, | |
| "Nephrology": 53.333333333333336, | |
| "Pulmonology": 75.42372881355932, | |
| "Ophthalmology": 55.08474576271186, | |
| "Cardiac surgery": 55.00000000000001, | |
| "Vascular surgery": 52.5, | |
| "Rheumatology": 52.5, | |
| "Surgical oncology": 48.333333333333336, | |
| "Clinical transplantology": 44.44444444444444, | |
| "Radiation oncology": 46.666666666666664, | |
| "Cardiology": 46.15384615384615, | |
| "Angiology": 47.5, | |
| "Gastroenterology": 55.08474576271186, | |
| "Hypertensiology": 64.70588235294117, | |
| "Conservative dentistry": 45.378151260504204, | |
| "Emergency medicine": 67.5925925925926, | |
| "Pediatric nephrology": 63.02521008403361, | |
| "Pediatric dentistry": 36.97478991596639, | |
| "Maxillofacial surgery": 35.08771929824561, | |
| "Infectious diseases": 54.166666666666664, | |
| "Conservative dentistry with endodontics": 34.45378151260504, | |
| "Internal medicine": 60.0, | |
| "Laboratory diagnostics": 73.72881355932203, | |
| "Pediatric urology": 56.63716814159292, | |
| "Public health": 71.42857142857143, | |
| "Clinical genetics": 56.779661016949156, | |
| "Nuclear medicine": 59.82905982905983, | |
| "Plastic surgery": 61.66666666666667, | |
| "Thoracic surgery": 52.5, | |
| "Intensive care": 65.0, | |
| "overall_accuracy": 54.688936561446525 | |
| }, | |
| { | |
| "model_name": "model-meta-llama-Llama-3.2-1B-Instruct", | |
| "Neurology": 23.52941176470588, | |
| "Occupational medicine": 21.1864406779661, | |
| "Family medicine": 24.166666666666668, | |
| "Pathology": 24.166666666666668, | |
| "Sports medicine": 20.0, | |
| "Neonatology": 21.84873949579832, | |
| "Orthopedics": 14.782608695652174, | |
| "Palliative medicine": 25.833333333333336, | |
| "Dental surgery": 23.52941176470588, | |
| "Diabetology": 25.0, | |
| "Hematology": 22.5, | |
| "Clinical oncology": 24.369747899159663, | |
| "Prosthodontics": 17.5, | |
| "Neurosurgery": 21.008403361344538, | |
| "Allergology": 20.833333333333336, | |
| "Geriatrics": 22.5, | |
| "Gynecological oncology": 21.84873949579832, | |
| "Otorhinolaryngology": 20.085470085470085, | |
| "Orthodontics": 22.033898305084744, | |
| "Anesthesiology": 19.327731092436977, | |
| "Endocrinology": 17.5, | |
| "Periodontology": 20.168067226890756, | |
| "Medical rehabilitation": 20.0, | |
| "Perinatology": 22.5, | |
| "Pediatrics": 22.689075630252102, | |
| "Nephrology": 20.0, | |
| "Pulmonology": 27.966101694915253, | |
| "Ophthalmology": 25.423728813559322, | |
| "Cardiac surgery": 25.833333333333336, | |
| "Vascular surgery": 23.333333333333332, | |
| "Rheumatology": 26.666666666666668, | |
| "Surgical oncology": 28.333333333333332, | |
| "Clinical transplantology": 19.65811965811966, | |
| "Radiation oncology": 21.666666666666668, | |
| "Cardiology": 26.495726495726498, | |
| "Angiology": 19.166666666666668, | |
| "Gastroenterology": 16.101694915254235, | |
| "Hypertensiology": 18.487394957983195, | |
| "Conservative dentistry": 24.369747899159663, | |
| "Emergency medicine": 27.77777777777778, | |
| "Pediatric nephrology": 23.52941176470588, | |
| "Pediatric dentistry": 18.487394957983195, | |
| "Maxillofacial surgery": 21.929824561403507, | |
| "Infectious diseases": 20.0, | |
| "Conservative dentistry with endodontics": 22.689075630252102, | |
| "Internal medicine": 23.333333333333332, | |
| "Laboratory diagnostics": 27.966101694915253, | |
| "Pediatric urology": 26.548672566371685, | |
| "Public health": 24.369747899159663, | |
| "Clinical genetics": 23.728813559322035, | |
| "Nuclear medicine": 23.931623931623932, | |
| "Plastic surgery": 20.0, | |
| "Thoracic surgery": 19.166666666666668, | |
| "Intensive care": 20.833333333333336, | |
| "overall_accuracy": 22.295433650015323 | |
| }, | |
| { | |
| "model_name": "model-Qwen-Qwen2.5-72B-Instruct", | |
| "Neurology": 67.22689075630252, | |
| "Occupational medicine": 48.30508474576271, | |
| "Family medicine": 59.166666666666664, | |
| "Pathology": 67.5, | |
| "Sports medicine": 70.0, | |
| "Neonatology": 56.30252100840336, | |
| "Orthopedics": 58.26086956521739, | |
| "Palliative medicine": 68.33333333333333, | |
| "Dental surgery": 50.42016806722689, | |
| "Diabetology": 50.0, | |
| "Hematology": 55.833333333333336, | |
| "Clinical oncology": 54.621848739495796, | |
| "Prosthodontics": 54.166666666666664, | |
| "Neurosurgery": 50.42016806722689, | |
| "Allergology": 59.166666666666664, | |
| "Geriatrics": 66.66666666666666, | |
| "Gynecological oncology": 53.78151260504202, | |
| "Otorhinolaryngology": 52.991452991452995, | |
| "Orthodontics": 48.30508474576271, | |
| "Anesthesiology": 62.18487394957983, | |
| "Endocrinology": 47.5, | |
| "Periodontology": 51.26050420168067, | |
| "Medical rehabilitation": 61.66666666666667, | |
| "Perinatology": 58.333333333333336, | |
| "Pediatrics": 70.58823529411765, | |
| "Nephrology": 54.166666666666664, | |
| "Pulmonology": 81.35593220338984, | |
| "Ophthalmology": 54.23728813559322, | |
| "Cardiac surgery": 55.833333333333336, | |
| "Vascular surgery": 67.5, | |
| "Rheumatology": 49.166666666666664, | |
| "Surgical oncology": 61.66666666666667, | |
| "Clinical transplantology": 47.008547008547005, | |
| "Radiation oncology": 55.00000000000001, | |
| "Cardiology": 58.97435897435898, | |
| "Angiology": 61.66666666666667, | |
| "Gastroenterology": 55.08474576271186, | |
| "Hypertensiology": 62.18487394957983, | |
| "Conservative dentistry": 45.378151260504204, | |
| "Emergency medicine": 69.44444444444444, | |
| "Pediatric nephrology": 68.0672268907563, | |
| "Pediatric dentistry": 48.739495798319325, | |
| "Maxillofacial surgery": 37.719298245614034, | |
| "Infectious diseases": 64.16666666666667, | |
| "Conservative dentistry with endodontics": 40.33613445378151, | |
| "Internal medicine": 66.66666666666666, | |
| "Laboratory diagnostics": 79.66101694915254, | |
| "Pediatric urology": 56.63716814159292, | |
| "Public health": 76.47058823529412, | |
| "Clinical genetics": 62.71186440677966, | |
| "Nuclear medicine": 64.1025641025641, | |
| "Plastic surgery": 60.83333333333333, | |
| "Thoracic surgery": 59.166666666666664, | |
| "Intensive care": 78.33333333333333, | |
| "overall_accuracy": 58.88752681581367 | |
| } | |
| ] |