Parmi les modèles d’IA, MedImageParse traite les radios, les IRM, les Taco (tomographies axiales calculées par ordinateur), les ultrasons, les images dermatologiques et les lames d’anatomo-pathologie comme des modalités différentes, à l’instar de GPT-4o avec le texte, l’image et le don. CXRReportGen se spécialise dans les radiographies du poumon. Il peut en analyser l’évolution et les intégrer avec d’autres informations du dossier du patient. MedImageInsight, enfin, permet le classement et la recherche dans les images médicales, en optimisant les flux de travail en radiologie, en pathologie, en ophtalmologie, en dermatologie...
Ces modèles peuvent être utilisés en conjonction avec les modèles d’OpenAI, notamment GPT-4o, et de Microsoft, de la série Phi. Cela permet de les interroger par une conversation naturelle.
À SURVEILLER : Les LLM dans la santé. En mai dernier, des chercheurs de Microsoft et du groupe hospitalier catholique Providence ont présenté dans la revue Nature Prov-GigaPath un modèle de fondation pour la pathologie numérique, basé sur des lames entières. Il atteint une performance humaine dans 25 des 26 tâches de pathologie sur lesquelles il a été testé.