veilletech.frCe qui se passe
Magnus Lynch, dermatologue consultant au Guy's Hospital (Londres), a comparé GPT-6 Astra et Claude Fable 5.1 à Inception v3, un réseau convolutif publié par Google en 2015, sur le diagnostic de lésions de peau. Le réseau, réentraîné pour l'occasion, l'emporte : 125 bons diagnostics sur 200 (62 %) contre 84 (42 %) et 85 (42 %) pour les deux modèles de langage.
C'est un billet de blog, pas une étude relue par des pairs.
Le protocole
- 200 lésions tirées au hasard de MILK10k (ISIC, 2025), toutes confirmées par biopsie, avec une photo clinique et une image de dermoscopie chacune : 100 à ne pas renvoyer chez soi (30 mélanomes, 25 carcinomes basocellulaires, 25 spinocellulaires, 20 kératoses actiniques) et 100 sans danger (50 naevus, 50 kératoses séborrhéiques). Six diagnostics possibles.
- Les LLM reçoivent les deux images, sans rien d'autre, un même prompt, les réglages par défaut, une seule passe.
- Le réseau : Inception v3 préentraîné, puis réentraîné sur toutes ses couches avec 68 011 images de l'archive ISIC, sur un seul H100, en environ vingt minutes. Les 200 cas et toute autre photo des mêmes lésions ou patients ont été retirés avant l'entraînement.
Les résultats
| Sur 200 lésions | GPT-6 Astra | Fable 5.1 | Inception v3 |
|---|---|---|---|
| Bon diagnostic | 84 | 85 | 125 |
| Premier ou second choix | 134 | 138 | 173 |
| Mélanomes en premier choix (sur 30) | 8 | 11 | 13 |
| Lésions à garder (sur 100) | 97 | 96 | 77 au seuil préréglé |
| Lésions sans danger renvoyées (sur 100) | 32 | 22 | 76 au seuil préréglé |
| Mélanomes renvoyés à tort (sur 30) | 3 | 4 | 18 au seuil préréglé |
Le dernier chiffre est le piège du titre : au seuil préréglé, le réseau renvoie 18 mélanomes sur 30, bien plus que les LLM. Avec un seuil aligné sur les LLM, il n'en renvoie plus que 2 ou 1. Les LLM échouent autrement : chacun a une réponse favorite (GPT-6 Astra a vu 75 carcinomes basocellulaires là où il y en avait 25).
Limites
- Peu de cas : 200, dont 30 mélanomes ; une seule passe par LLM, alors que les réponses varient d'une exécution à l'autre.
- Cas difficiles, tous biopsiés : sur des images ordinaires de l'archive, l'AUC du réseau est de 0,96 contre 0,86 ici.
- MILK10k est public depuis 2025 : les LLM ont pu le voir à l'entraînement, le réseau non.
- Inception v3 n'est pas l'état de l'art ; les produits réglementés, bâtis sur des ensembles de transformeurs de vision, font nettement mieux.
- L'auteur précise que l'analyse et les premiers jets ont été produits avec Claude Code, et que l'un des deux LLM testés est aussi d'Anthropic.
Ce que ça change
Pour un développeur, la leçon porte sur la méthode, pas sur la médecine : sur une tâche d'image étroite et bien étiquetée, un petit modèle réentraîné en vingt minutes peut battre un modèle généraliste, et un score global cache des erreurs de nature différente (ici, la sécurité du tri).
Comment s'y prendre
Les cas, les prompts, chaque réponse des LLM et le code de notation sont dans une archive téléchargeable depuis le billet. Le réseau tourne dans le navigateur d'un téléphone, via WebGPU, sur lynchlab.net/skin-ai-inception. Avant de brancher un modèle généraliste sur vos propres images, rejouez le même protocole : jeu de test retiré de l'entraînement, comparaison à seuils alignés.
Source : lynchlab.net, 25 octobre 2026. Source en anglais.