피부암 진단, 10년 된 CNN 62% vs 최신 LLM 42% — 범용 AI는 아직 전문 모델을 못 이긴다
피부과 전문의가 조직검사로 확정된 병변 200개로 GPT-6 Astra, Claude Fable 5.1과 2015년 CNN(Inception v3)을 비교했다. 정답률은 CNN이 62%로 두 LLM의 42%를 앞섰다. 다만 LLM은 거의 모든 위험 병변을 놓치지 않을 만큼 지나치게 조심스러웠다.
피부과 전문의가 최신 LLM 두 개와 10년 된 CNN에게 피부암 사진을 보여 주고 비교한 글을 읽었다. 결과가 의외라서, CNN과 LLM이 무엇이 다른지와 이 실험이 어떤 의미가 있는지 물어봤다.
CNN 과 LLM의 차이와 이번 기사의 의의?
피부과 전문의 매그너스 린치(Magnus Lynch)가 피부암 진단에서 최신 범용 AI(LLM)와 10년 된 이미지 분류 모델(CNN)을 비교해 본 글이에요.
- 실험: 조직검사로 진단이 확정된 병변 200개를 GPT-6 Astra, Claude Fable 5.1, Inception v3(2015년 CNN)에 보여 주고 6개 진단 중 하나를 고르게 했어요.
- 결과: 첫 번째 답이 맞은 비율은 CNN이 62%(125개), 두 LLM은 각각 42%(84·85개)였어요. 이 CNN은 피부 이미지 6만 8천 장으로 GPU 한 대에서 약 20분 추가 학습했을 뿐이에요.
- 실패 방식: LLM마다 자주 찍는 답이 따로 있었어요. GPT-6 Astra는 75개를 기저세포암이라고 했는데 실제로는 25개였고, 흑색종 30개 중 14개도 기저세포암으로 봤어요. Claude Fable 5.1은 53개를 광선각화증이라고 했는데 실제로는 20개였어요.
CNN과 LLM의 차이
| CNN (이 실험) | LLM | |
|---|---|---|
| 목적 | 피부 병변 분류 하나만 함 | 무엇이든 하는 범용 모델 |
| 학습 | 정답이 달린 피부 이미지로 직접 학습 | 웹 전체 텍스트·이미지로 학습, 피부과용 학습은 따로 없음 |
| 출력 | 진단별 확률 | 문장으로 된 답과 스스로 말한 확신도 |
| 크기 | 폰 브라우저에서도 돌아감 | 대형 데이터센터에서 돌아감 |
비유하면 CNN은 점만 수만 장 본 판독 전문가이고, LLM은 의학책도 읽은 박식한 일반인이에요. 실제로 GPT-6 Astra는 흑색종을 기저세포암이라고 하면서 95% 확신한다고 답하기도 했어요.
의의: 좁은 시각 판별 작업에서는 오래되고 작은 전문 모델이 최신 범용 모델을 아직 크게 앞선다는 거예요. 환자가 사진을 챗봇에 올려 진단받는 흐름이 늘어나는 상황이라 실무적으로도 중요한 결과예요.
함께 봐야 할 점
- LLM이 지나치게 조심스러운 거지 위험한 건 아니에요. 두 LLM은 치료가 필요한 병변 100개 중 96
97개를 "계속 봐야 한다"고 분류했어요. 대신 안전한 병변도 2232개만 돌려보냈어요. 환자처럼 "병원에 가야 하나요?"라고 물었을 때도 거의 다 병원에 가라고 답했어요. - CNN도 기준값에 따라 위험해요. 기본 기준값에서는 흑색종 30개 중 18개를 돌려보냈어요. 기준값을 LLM과 맞추면 1~2개로 줄어요.
- 표본이 작고 한계가 있어요. 사례가 200개뿐이고, LLM은 사례마다 한 번씩만 돌렸어요. 동료 평가를 거치지 않은 개인 블로그 실험이에요. 저자도 Inception v3는 최신 모델이 아니고, 허가받은 상용 제품은 훨씬 더 잘한다고 밝혔어요.
참고로 저도 Claude 계열 모델이라 비교 대상인 Claude Fable 5.1과 같은 회사 모델이에요. 위 수치는 모두 원문 그대로 옮겼어요.
출처: 원문 · MILK10k 데이터셋 · ISIC Archive
정리
- 조직검사로 확정된 병변 200개에서 첫 답 정답률은 CNN 62%, GPT-6 Astra·Claude Fable 5.1 42%였다.
- CNN은 정답이 달린 피부 이미지 6만 8천 장으로 학습한 분류 전용 모델이고, LLM은 피부과용 학습 없이 문장으로 답하는 범용 모델이다. LLM마다 자주 찍는 진단이 따로 있었다.
- LLM은 위험한 병변 100개 중 96
97개를 놓치지 않을 만큼 지나치게 조심스러웠다. CNN은 기본 기준값에서는 흑색종 18개를 돌려보냈고, 기준값을 맞추면 12개로 줄었다. - 좁은 시각 판별 작업에서는 작고 오래된 전문 모델이 최신 범용 모델을 아직 크게 앞선다.
- 사례가 200개뿐이고 LLM은 한 번씩만 돌렸으며, 동료 평가를 거치지 않은 실험이다. 상용 제품은 이 CNN보다 더 잘한다.
이 대화, 이어서 해 보기
글 주소와 함께 질문이 채워진 채로 열립니다.