- Berjalan
- Riset
- AI/ML
- Solo
- 2025 - sekarang
Distilasi multi-teacher untuk rontgen dada
Tesis S2: tiga teacher berbeda arsitektur dilatih pada 112.120 citra rontgen dada, didistilasi ke satu student ringan.
Cara kerjanya
- 01NIH ChestX-ray14: 112.120 citra, 14 label
- 02Teacher: DenseNet-121, ResNet-50, RAD-DINO ViT
- 03Pembobotan teacher berbasis ketidakpastian
- 04Student: EfficientNet-B0
mAUC teacher terbaikRAD-DINO ViT pada 112.120 citra rontgen NIH; CheXNet melaporkan 0,841.
mAUC teacher terbaik
RAD-DINO ViT pada 112.120 citra rontgen NIH; CheXNet melaporkan 0,841.
mAUC ResNet-50 setelah tuningNaik dari 0,699 dengan pencarian hyperparameter.
mAUC ResNet-50 setelah tuning
Naik dari 0,699 dengan pencarian hyperparameter.
Tiga teacher, satu student
Pilih teacher untuk melihat mAUC-nya pada test set NIH penuh.
Student (oranye) masih dilatih; belum ada hasil student yang diklaim.
Masalahnya
Label rontgen dada bersifat long-tail: sebagian temuan punya puluhan ribu contoh, yang lain hanya ratusan. Satu model besar sulit dipasang, dan model kecil melupakan kelas langka.
Bagian saya
Melatih dan menyetel ketiga teacher serta pipeline distilasi sendiri, sebagai tesis saya.
Yang tidak berhasil
- ResNet-50 awalnya 0,699 mAUC; pencarian hyperparameter menaikkannya ke 0,804.
Batasan
- Distilasi ke student masih berjalan; belum ada hasil student yang diklaim.
