- Live
- AI/ML
- Web
- Solo
- Jul 2026 - sekarang
SemarLanguage: Pre-Test IELTS dinilai AI
Platform Pre-Test bahasa berbayar: Claude menilai Writing dan Whisper mentranskripsi Speaking, dicek terhadap hasil IELTS asli.
Cara kerjanya
- 01Listening/Reading: penilaian adaptif berbasis aturan, tanpa biaya AI
- 02Writing: Claude menilai 4 kriteria IELTS dengan esai jangkar
- 03Speaking: transkrip Whisper, kelancaran dibatasi kode dari laju bicara dan jeda
- 04Kalibrasi dan uji yang menggagalkan build menjaga setiap rilis
Bias penilai Writing
Rata-rata selisih pada 46 esai acuan berskor band; 82% dalam setengah band (band 4-5,5).
Kunci jawaban di satu posisi
Turun dari 58,8% setelah menelusuri enam akar masalah nilai yang terlalu tinggi.
Uji unit di CI
Ditambah 489 uji mesin penilaian dan 47 berkas e2e Playwright.
Median TTFB
Turun dari 1-1,7 detik dengan menyejajarkan region fungsi dengan database.
Kalibrasi penilai Writing
Token esai mengalir ke penilai; jarum berhenti di bias yang diukur terhadap esai berskor band.
Masalahnya
Peserta butuh perkiraan band IELTS yang realistis sebelum membayar ujian asli. Penilaian manusia untuk setiap Pre-Test terlalu lambat dan mahal, dan model yang menaikkan nilai lebih buruk daripada tidak ada.
Bagian saya
Engineer tunggal dari konsep sampai layanan berbayar: produk, mesin penilaian, pembayaran, LMS, CI, dan setiap rilis. Pengembang luar bergabung Okt 2026; saya meninjau dan menggabungkan seluruh 60 pull request.
Yang tidak berhasil
- Nilai awal terlalu tinggi dibanding sertifikat IELTS asli. Saya menelusuri enam akar masalah (lima diperbaiki): kunci jawaban menumpuk di satu posisi (58,8% → 29,4%) dan batas atas band Listening/Reading 8,0, seharusnya 6,5.
Batasan
- Kalibrasi mencakup 46 esai acuan, sebagian besar band 4-5,5; band tinggi punya lebih sedikit acuan.
- AI Tutor mencapai 29/30 pada set uji tetap tetapi tetap dimatikan sampai disetujui tutor manusia.
- Hasilnya perkiraan kesiapan, bukan skor IELTS resmi.