Benchmark AI yang Dipakai Sekarang Ternyata Tidak Akurat, Lho!
Penelitian terbaru dari Google Research dan Rochester Institute of Technology menemukan bahwa metode benchmark AI yang umum digunakan saat ini tidak cukup akurat. Hal ini disebabkan karena metode tersebut mengabaikan perbedaan pendapat manusia.
Technical Detail
Penelitian ini menggunakan simulator yang dapat mereplikasi pola penilaian manusia menggunakan data riil. Hasil penelitian menunjukkan bahwa metode yang umum digunakan saat ini, yaitu menggunakan tiga sampai lima penilai per contoh, tidak cukup untuk menghasilkan hasil yang akurat.
Key Features
- Penelitian menemukan bahwa setidaknya sepuluh penilai per contoh diperlukan untuk menghasilkan hasil yang akurat.
- 1000 anotasi dapat menghasilkan hasil yang akurat, tetapi hanya jika anggaran dibagi dengan benar antara contoh dan penilai.
- Penelitian juga menemukan bahwa strategi yang tepat untuk mengukur sesuatu tergantung pada apa yang diukur. Jika ingin mengukur akurasi, maka metode yang lebih luas dengan beberapa penilai per contoh lebih efektif. Namun, jika ingin mengukur keseluruhan respons manusia, maka metode yang lebih dalam dengan lebih banyak penilai per contoh lebih efektif.
Geek Opinion
Hasil penelitian ini menunjukkan bahwa metode benchmark AI yang umum digunakan saat ini perlu direvisi. Dengan menggunakan metode yang lebih akurat, kita dapat mengembangkan AI yang lebih baik dan lebih efektif.
