Introduksi
Penelitian terbaru dari tim Jerman menemukan bahwa dengan memberikan waktu berpikir dan memori tambahan, AI dapat meningkatkan kemampuan pemecahan masalah matematika dan pengetahuan sehari-hari.
Detail Teknis
Tim peneliti menggunakan arsitektur transformer dengan 12 lapisan dan sekitar 200 juta parameter, yang dilatih pada 14 miliar token dari dataset FineWebEdu. Mereka juga menambahkan memori bank yang terdiri dari 1.024 slot lokal per lapisan dan 512 slot global yang dibagi.
Fitur Utama
- Adaptive Looping: setiap lapisan transformer dapat memutuskan berapa kali untuk mengulangi blok komputasinya
- Memori Bank: menyediakan kapasitas tambahan untuk menyimpan pengetahuan sehari-hari
- Kinerja: model dengan 12 lapisan dan tiga kali pengulangan outperforms model konvensional dengan 36 lapisan pada tugas matematika
Pendapat Geek
Dengan kemampuan waktu berpikir dan memori tambahan, AI dapat meningkatkan kemampuan pemecahan masalah dan pengetahuan sehari-hari. Ini merupakan langkah maju dalam pengembangan AI yang lebih pintar dan lebih dapat diandalkan.
