Mengenal Bottleneck Supervisor
Pada awal pengembangan aplikasi LLM, satu agen dengan beberapa tool sudah cukup. Namun, ketika kita membangun sistem otonom yang kompleks, pola "single brain" ini menghadapi batasan. Industri merespons dengan pola Supervisor, di mana satu agen pusat mengatur tugas dan mengirimkannya ke agen spesialis. Namun, pola ini menciptakan bottleneck pada skala produksi.
Mengapa Pola Supervisor Gagal
Pola supervisor memiliki beberapa kelemahan, seperti:
- Context Window Bloat: agen pusat harus mempertahankan state seluruh percakapan, menyebabkan biaya meningkat.
- Decision Fatigue: logika pengambilan keputusan agen pusat menjadi kurang handal ketika jumlah tool dan agen bertambah.
- Latency Stacking: setiap interaksi memerlukan perjalanan pulang-pergi ke agen pusat.
Solusi: Pola Handoff dan Routing
Untuk mengatasi bottleneck ini, kita perlu beralih dari supervisi terpusat ke handoff desentralisasi. Dalam pola ini, setiap agen bertanggung jawab atas domainnya sendiri dan tahu kapan harus mengirim tugas ke agen lain.
Implementasi dengan Python dan LangGraph
Contoh implementasi pola handoff dengan Python dan LangGraph dapat dilihat pada kode berikut:
from typing import Annotated, TypedDict, Union
from langgraph.graph import StateGraph, END
from langchain_core.messages import BaseMessage, HumanMessage
class AgentState(TypedDict):
messages: Annotated[list[BaseMessage], "The conversation history"]
current_target: str
findings: list[dict]
Kesimpulan
Pola handoff dan routing menawarkan solusi untuk mengatasi bottleneck supervisor pada sistem multi-agen. Dengan mengadopsi pola ini, kita dapat mengurangi latency, meningkatkan kehandalan, dan membuat sistem lebih mudah di-debug.
Key Takeaways:
- Hindari menggunakan satu LLM untuk mengatur 10+ tool.
- Gunakan LangGraph atau perpustakaan state-machine lain untuk mendefinisikan handoff eksplisit.
- Implementasikan global step_count untuk mencegah loop tak terhingga.
