Between November 2022 dan Oktober 2024, menurut Stanford AI Index 2025, biaya inferensi untuk performa setara GPT-3.5 turun lebih dari 280 kali lipat — dari $20 per juta token menjadi angka yang secara historis nyaris tidak masuk akal. Namun pada pertengahan 2026, Deloitte melaporkan bahwa inferensi menyedot 85% dari total anggaran AI korporasi, naik dari sekitar 50% pada tahun 2024. Harga per unit turun secara dramatis. Tagihan total justru membengkak. Ada ironi struktural di sini yang terlalu rapi untuk dilewatkan begitu saja.
Arsitektur Jevons untuk Inferensi
Dalam istilah infrastruktur, fenomena ini memiliki nama klasik: Jevons paradox. Ketika efisiensi konsumsi batubara meningkat pada abad ke-19, konsumsi total batubara justru naik — karena mesin yang lebih efisien membuka aplikasi baru yang sebelumnya tidak ekonomis. Hal yang persis sama terjadi pada inference cost. Setiap penurunan harga per token membuka use case baru — chatbot menjadi agent, single prompt menjadi reasoning loop, batch processing harian menjadi real-time monitoring nonstop.
Surface area konsumsi meluas lebih cepat daripada kurva harga menurun. Ini bukan kegagalan pasar — ini emergent behavior dari sistem yang dioptimasi pada satu dimensi saja. Cost per token turun, tetapi total cost of ownership naik, karena variabel yang tidak terukur — frekuensi panggilan, kedalaman loop, dan jumlah agen per workflow — tumbuh secara super-linear.
Agentic Loop sebagai Vektor Biaya
Perubahan fundamental dari 2024 ke 2026 bukan terletak pada model yang lebih pintar, melainkan pada arsitektur konsumsi. Single-turn query — pengguna bertanya, model menjawab — bukan lagi pola dominan. Pola dominan adalah agentic loop: agen otonom yang secara internal memanggil LLM berulang kali untuk reasoning, tool use, dan self-correction.
Menurut laporan Analytics Week, rata-rata agen otonom menjalankan 10 hingga 20 panggilan LLM per tugas. Setiap panggilan adalah unit biaya. Jika interaksi manusia-manusia dulu menghasilkan satu inference, sekarang interaksi manusia-agen menghasilkan fork bomb dari panggilan yang berlipat saat terjadi error recovery atau re-planning. Dalam arsitektur sistem, ini adalah loop tanpa mekanisme backpressure yang memadai — biaya tidak lagi linear terhadap jumlah pengguna, melainkan super-linear terhadap jumlah tugas dikalikan kedalaman reasoning rata-rata.
Inference cost crisis — demikian Oplexa menyebutnya dalam laporan Juli 2026 — adalah produk dari tiga variabel simultan: penurunan harga per token yang mendorong adopsi, peningkatan kompleksitas per tugas akibat agentic loop, dan overprovisioning komputasi di sisi penyedia yang harus menjaga latency tetap rendah untuk tetap kompetitif. Tidak ada satu variabel pun yang bisa dioptimasi secara independen — menurunkan harga per token tanpa mengontrol loop depth hanya memindahkan kemacetan dari biaya ke volume.
Overprovisioning $725 Miliar
Empat hyperscaler terbesar — Amazon, Microsoft, Google, dan Meta — mengalokasikan sekitar 410 miliar pada 2025. Menurut ValueAdd VC, Amazon memimpin dengan ~190 miliar, Google 115–135 miliar. Namun 60% dari angka itu, menurut Futurum Group, tidak masuk ke compute hardware — melainkan ke infrastruktur daya dan pendingin. Signal-to-noise ratio dari setiap dolar capex semakin rendah.
Satu campus AI besar kini menelan $5–10 miliar dan menarik daya 500 MW hingga 1+ GW — setara konsumsi sebuah kota kecil. Constraint telah bergeser dari ketersediaan GPU menjadi ketersediaan daya dan grid interconnect yang membutuhkan waktu bertahun-tahun untuk dibangun. Ironisnya, sebagian besar infrastruktur ini dibangun untuk melayani inference — yang marginnya lebih tipis daripada training — karena pola permintaan sudah bergeser secara fundamental.
Ekonomi Unit dari Lokalitas Terbatas
Di lokalitas terbatas — Indonesia, tempat startup beroperasi dengan cost structure yang berbeda secara fundamental dari San Francisco atau Seattle — paradoks ini memiliki bobot lebih berat. Biaya inferensi dalam dolar AS tidak berubah, tetapi purchasing power parity dari setiap dolar yang dikeluarkan berbeda drastis. Ketika Stanford HAI melaporkan bahwa investasi AI korporasi global lebih dari dua kali lipat pada 2025 — dengan pertumbuhan private investment tertinggi di 127,5% — sebagian besar modal itu tidak menyentuh emerging markets.
Startup di Indonesia harus membayar cost per token yang sama dengan hyperscaler global, tetapi dengan revenue per user yang secara struktural lebih rendah. Unit economics-nya patah di tengah — bukan karena teknologinya tidak berfungsi, tetapi karena rantai pasok komputasi tidak pernah dirancang untuk distribusi ekonomi yang asimetris. Dua pertiga dari capex $725 miliar itu dialokasikan untuk inference, tetapi infrastruktur fisiknya terkonsentrasi di region yang tidak bisa dijangkau dengan latency rendah dari Indonesia tanpa middleware tambahan — yang berarti biaya laten lain yang tidak tampak di unit price.
Log ditutup. Token cost turun, total cost of inference naik — sebuah arsitektur biaya yang mengingatkan bahwa dalam sistem kompleks, setiap optimasi lokal menciptakan knobs baru yang perlu diputar, bukan satu lever yang bisa ditarik dan selesai.