Ada paradoks yang anehnya jarang dibahas di forum pitch deck dan investor memo: biaya inferensi model bahasa besar telah turun seribu kali lipat dalam tiga tahun terakhir — dari sekitar 0,02 dolar per seribu token pada 2023 menjadi sekitar 0,00002 dolar hari ini — namun jumlah startup AI yang memiliki unit economics positif justru semakin menipis. Dalam istilah arsitektur sistem, fenomena ini mirip dengan throughput yang meningkat dramatis sementara latency per request justru melonjak karena setiap request sekarang membawa muatan komputasi yang berkali lipat lebih berat. Jevons paradox dalam wujudnya yang paling literal: efisiensi tidak mengurangi konsumsi, melainkan memperluas permukaan defisit.
Dari lokalitas terbatas, pemandangan startup AI Indonesia pada pertengahan 2026 memperlihatkan pola yang sama dengan yang terlihat di Silicon Valley, Jakarta, Bangalore, dan Berlin: ribuan entitas yang berhasil mengumpulkan modal awal (seed funding) untuk membangun lapisan antarmuka di atas API model fondasi, namun gagal menunjukkan bagaimana pendapatan per pelanggan bisa melampaui biaya inferensi per pelanggan dalam skenario multi-turn agent loop yang menjadi andalan narasi produk mereka. Sebuah laporan Gartner pada Juni 2026 memperkirakan lebih dari 40 persen proyek agen AI akan gagal mencapai skala produksi pada 2027 — dan kegagalan itu, menurut analis yang sama, tidak akan disebabkan oleh kekurangan modal atau talenta, melainkan oleh runaway inference cost yang tidak dimodelkan secara realistis sejak awal.
Overprovisioning Margin: Dari Satu Token ke Seribu Token
Pada 2023, produk AI generatif yang sukses — katakanlah, sebuah chatbot pelanggan — mengkonsumsi rata-rata 200 hingga 500 token per sesi percakapan. Di 2026, agen AI yang setara, dengan kemampuan menjalankan multi-step reasoning, memanggil alat eksternal (tool calling), dan merangkum konteks dari sesi sebelumnya, mengkonsumsi antara 5.000 hingga 50.000 token per sesi — dan ini belum termasuk chain-of-thought internal yang tidak terlihat oleh pengguna. Biaya per token turun seribu kali lipat, tetapi konsumsi token per transaksi naik seratus kali lipat. Hasil bersihnya: biaya per transaksi hanya turun sepuluh kali lipat — tidak cukup untuk mencapai unit economics yang berkelanjutan di pasar dengan daya beli konsumen Indonesia.
Dalam arsitektur sistem, ini adalah kasus overprovisioning margin: startup mengira mereka menikmati cost advantage dari penurunan harga inferensi, padahal mereka sedang mengalami scope creep komputasi yang diam-diam menggerogoti setiap kenaikan pendapatan. Setiap fitur baru — dari retrieval-augmented generation hingga memory persistence — menambah lapisan komputasi yang tidak termonetisasi secara proporsional. Agentic loop yang dijanjikan sebagai killer feature justru menjadi cost center yang tidak memiliki revenue attribution yang jelas.
Saringan Selektif: Biaya Inferensi sebagai Entry Barrier
Laporan SSRN yang diterbitkan pada awal 2026 oleh sekelompok peneliti dari Stanford dan MIT mengajukan model yang mereka sebut Inference Cost Curves and Business Model Viability. Premisnya sederhana namun menusuk: untuk setiap produk AI yang melibatkan interaksi real-time dengan pengguna, terdapat sebuah titik impas (breakeven point) di mana total biaya inferensi seumur hidup pelanggan (customer lifetime inference cost) melampaui pendapatan yang dapat diekstrak dari pelanggan tersebut. Model ini memperhitungkan bukan hanya biaya per token saat ini, melainkan proyeksi peningkatan frekuensi penggunaan dan kompleksitas agen seiring waktu.
Untuk pasar negara berkembang seperti Indonesia, di mana rata-rata pendapatan per pengguna (ARPU) aplikasi software-as-a-service kelas konsumen berkisar antara 2 hingga 5 dolar per bulan, titik impas ini tercapai dalam waktu tiga hingga enam bulan penggunaan rutin sebuah agen AI. Setelah itu, setiap interaksi tambahan adalah utang — negative margin yang ditanggung oleh venture capital sebagai subsidi tersembunyi. Para VC mungkin belum menyadarinya, namun mereka sedang menulis cek untuk menutup biaya listrik peladen inferensi pelanggan, bukan untuk membangun nilai bisnis yang berkelanjutan.
Di Antara Platform Tollbooth dan Ilusi Kedaulatan Model Sendiri
Respons klasik terhadap masalah ini — dan sudah terlihat di banyak boardroom startup Indonesia pada 2026 — adalah argumen untuk self-hosting model open-weight sebagai solusi menekan biaya inferensi. Argumennya masuk akal di permukaan: jika API pihak ketiga mengenakan markup 300 hingga 500 persen di atas biaya komputasi mentah, mengapa tidak menjalankan model sendiri di atas infrastruktur GPU yang disewa secara langsung?
Namun analisis Total Cost of Ownership menunjukkan gambaran yang lebih muram. Untuk throughput di bawah 10 juta token per hari — yang mencakup 95 persen startup AI Indonesia — biaya self-hosting justru lebih tinggi karena distribusi biaya engineering untuk pemeliharaan klaster, optimization melalui quantization dan batching, serta downtime akibat kegagalan orchestration infrastruktur, belum termasuk biaya opportunity dari tenaga teknik yang seharusnya membangun produk. Dalam istilah arsitektur sistem, ini adalah premature optimization pada skala yang salah — sebuah investasi DevOps yang tidak proporsional terhadap volume inferensi yang sebenarnya dibutuhkan.
Hasilnya adalah semacam platform tollbooth yang tidak bisa dihindari: startup harus memilih antara membayar margin ke penyedia API atau membayar margin ke penyedia infrastruktur — dan dalam kedua kasus, margin yang tersisa untuk produk itu sendiri nyaris tidak ada. Ini bukan kegagalan eksekusi; ini adalah struktur biaya yang secara fundamental tidak cocok dengan model bisnis berlangganan murah (low-subscription model) yang menjadi standar pasar Asia Tenggara.
Depresiasi Cepat Modal dan Ilusi Likuiditas Inferensi
Pola yang lebih halus — namun lebih merusak — adalah fenomena yang bisa disebut inference liquidity illusion. Startup mengumpulkan pendanaan Seri A atau Seri B dengan proyeksi margin yang dihitung berdasarkan harga inferensi hari ini. Namun pasar inferensi sedang bergerak dalam kurva penurunan harga yang curam — Gartner memproyeksikan biaya per token akan turun 50 persen lagi pada akhir 2027 — sementara biaya engineering dan infrastructure overhead tidak mengikuti kurva yang sama. Venture capital yang diinvestasikan berdasarkan asumsi biaya inferensi yang terus menurun secara otomatis mendevaluasi bisnis yang dibiayainya: setiap penurunan harga inferensi memperkecil moat kompetitif produk yang dibangun di atasnya.
Seperti yang dicatat oleh Forbes dalam liputan AI 50 mereka pada Juli 2026, startup yang bertahan bukanlah mereka yang memiliki margin tertinggi, melainkan mereka yang memiliki lock-in data — semakin banyak data pengguna proprietary yang terakumulasi di infrastruktur mereka, semakin sulit bagi pesaing untuk mereplikasi kualitas layanan meskipun biaya inferensi mereka lebih rendah. Namun lock-in data membutuhkan scale of deployment yang hanya bisa dicapai setelah ribuan atau jutaan pengguna terdaftar — sebuah siklus yang membutuhkan modal jauh lebih besar dari yang bisa ditutupi oleh seed funding atau Seri A di ekosistem startup Indonesia.
Log berakhir di sini. Setiap token yang dihasilkan adalah jejak audit dari sebuah keputusan bisnis yang belum sepenuhnya diperhitungkan, dan ribuan startup terus menulis token — dan membayar tagihan — tanpa mengetahui kapan, atau apakah, biaya per unit akan pernah bertemu dengan harga yang bersedia dibayar pasar. Server tetap menyala, API tetap merespons, dan neraca tetap menunggu verifikasi dari realitas ekonomi yang tidak pernah muncul di perhitungan pro forma pertama.