Debat AI coding tool sering berhenti di pertanyaan yang terlalu sempit: model mana yang paling pintar?

Menurut gua, pertanyaan yang lebih penting buat developer sekarang adalah: tool itu benar-benar menyelesaikan task dengan biaya, konteks, dan risiko yang masuk akal nggak? Karena model yang kuat tetap bisa boros kalau harness-nya salah baca file, salah memilih tool, atau muter-muter di langkah yang tidak perlu.

Artikel ini membahas GitHub Copilot agentic harness sebagai sinyal perubahan cara kita menilai AI coding tool. Intinya: AI coding bukan cuma model, tapi sistem kerja lengkap yang mengatur konteks, tool, workflow, evaluasi, dan cost per task. Kalau lu pakai Claude Code, Codex CLI, Copilot, Cursor, atau agent lokal, konsep ini bisa jadi checklist praktis sebelum lu percaya output-nya.

Apa itu agentic harness di AI coding?

Agentic harness adalah lapisan sistem yang mengatur cara AI agent bekerja untuk menyelesaikan task. Di dunia coding, harness biasanya mengatur hal-hal seperti file mana yang dibaca, command apa yang boleh dijalankan, tool apa yang dipakai, kapan agent harus berhenti, model mana yang dipilih, dan bagaimana hasil akhirnya diverifikasi.

Analogi gampangnya: model itu mesin. Harness itu transmisi, dashboard, rem, peta, sensor, dan SOP operatornya. Mesin yang kuat tetap bisa boros kalau cara pakainya kacau.

GitHub menulis bahwa Copilot agentic harness dipakai sebagai komponen bersama di GitHub Copilot SDK untuk beberapa pengalaman agentic, termasuk Copilot CLI, Copilot app, dan Copilot code review. Jadi ini bukan sekadar fitur UI baru. Ini arah produk: AI coding tool mulai diperlakukan seperti sistem operasional, bukan chatbot yang ditempel di editor.

Kenapa model pintar belum cukup?

Banyak developer masih membandingkan AI coding tool dari jawaban pertama: “Claude lebih bagus”, “GPT lebih rapi”, “model ini lebih cepat”, atau “model itu lebih murah”. Perbandingan itu tidak salah, tapi sering kurang lengkap.

Di task nyata, AI agent tidak cuma menjawab pertanyaan. Dia harus memahami repo, mencari file relevan, menjalankan test, membaca error, memilih strategi, mengedit kode, lalu memastikan perubahan tidak merusak hal lain. Kalau harness gagal di salah satu langkah itu, model mahal pun bisa menghasilkan useful work yang rendah.

Gua sering melihat pola ini saat kerja bareng agent: output terlihat pintar, tapi ternyata agent membaca file yang salah, tidak menjalankan test yang tepat, atau memperbesar diff karena konteks yang dikasih terlalu longgar. Masalahnya bukan selalu “model bodoh”. Kadang sistem kerjanya yang belum punya guardrail.

GitHub mulai mengukur task success, token, dan cost per task

Yang menarik dari evaluasi GitHub bukan cuma daftar benchmark-nya. GitHub membahas performa harness lintas model dan task dengan metrik seperti completion rate, token efficiency, cost per task, dan run-to-run variance. Ini sinyal penting: AI coding mulai dinilai dari outcome operasional, bukan cuma skor model mentah.

Dalam konteks developer, cost per task berarti biaya total sampai pekerjaan benar-benar selesai. Bukan cuma harga per token. Kalau agent murah tapi gagal lima kali, lu tetap rugi waktu. Kalau agent mahal tapi langsung tepat, bisa jadi total cost-nya lebih rendah.

GitHub Changelog juga menyebut Copilot code review mengganti custom file exploration tools dengan tool dari Copilot CLI/SDK seperti grep, rg, glob, dan view. GitHub mengklaim perubahan ini menurunkan biaya review sekitar 20% tanpa menurunkan standar kualitas review. Klaim vendor tetap perlu dibaca kritis, tapi arah berpikirnya masuk akal: tool yang lebih sederhana dan tepat bisa mengurangi token serta langkah yang tidak perlu.

Benchmark agentic itu berguna, tapi jangan ditelan mentah-mentah

GitHub menyebut benchmark seperti SWE-bench Verified, SWE-bench Pro, SkillsBench, TerminalBench, dan Win-Hill. Benchmark semacam ini berguna karena memaksa agent menyelesaikan task lebih dekat ke pekerjaan software engineering, bukan cuma menjawab trivia coding.

Tapi benchmark agentic juga punya batas. Repo benchmark tidak selalu sama dengan repo lu. Tooling lokal lu bisa beda. Test suite lu mungkin lambat, flaky, atau tidak lengkap. Dan yang paling penting: run-to-run variance bisa besar. Agent yang berhasil sekali belum tentu konsisten berhasil di percobaan berikutnya.

Jadi, menurut gua, benchmark sebaiknya dipakai sebagai sinyal arah industri, bukan alasan buat langsung mengganti workflow tim. Yang perlu lu bangun tetap evaluasi kecil di repo sendiri.

Cara menilai AI coding tool dengan lebih waras

Kalau lu sedang memilih atau mengevaluasi AI coding tool, jangan cuma tanya “modelnya apa?”. Pakai checklist ini:

  • Task success: berapa sering agent menyelesaikan task tanpa rewrite besar dari lu?
  • Cost per task: berapa biaya token, waktu tunggu, dan waktu review sampai task benar-benar selesai?
  • Context quality: apakah agent membaca file yang relevan, atau cuma memasukkan context sebanyak mungkin?
  • Tool use: apakah agent bisa mencari file, menjalankan test, membaca log, dan membatasi perubahan dengan rapi?
  • Diff size: apakah perubahan kecil tetap kecil, atau agent sering membuat refactor yang tidak diminta?
  • Reproducibility: kalau task yang sama dijalankan ulang, hasilnya masih masuk akal?
  • Reviewability: apakah output mudah lu review, atau terlalu besar dan terlalu kabur buat dipercaya?

Checklist ini terlihat sederhana, tapi bisa mengubah cara lu pakai AI. Fokusnya pindah dari “AI mana yang paling wow?” menjadi “AI mana yang membantu pekerjaan selesai dengan aman?”.

Implikasinya buat developer Indonesia

Buat developer Indonesia, ini penting karena banyak dari kita bekerja dengan budget, waktu, dan resource yang tidak selalu longgar. AI coding tool bisa jadi multiplier besar, tapi juga bisa jadi lubang biaya kalau dipakai tanpa ukuran.

Kalau lu freelancer, cost per task berarti margin kerja. Kalau lu maintainer side project, cost per task berarti waktu malam lu. Kalau lu tech lead, cost per task berarti kombinasi invoice AI, waktu review tim, dan risiko bug production.

Di titik ini, personal workflow jadi pembeda. Repo yang punya README rapi, instruksi agent, test yang jelas, dan runbook kecil biasanya lebih mudah dibantu AI. Sebaliknya, repo tanpa konteks akan membuat agent menebak-nebak. Model boleh makin pintar, tapi repo yang gelap tetap mahal.

Takeaway praktis

  • Jangan nilai AI coding tool dari model saja. Nilai dari task selesai, biaya, dan kualitas diff.
  • Harness menentukan cara model memakai context, tool, dan workflow.
  • Token murah tidak otomatis hemat kalau useful work rendah.
  • Benchmark agentic berguna, tapi repo lu tetap butuh evaluasi sendiri.
  • Dokumentasi repo, test, dan guardrail kecil bisa membuat agent jauh lebih efektif.

FAQ singkat

Apakah ini berarti GitHub Copilot pasti lebih bagus dari tool lain?

Tidak. GitHub adalah sumber primer untuk evaluasi produknya sendiri, jadi tetap perlu dibaca kritis. Nilai utamanya ada di cara berpikir: ukur harness, task success, dan cost per task, bukan cuma model.

Apakah developer solo perlu mikirin agentic harness?

Perlu, tapi versinya bisa sederhana. Mulai dari instruksi repo, test command yang jelas, batasan file yang boleh diubah, dan kebiasaan review diff sebelum merge.

Kalau model makin pintar, apakah harness masih penting?

Makin penting. Model pintar diberi akses tool yang buruk tetap bisa membuat keputusan mahal. Harness membantu memastikan kemampuan model diarahkan ke pekerjaan yang benar.

Penutup

AI coding tool yang bagus bukan cuma soal model paling pintar. Yang lebih penting adalah sistem kerja di sekelilingnya: context, tool, policy, evaluator, dan guardrail.

Kalau lu pakai AI agent buat kerja nyata, mulai ukur dari outcome: task selesai nggak, biayanya waras nggak, dan diff-nya bisa dipercaya nggak. Dari situ, lu nggak gampang kebawa hype model baru, tapi tetap bisa mengambil manfaat AI secara praktis.

Referensi / Bacaan Lanjut

Tags:
#AI Coding#Developer Tools#Software Engineering#rafli.dev