GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Peluncuran fitur Computer Use menjadi perkembangan penting dalam otomatisasi pekerjaan berbasis AI. Pada fungsi utamanya, GitHub Copilot banyak dimanfaatkan untuk membantu penulisan kode. Berkat perluasan fungsi tersebut, Copilot mampu menjalankan tindakan pada aplikasi desktop menggunakan perintah berbentuk percakapan. Teknologi tersebut membantu AI membaca informasi aplikasi, kemudian mengisi kolom sesuai tujuan pekerjaan. Melalui sistem ini, tugas yang melibatkan banyak langkah dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Kemampuan otomatisasi desktop ini diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk perangkat desktop yang menggunakan Windows atau macOS. Pada tahap awal, fitur tersebut tersedia sebagai pratinjau publik. Kondisi ini menunjukkan bahwa, fitur yang tersedia berpotensi mengalami penyempurnaan berdasarkan evaluasi teknis. Keunggulan yang menonjol adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot dapat menggunakan interaksi visual seperti klik dan pengetikan untuk mendukung pekerjaan. Meski menawarkan kemudahan, pengguna masih perlu memberikan izin akses yang sesuai.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Ketika ingin mencoba Computer Use, pengguna perlu memastikan bahwa aplikasi GitHub Copilot telah tersedia. Sesudah masuk ke aplikasi, akses halaman Settings, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, aktifkan pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Secara bawaan, fitur ini berada dalam keadaan nonaktif. Pendekatan tersebut menghadirkan kesempatan menentukan izin kepada pengguna sebelum AI berinteraksi dengan aplikasi. Berkat aktivasi manual, pengguna bisa mengatur kapan akses Computer Use diaktifkan.
Bagi pengguna macOS, izin sistem tertentu menjadi bagian dari aktivasi agar Computer Use mampu berinteraksi dengan program yang terpasang. Persyaratan akses ini mencakup Accessibility dan Screen Recording. Izin Accessibility memungkinkan menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording mendukung pembacaan tampilan. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti langkah izin dari macOS. Di sisi lain, proses pengaktifan dapat dijalankan dari menu Computer Use tanpa langkah pemberian izin Screen Recording khas macOS. Meski Windows memiliki mekanisme tersendiri, kendali atas perangkat lunak tetap memerlukan otorisasi sesuai konfigurasi.
Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI
Selain melalui aplikasi grafis, Computer Use juga dapat dijalankan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan antarmuka perintah, cara ini menawarkan pengoperasian yang praktis. Sesudah mengakses sesi Copilot CLI yang memiliki kemampuan Computer Use, pengguna perlu menjalankan perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, jalankan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` dapat digunakan untuk menghentikan ketersediaan Computer Use. Dengan pilihan tersebut, pengguna memiliki kendali kapan otomatisasi aktif sesuai kondisi sesi.
Ketika fitur sudah tersedia, pengguna bisa menuliskan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna bisa menginstruksikan Copilot untuk mengakses perangkat lunak desktop, kemudian merangkum data di jendela aplikasi. Apabila tugas melibatkan perubahan, Copilot mampu menjalankan perubahan isi kolom setelah akses aplikasi disetujui. Untuk memperoleh hasil terbaik, tentukan batasan pekerjaan secara spesifik. Sebagai ilustrasi, pengguna memiliki kesempatan menuliskan permintaan untuk memindahkan informasi antaraplikasi dengan batasan yang jelas. Cara penggunaan tersebut dapat membatasi interaksi yang tidak diperlukan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Contoh penggunaan yang relevan adalah otomatisasi pekerjaan administratif yang melibatkan beberapa aplikasi. Dalam pekerjaan kantor, pengguna terkadang perlu membuka berbagai jendela. Melalui Computer Use, sebagian pekerjaan berulang berpotensi diotomatisasi. Sebagai contoh, Copilot bisa diminta membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem berpotensi menjalankan pembaruan kolom tertentu. Dengan demikian, pekerjaan yang biasanya membutuhkan banyak klik dapat membutuhkan lebih sedikit interaksi pengguna.
Kemampuan tersebut memiliki nilai tambah bagi perusahaan dengan sistem internal khusus. Tidak semua aplikasi menyediakan API modern. Kondisi tersebut sering membuat pengembangan skrip lebih kompleks. Berkat interaksi berbasis antarmuka, Copilot dapat mencoba menjalankan pekerjaan menggunakan elemen grafis. Dalam penerapan tertentu, pengguna bisa mengarahkan untuk memperbarui informasi pada aplikasi desktop. Walaupun menawarkan fleksibilitas, ketepatan tindakan dapat dipengaruhi oleh desain antarmuka yang sedang dibuka.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, perlindungan informasi pengguna merupakan pertimbangan mendasar. Apabila sistem otomatisasi menggunakan program pada komputer, informasi yang terlihat dapat menjadi bagian dari referensi untuk menjalankan tindakan. Sebagai langkah perlindungan, pengguna sebaiknya membatasi ruang lingkup kontrol desktop. Layanan otomatisasi tersebut menerapkan mekanisme izin sebelum menjalankan tindakan pada perangkat lunak sesuai konfigurasi izin yang berlaku. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan risiko aktivitas.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot memiliki opsi pengaturan Always allow untuk perangkat lunak tertentu. Melalui pilihan tersebut, Copilot dapat menggunakan kembali aplikasi yang mendapat otorisasi pengguna tanpa mengulang seluruh proses persetujuan. Walaupun lebih praktis, pemberian izin permanen sebaiknya dibatasi, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola daftar aplikasi yang diizinkan dan mengatur ulang daftar izin sesuai kebutuhan keamanan. Sebagai tindakan penting, operasi yang sedang berlangsung memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Kesimpulan: Computer Use Memperluas Peran GitHub Copilot
Peluncuran Computer Use memperlihatkan kemajuan baru GitHub Copilot dari alat bantu pengembangan perangkat lunak menuju pendukung pekerjaan lintas aplikasi. Melalui kemampuan membaca konten aplikasi, Copilot berpotensi menjalankan pengisian data menggunakan instruksi bahasa alami. Kemampuan ini bermanfaat terutama untuk perangkat lunak lama yang sulit diotomatisasi menggunakan cara konvensional. Meski menawarkan fleksibilitas, pengguna tetap perlu penjelasan tugas yang jelas agar hasil tetap sesuai kebutuhan.
Pada era otomatisasi digital modern, kemampuan AI berinteraksi dengan desktop dapat berkembang sebagai bagian penting produktivitas. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka tetap perlu diperhitungkan. GitHub sendiri menekankan bahwa computer use dapat mengalami perubahan selama pengembangan. Agar penggunaan lebih efektif, tentukan batasan pekerjaan dan periksa hasil tindakan. Bagaimana menurut Anda, apakah Computer Use GitHub Copilot akan meningkatkan produktivitas pada masa mendatang? Silakan bagikan pendapat Anda mengenai perkembangan otomatisasi berbasis AI.
