GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Peluncuran fitur Computer Use menjadi langkah baru dalam otomatisasi pekerjaan berbasis AI. Dalam penggunaan yang lebih dikenal, GitHub Copilot banyak dimanfaatkan untuk membantu penulisan kode. Berkat perluasan fungsi tersebut, Copilot dapat berinteraksi pada program dengan antarmuka grafis menggunakan arahan yang diberikan pengguna. Fitur ini membantu AI memahami konteks visual, kemudian mengklik tombol sesuai instruksi yang telah diberikan. Melalui sistem ini, aktivitas administratif mampu disederhanakan tanpa harus membuat otomatisasi manual.
Kemampuan otomatisasi desktop ini tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Dalam periode pengenalannya, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, fitur yang tersedia mungkin diperbarui berdasarkan umpan balik pengguna. Keunggulan yang menonjol adalah kemampuan menangani perangkat lunak konvensional yang belum mendukung integrasi MCP. Pada lingkungan aplikasi tersebut, Copilot dapat menggunakan interaksi visual seperti navigasi menu untuk menjalankan alur operasional. Meski menawarkan kemudahan, pengoperasiannya harus disertai pengawasan terhadap tindakan.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Untuk mulai memanfaatkan Computer Use, pengguna harus mengetahui bahwa GitHub Copilot sudah terpasang. Setelah aplikasi dibuka, pilih bagian pengaturan aplikasi, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, aktifkan pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Secara bawaan, fitur ini berada dalam keadaan nonaktif. Mekanisme aktivasi tersebut menghadirkan kendali lebih besar kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna bisa mengatur kapan Copilot boleh menggunakan kemampuan desktop.
Pada komputer Mac, persyaratan akses khusus harus diberikan agar Computer Use bisa berfungsi dengan perangkat lunak desktop. Persyaratan akses ini mencakup Accessibility dan Screen Recording. Accessibility digunakan untuk menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti langkah izin dari macOS. Untuk perangkat Windows, proses pengaktifan dapat dijalankan dari menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Walaupun prosesnya berbeda, akses terhadap aplikasi tetap memerlukan otorisasi sesuai konfigurasi.
Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI
Tidak hanya menggunakan menu pengaturan, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, cara ini memberikan pengoperasian yang praktis. Sesudah mengakses sesi Copilot CLI yang memiliki kemampuan Computer Use, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` memungkinkan pengguna menonaktifkan fitur. Melalui pengendalian ini, pengguna bisa menentukan kapan otomatisasi aktif sesuai kondisi sesi.
Ketika fitur sudah tersedia, pengguna bisa menuliskan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna bisa menginstruksikan Copilot untuk mengakses perangkat lunak desktop, kemudian merangkum data di jendela aplikasi. Jika instruksi mencakup pengolahan informasi, Copilot dapat membantu navigasi antarmuka setelah akses aplikasi disetujui. Untuk memperoleh hasil terbaik, jelaskan tujuan akhir secara mudah dipahami. Misalnya, pengguna bisa memberikan permintaan untuk memindahkan informasi antaraplikasi dengan batasan yang jelas. Cara penggunaan tersebut dapat membatasi kesalahan tindakan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Salah satu penerapan utama adalah penyederhanaan aktivitas desktop yang mengandalkan perangkat lunak berbeda. Untuk aktivitas profesional, pengguna sering harus membuka berbagai jendela. Melalui Computer Use, aktivitas tertentu dapat dibantu AI. Sebagai contoh, Copilot bisa diminta mengakses program administrasi, kemudian meninjau status pekerjaan. Dengan persetujuan yang sesuai, sistem dapat melanjutkan pengisian formulir. Dengan demikian, proses yang dilakukan secara manual dapat membutuhkan lebih sedikit interaksi pengguna.
Fitur ini juga bermanfaat bagi pengguna aplikasi lama. Sejumlah sistem perusahaan mendukung otomatisasi melalui terminal. Kondisi tersebut sering membuat otomatisasi lebih sulit. Dengan memanfaatkan konteks visual, Copilot dapat mencoba menjalankan tugas melalui tombol dan menu. Dalam penerapan tertentu, pengguna bisa mengarahkan untuk mengambil data dari program tanpa API. Meski mampu membantu pekerjaan GUI, keberhasilan otomatisasi masih bergantung pada desain antarmuka yang sedang dibuka.
Keamanan dan Izin Akses Menjadi Prioritas Computer Use
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengamanan akses aplikasi tetap menjadi bagian penting. Apabila sistem otomatisasi menggunakan perangkat lunak lokal, informasi yang terlihat dapat menjadi bagian dari referensi untuk menjalankan tindakan. Oleh sebab itu, pengguna perlu meninjau jenis informasi yang dapat diakses. Layanan otomatisasi tersebut menerapkan mekanisme izin sebelum mengendalikan aplikasi sesuai konfigurasi izin yang berlaku. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan risiko aktivitas.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot juga menawarkan pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot berpotensi mengendalikan kembali aplikasi yang sebelumnya telah disetujui tanpa selalu meminta konfirmasi baru. Meski mempermudah penggunaan berulang, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk sistem berisi data pribadi. Melalui halaman Computer Use, pengguna bisa mengelola daftar aplikasi yang diizinkan dan menghapus akses sesuai kebutuhan keamanan. Tidak kalah relevan, tindakan Computer Use aktif memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Berkat pengawasan aktif, pengguna tetap memiliki kendali.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Pengenalan Computer Use memperlihatkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju otomatisasi aplikasi desktop. Dengan dukungan pemahaman konteks visual, Copilot dapat membantu pengelolaan dokumen menggunakan instruksi bahasa alami. Fitur tersebut bermanfaat terutama untuk perangkat lunak lama yang membutuhkan interaksi manual. Namun demikian, pengguna tetap perlu penjelasan tugas yang jelas agar proses berjalan secara terkendali.
Seiring kemajuan kecerdasan buatan, teknologi computer use mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka tetap perlu diperhitungkan. Pengembang fitur tersebut menggarisbawahi bahwa computer use dapat mengalami perubahan selama pengembangan. Untuk hasil terbaik, berikan instruksi yang spesifik dan periksa hasil tindakan. Bagaimana menurut Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Anda dapat berbagi pengalaman mengenai pemanfaatan GitHub Copilot.
