GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Pengenalan fitur Computer Use menghadirkan perkembangan penting dalam pemanfaatan GitHub Copilot. Dalam penggunaan yang lebih dikenal, GitHub Copilot sering digunakan untuk mendukung pengembangan perangkat lunak. Berkat perluasan fungsi tersebut, Copilot dapat berinteraksi pada program dengan antarmuka grafis menggunakan arahan yang diberikan pengguna. Teknologi tersebut mendukung AI mengamati elemen antarmuka, kemudian mengklik tombol sesuai instruksi yang telah diberikan. Dengan pendekatan tersebut, pekerjaan berulang berpotensi menjadi lebih praktis tanpa selalu membutuhkan skrip khusus.
Computer Use tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Artinya, kemampuan dan perilakunya mungkin diperbarui berdasarkan umpan balik pengguna. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang tidak menyediakan API. Pada lingkungan aplikasi tersebut, Copilot dapat menggunakan interaksi visual seperti penggunaan tombol keyboard untuk menjalankan alur operasional. Walaupun fleksibel, pengoperasiannya harus disertai izin akses yang sesuai.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Sebelum menggunakan Computer Use, pengguna harus mengetahui bahwa aplikasi GitHub Copilot telah tersedia. Sesudah masuk ke aplikasi, buka menu pengaturan, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Dalam kondisi standar, fitur ini tidak langsung dihidupkan. Pendekatan tersebut menyediakan kendali lebih besar kepada pengguna sebelum sistem menjalankan kendali antarmuka. Berkat aktivasi manual, pengguna memiliki kesempatan memilih kapan Copilot boleh menggunakan kemampuan desktop.
Pada komputer Mac, izin sistem tertentu perlu dipenuhi agar Computer Use dapat berjalan dengan aplikasi lokal. Izin tersebut mencakup Accessibility dan Screen Recording. Accessibility digunakan untuk mengoperasikan kontrol aplikasi, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Pemilik Mac bisa menjalankan langkah izin dari macOS. Sementara itu, pengaturan dasar dilakukan melalui menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Meski Windows memiliki mekanisme tersendiri, pelaksanaan tindakan otomatis tetap memerlukan otorisasi sesuai konfigurasi.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Tidak hanya menggunakan menu pengaturan, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Pengguna yang terbiasa command line, metode aktivasi ini menghadirkan pengoperasian yang praktis. Ketika membuka sesi Copilot CLI yang mendukung fitur tersebut, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, jalankan perintah `/computer show`. Sebaliknya, perintah `/computer off` dapat digunakan untuk mematikan kemampuan interaksi komputer. Dengan pilihan tersebut, pengguna bisa menentukan kapan otomatisasi aktif sesuai kondisi sesi.
Ketika fitur sudah tersedia, pengguna memiliki kesempatan menyampaikan instruksi dalam bahasa alami. Pada aktivitas kerja sehari-hari, pengguna bisa menginstruksikan Copilot untuk membuka aplikasi tertentu, kemudian membaca informasi yang muncul. Apabila tugas melibatkan perubahan, Copilot mampu menjalankan pengetikan teks setelah pengguna menyetujui tindakan yang diminta. Agar proses berjalan lebih terarah, tentukan batasan pekerjaan secara spesifik. Sebagai ilustrasi, pengguna bisa memberikan permintaan untuk merangkum informasi tanpa mengubah data dengan ruang lingkup tugas yang terukur. Instruksi terarah tersebut dapat membatasi kesalahan tindakan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Salah satu penerapan utama adalah pengelolaan tugas berulang yang memerlukan banyak interaksi. Pada lingkungan bisnis, pengguna terkadang perlu memindahkan informasi. Dengan bantuan GitHub Copilot, beberapa langkah tersebut berpotensi diotomatisasi. Sebagai contoh, Copilot memiliki kemampuan membantu mengakses program administrasi, kemudian membaca data yang tersedia. Apabila pengguna mengizinkan, sistem berpotensi menjalankan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, aktivitas administratif berulang berpotensi menjadi lebih efisien.
Kemampuan tersebut memiliki nilai tambah bagi organisasi yang memiliki perangkat lunak konvensional. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Keterbatasan integrasi ini sering membuat proses integrasi membutuhkan pekerjaan tambahan. Melalui kemampuan membaca layar, Copilot mampu membantu menyelesaikan aktivitas dengan kontrol aplikasi langsung. Pada contoh pekerjaan, pengguna dapat meminta untuk mengambil data dari program tanpa API. Meski mampu membantu pekerjaan GUI, keberhasilan otomatisasi masih bergantung pada desain antarmuka yang sedang dibuka.
Keamanan dan Izin Akses Menjadi Prioritas Computer Use
Meskipun Computer Use menawarkan kemudahan, pengendalian tindakan otomatis harus dipertahankan sebagai bagian penting. Saat AI mengendalikan aplikasi desktop, konten aplikasi mampu masuk dalam konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna perlu meninjau aplikasi yang diberikan izin. GitHub Copilot meminta persetujuan sebelum mengendalikan aplikasi sesuai aturan kontrol sesi. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan tingkat sensitivitas aplikasi.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot memiliki opsi pengaturan Always allow untuk perangkat lunak tertentu. Jika opsi ini diaktifkan, Copilot dapat menggunakan kembali aplikasi yang dimasukkan ke daftar izin tanpa selalu meminta konfirmasi baru. Namun demikian, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk perangkat lunak bisnis sensitif. Pemilik komputer memiliki kesempatan memeriksa daftar aplikasi yang diizinkan dan mengatur ulang daftar izin sesuai kebutuhan keamanan. Tidak kalah relevan, proses otomatisasi yang berjalan bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Kehadiran Computer Use menunjukkan perkembangan penting GitHub Copilot dari asisten pemrograman menuju otomatisasi aplikasi desktop. Berkat akses terhadap elemen antarmuka, Copilot dapat membantu pengelolaan dokumen menggunakan perintah percakapan. Kemampuan ini memiliki potensi pada program berbasis GUI yang belum mendukung integrasi modern. Walaupun memberikan kemudahan, pengguna tetap perlu pengawasan tindakan agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, otomatisasi melalui antarmuka visual mampu menghadirkan bagian penting produktivitas. Walaupun kemampuan tersebut terus berkembang, kemungkinan perubahan data yang tidak diinginkan tetap perlu diperhitungkan. GitHub sendiri menjelaskan bahwa computer use dapat mengalami perubahan selama pengembangan. Untuk hasil terbaik, jelaskan aplikasi yang terlibat dan tinjau perubahan yang dibuat. Apa pendapat Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai pemanfaatan GitHub Copilot.
