Local AI Coding Assistant dengan Qwen 2.5

-

Qwen adalah LLM (large language model) yang dikembangkan oleh Alibaba group. Model ini cukup terkenal karena mempunya kemampuan yang bersaing dengan GPT-4 (OpenAI), Llama-3 (Meta), dan Mistral (Mistral AI). Qwen dirilis dengan lisensi Apache 2.0 sehingga kita dapat menggunakannya untuk keperluan non-komersial maupun komersial, seperti coding asisten lokal baik untuk keperluan pribadi maupun pekerjaan. Qwen yang terbaru adalah Qwen-2.5, dan untuk coding kita akan menggunakan Qwen-2.5-Coder.

Sebenarnya untuk Qwen-2.5 ada 7 varian yanng tersedia, yaitu mulai dari 0.5B alias 0.5 billion (milyar) parameter sampai dengan 72B. Sedangkan untuk Qwen-2.5-Coder, pada saat tulisan ini diturunkan, hanya ada 6 varian, dengan varian 32B sebagai flagshipnya. Besarnya parameter ini berkaitan dengan akurasi dari model AI dalam menangani tugas coding yang kompleks.

Cara yang paling mudah untuk menggunakan Qwen-2.5-Coder secara luring (offline) adalah dengan menjalankannya menggunakan aplikasi Ollama. Ollama adalah aplikasi desktop yang memudahkan pengguna untuk menjalankan LLM di PC maupun laptop yang menggunakan OS Windows, Mac atau Linux. Secara garis besar, tulisan ini akan menjabarkan bagaimana menjalankan Qwen-2.5-Coder dengan Ollama dan menghubungkannya dengan ekstensi Continue AI assistant di Visual Studio Code.

Pertama-tama kita harus mngunduh dan menginstall aplikasi Ollama dari halaman beranda ollama.com. Setelah aplikasi Ollama terpasang, unduh model Qwen-2.5-Coder dengan mengetikan perintah berikut ini:

ollama pull qwen2.5-coder:7b

Saya menggunakan Qwen-2.5-Coder:7B parameter karena model dengan parameter 3B atau kurang tidak dapat menyelesaikan tugas coding dengan baik, sehingga diperlukan model dengan kemampuan di atasnya yang dapat dijalankan pada GPU kelas menengah dengan VRAM 8 GB, seperti RTX 3070 atau yang setara kemampuannya.

Setelah Ollama selesai mengunduh model yang kita inginkan, untuk menghubungkan Qwen-2.5-Coder dengan ekstensi Continue di editor Visual Studio Code, kita membutuhkan AI server lokal. Ada 2 cara untuk menjalankan AI server dengan Ollama, yaitu dengan menjalankan aplikasi desktopnya, atau dengan menjalankan perintah:

ollama serve

Selanjutnya kita akan menambahkan ekstensi Continue dari Continue.Dev pada editor Visual Studio Code. (Ekstensi ini tersedia juga untuk IDE dari JetBrains seperti Intellij IDEA, tapi saya belum sempat mencobanya.) Setelah ekstensi Continue terpasang, kita perlu menyunting file config.json dari ekstensi ini. Caranya adalah dengan menggunakan pintasan keyboard Ctrl+Shift+P dan ketik "continue: config", kemudian pilih "Continue: Open Continue Config" dari pilihan yang muncul.

Isi atau ubah config untuk "models" dan "tabAutoCompleteModel" sesuai petunjuk dari ekstensi Continue di sini, menjadi seperti contoh berikut:

{
  "models": [
    {
      "model": "qwen2.5-coder:7b",
      "provider": "ollama",
      "title": "Qwen 2.5 Coder 7B",
      "systemMessage": "You are an expert software developer. You give helpful and concise responses."
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen 2.5 Coder 7B",
    "provider": "ollama",
    "model": "qwen2.5-coder:7b"
  },
  "contextProviders": [
    {

Jangan lupa untuk menyimpam file ini agar ekstensi Continue dapat terhubung dengan Qwen-2.5-Coder di Ollama. Apabila belum ada perubahan yang terasa, coba buka jendela VS Code yang baru, atau mulai ulang aplikasi Ollama dan VS Code. Kadang kita perlu memulai ulang PC atau laptop, agar Ollama dapat menggunakan seluruh memori grafis yang tersedia untuk menjalankan Qwen-2.5-Coder dengan lancar.

Happy coding~!

Comments

Post a Comment

Popular posts from this blog

Using Value Object as an ActiveRecord Attribute

-
Two weeks ago, I was working on a simple task, to add a query param for embed url. This embed url is actually url of content page from the main service, which I also contribute to. So I am very familiar with its url's pattern and the way it works. While my task was just to add a query param, I found a that I had to add it to 2 different classes. The good engineer part of me believed that it is an unnecessary redundancy, and something, somewhere should get the touch of refactoring. Dived deeper i saw that the problem was in attempt to validate the url. These 2 classes uses almost similar but slightly different logic. One of them only needs to validate a livestreaming url, and the other needs to validate  both livestreaming and vod urls. In my first few attempts, I wrote a couple of validator classes, and I even tried to use ActiveSupport::Concern to wrap the validators. But something keep telling me, "Hey, this doesn't feel right, but that one doesn't either." ...
Read more

Kafdrop: I can see you, Protobuf

-
Image
  Kafdrop is a web UI built on top of Spring Boot. It's free and has a good dark theme. (Well, the dark theme is the only theme it provides, actually.) Speaking of kafka web UI, there is another web UI like the  Kafka UI  - which also has the capability of browsing message, but at the time I write this blog post Kafdrop is the only one that supports viewing protobuf message. Since I've been dealing a lot with kafka protobuf messages lately, I needed to know how to use Kafdrop with protobuf support. Because you know, it's such a pain in the eye viewing protobuf using kafkacat and protoc : kafkacat -b kafka:9092 -C -t topic.name -o beginning -e | protoc --decode_raw Luckily after few days of fooling around, I found that making kafdrop to work with protobuf is not a hard thing to do. The Kafdrop Readme says that I need to put the protobuf descriptor file ( .desc ) to a directory, and pass the directory path as a parameter to Kafdrop. Creating a descriptor file from ...
Read more