AMD Radeon AI PRO R9700 Teil 2

In Teil 1 hatte ich die Karte vorgestellt und die Softwarebasis funktionsfähig bekommen. Ein paar Tools hatte ich schon vorgestellt, jetzt bringe ich das in diesem Beitrag mal zusammen.

Zwei Rechner im Einsatz

• Haupt-PC (Manjaro)

• Ollama-Server (CachyOS)

Auf dem Ollama-Server läuft jetzt Ollama, hatte ich im 1. Teil schon berichtet. Auf diese Ollama-Instanz kann man über das LAN drauf zugreifen. Das mache ich von meinem Haupt-PC aus.

Zum Programmieren usw. setze ich VSCodium ein. Wenn ihr schon damit arbeitet, habt ihr sicherlich Claude Code, Open Codex, Continue usw. als App installiert. Meine ersten Schritte, die Ollama Anbindung zu testen, habe ich mit Continue gemacht. Das war für mich überhaupt nicht überzeugend. Ich hatte keine Ahnung was ich nehmen sollte, also die KI befragen, da kam als Antwort Cline. Was das?

Webseite angeschaut, Github angeschaut, scheint ein sehr oft eingesetztes Tool zu sein. Dann testen wir das mal. Nach der Installation, sieht das bei mir so aus.

Jetzt habe ich damit die ersten Prompts ausprobiert und bin als erstes an der Kontext Größe gescheitert, oben seht ihr den Wert, der jetzt hier nach einigen Tagen testen gut funktioniert. Teilweise waren die Ergebnisse gut, teilweise aber auch gar nicht. Mein Plan war dann, dem lokalen LLM mal ein wenig Arbeit zu geben. Also musste ich mir ein Projekt ausdenken. Beim Testen von Ollama schaut man sich ja als erstes die GPU Parameter an. Dafür gibt es Tools, wie z.B. amd-smi. Im CLI sieht das dann so aus.

  ~ frank@cachyos-x8664
    ❯ amd-smi
    +------------------------------------------------------------------------------+
    | AMD-SMI 26.2.2+unknown       amdgpu version: Linuxver ROCm version: 7.2.4    |
    | VBIOS version: 00180814                                                      |
    | Platform: Linux Baremetal                                                    |
    |-------------------------------------+----------------------------------------|
    | BDF                        GPU-Name | Mem-Uti   Temp   UEC       Power-Usage |
    | GPU  HIP-ID  OAM-ID  Partition-Mode | GFX-Uti    Fan               Mem-Usage |
    |=====================================+========================================|
    | 0000:21:00.0 ...Radeon AI PRO R9700 | 1 %      30 °C   0            15/300 W |
    |   0       0     N/A             N/A | 0 %     29.8 %            578/32624 MB |
    +-------------------------------------+----------------------------------------+
    +------------------------------------------------------------------------------+
    | Processes:                                                                   |
    |  GPU        PID  Process Name          GTT_MEM  VRAM_MEM  MEM_USAGE     CU % |
    |==============================================================================|
    |  No running processes found                                                  |
    +------------------------------------------------------------------------------+

Jetzt kam mir in den Sinn, machen wir mal eine Webanwendung draus. Ja, ich weiß, eine relativ sinnlose App, aber ich habe was zum Basteln. Ich wollte auch den Prompt absichtlich möglichst einfach gestalten.

Prompt

Wir bauen eine App. Unser Ordner für die Daten ist /home/frank/ClaudeCoding/R9700_test_001/ Ich möchte eine Webanwendung bauen (zum Testen), sie soll die Daten siehe hier:

 ❯ amd-smi
 +------------------------------------------------------------------------------+
 | AMD-SMI 26.2.2+unknown       amdgpu version: Linuxver ROCm version: 7.2.4    |
 | VBIOS version: 00180814                                                      |
 | Platform: Linux Baremetal                                                    |
 |-------------------------------------+----------------------------------------|
 | BDF                        GPU-Name | Mem-Uti   Temp   UEC       Power-Usage |
 | GPU  HIP-ID  OAM-ID  Partition-Mode | GFX-Uti    Fan               Mem-Usage |
 |=====================================+========================================|
 | 0000:21:00.0 ...Radeon AI PRO R9700 | 1 %      29 °C   0             9/300 W |
 |   0       0     N/A             N/A | 0 %     29.8 %           1077/32624 MB |
 +-------------------------------------+----------------------------------------+
 +------------------------------------------------------------------------------+
 | Processes:                                                                   |
 |  GPU        PID  Process Name          GTT_MEM  VRAM_MEM  MEM_USAGE     CU % |
 |==============================================================================|
 |  No running processes found                                                  |
 +------------------------------------------------------------------------------+

in einer schönen Webanwendung angezeigt bekommen. Ich denke, die Anwendung sollte auf dem CachyOS laufen, da sind die Tools drauf. Dann soll die Rust Applikation dort laufen und von 192.168.3.x zu erreichen sein. CachyOS ist 192.168.3.33. Die Anwendung soll in Rust (aktuell) geschrieben sein, Axum 0.8 , Bootstrap 5 und Tera templates. Du sollst dich grob an diese Anwendung halten https://forgejo.linux-nerds.org/frank/blog-rs , der Login kann aktuell sehr einfach sein mit User, Password.

Fazit

Es bleibt spannend, was der Prompt gebaut hat, dazu kommen wir in Teil 3.

Links

Teil 1