Projekti braindead-local-intelligence synon të thjeshtojë provat me inteligjencën artificiale në kompjuterin personal. Ai bashkon bisedën me një LLM, kërkimin në ueb, njohjen e imazheve dhe gjenerimin ose modifikimin e tyre, duke lehtësuar instalimin dhe përzgjedhjen e modeleve.
Sistemi përdor kontejnerë me podman: një server LLM të pajtueshëm me OpenAI API, një server për gjenerimin e imazheve, SearXNG për kërkimin dhe Open WebUI si ndërfaqe. Në memorie ngarkohet vetëm një model njëherësh, sipas kërkesës; pas disa minutash pa aktivitet, ai çngarkohet për të liruar memorien e GPU-së.
Kërkohet Linux me podman 5.0 ose më të ri në modalitetin rootless, pa privilegje root. Projekti synon aktualisht kartat grafike AMD dhe nuk është testuar me NVIDIA. Modelet më të vogla kërkojnë rreth 4 GB VRAM dhe 8 GB RAM; modelet janë testuar deri në 12 GB VRAM. Dokumentacioni ofron konfigurime të gatshme, ndërsa modelet e parazgjedhura zënë rreth 8 GB.
Open WebUI hapet në http://127.0.0.1:3000, vetëm nga kompjuteri ku funksionon sistemi. Komanda ia info shfaq adresën, tokenin dhe emrat e modeleve për klientët e pajtueshëm me OpenAI API. Autori paralajmëron se përgjigjet mund të kërkojnë disa minuta dhe ta ngarkojnë kompjuterin; aftësitë mbeten larg shërbimeve LLM me modele dhe dritare konteksti më të mëdha.
Burimi: Lobsters (Programming) — lexoni artikullin e plotë në anglisht.
