• 0 Posts
  • 11 Comments
Joined 3 months ago
cake
Cake day: August 5th, 2024

help-circle



  • Ok ja det kan va olika passthrough, Ă€r inte jĂ€ttepĂ„lĂ€st, det verkar rĂ€tt komplicerat. TĂ€nkte nĂ„t sĂ„nt hĂ€r. Eller detta typ som man lĂ„ter ett VM ta full kontroll över en USB-enhet men iom grafikkortet Ă€ven ger bild sĂ„ försvinner ju den frĂ„n hosten ifall man skickar det till VMet sĂ„ dĂ„ mĂ„ste ju nĂ„got annat ta över. Verkar krĂ€va tvĂ„ uppsĂ€ttningar kablar kopplade till vardera GPU. Du pratar om en slags laptoplösning för en desktop?


  • Det var nog Wayland, 1.2-1.7GB med X11. Har iofs stĂ€ngt av HW acceleration i nĂ„gra program ocksĂ„ men verkar Ă€ndĂ„ ligga minst 500MB lĂ€gre. AlltsĂ„ vi fĂ„r nog vĂ€nta ett tag till innan Wayland Ă€r bĂ€ttre Ă€n X11 tycker mest det Ă€r nackdelar fortfarande. Hade nĂ„got mĂ€rkligt blinkande pĂ„ X11 sĂ„ det var dĂ€rför jag bytte men verkar ha löst det ocksĂ„ med att köra skĂ€rmen pĂ„ 120 HZ istĂ€llet. Ska prova lite tyngre modeller dĂ„ nĂ€r det finns lite mer utrymme. Är glad jag inte snĂ„lade med ett 6700, 10GB VRAM men skulle gĂ„tt pĂ„ 16 eller mer med facit i hand. Aja det hĂ€r duger sĂ„ lĂ€nge Ă€r mest glad det funkar sĂ„ hĂ€r pass bra jĂ€mfört med gratis varianterna i molnet.

    Ja det blir nog GPU passthrough i framtiden kan man ju köra Windows i ett VM ocksÄ för vissa spel hade varit nice. Aha ja Team Red Àr det som gÀller hÀr sÄ det lÄter ju bra det kan funka sÄ man slipper byta lag.

    Det var en riktigt bra deal. 3090 var ett monster nÀr det var nytt sÄ borde hÄlla rÀtt bra. Generöst med VRAM Àr ju trevligt för att vara Nvidia.


  • Oj det var rimligare, ja jag har misstĂ€nkt jag legat lite vĂ€l högt i VRAM anvĂ€ndning. Yep, jag kör Wayland men Ă€r rĂ€tt sĂ€ker pĂ„ jag lĂ„g högt pĂ„ X11 ocksĂ„. Ska prova X11 imorn för sĂ€kerhets skull. Ser inga direkta syndabockar nĂ€r jag kör nvtop, 2.7 GB idag med min vanliga anvĂ€ndning. Firefox vill ha 564 MB och sen 147 MB i nĂ„n -contentproc process som jag inte vet vad den gör. Det Ă€r vĂ€l det enda som sticker ut. Men kör HW acceleration med VAAPI sĂ„ antar att det Ă€r det. Vill nog helst ha det dĂ„ jag tittar pĂ„ mĂ„nga streams i webblĂ€saren. AnvĂ€nda APU samtidigt till sĂ„nt Ă€r fiffigt men har tyvĂ€rr ingen sĂ„dan i min dator bara ett 6700XT och en Ryzen 3700x. Har bara en 144hz skĂ€rm och en TV inkopplad kan prova dra ur sladden till TVn imorn ocksĂ„, anvĂ€nder bara en skĂ€rm Ă„t gĂ„ngen. Jao APU eller en till GPU att avlasta med hade varit nĂ„got det, fĂ„r skriva upp det pĂ„ önskelistan. Med nuvarande bygge blir det nog försöka fĂ„ ner VRAM anvĂ€ndningen en aning pĂ„ nĂ„t sĂ€tt ska pröva lite mer imorn.


  • Det blev Ollama, fick igĂ„ng det förut och har provat Llama 3.1 8B, Codegemma 7b och fick precis igĂ„ng Mistral Nemo Instruct du tipsade om. Var lite pilligt att fĂ„ den att anvĂ€nda GPUn, 6700XT har inte stöd Ă€n av ROCm tydligen men funkar om man lurar den att det Ă€r ett 6800 med en miljövariabel. DĂ„ gick det genast mycket fortare mot CPUn som det var först. Ja sant med VRAMen det gĂ„r Ă„t en del, eftersom Plasma med Firefox och lite annat igĂ„ng vill ha runt 3 GB. Llama 3.1 8B vill ha 7GB VRAM sĂ„ har 20% ungefĂ€r kvar att anvĂ€nda.

    Har ju bara doppat tÄrna precis men kul att vara igÄng. Skönt att inte mata nÄn modell i molnet lÀngre den hÀr vÀgen blir det i fortsÀttningen. Ska fördjupa mig lite senare nÀr jag fÄr mer tid över. Sparar ditt inlÀgg, bra info. Tack för hjÀlpen.



  • Ja en hel del, mest blir det ChatGPT. Visst funkar sĂ„dĂ€r en del svar Ă€r ju verkligen helt uppĂ„t vĂ€ggarna fel men kan va bra att bolla med. HjĂ€lper mig med tekniska frĂ„gor mest. TĂ€nker att den borde förstĂ„ sin egen sort bĂ€ttre Ă€n oss. TĂ€nkte prova Alpaca idag, selfhosta sin egen AI assistent. Är vĂ€l mest det som tar emot. Att allt man skriver anvĂ€nds & kartlĂ€ggs av Ă€garna till AI tjĂ€nsten sĂ„ det slipper man ju ifall man kör sin egen.