Tjena!
Funderar ofta pÄ om folk faktiskt anvÀnder AI. Det marknadsförs sÄ otroligt mycket, dÄ tÀnker jag att det mÄste finnas en marknad nÄgonstans.
Samtidigt sÄ Àr det ingen som pratar om AI verktyg, att dem anvÀnt det ena eller det andra.
Jag som jobbar inom IT tycker det Àr lite konstigt ÀndÄ att det Àr sÄ pass lite prat om folk som personligen anvÀnder olika AI verktyg.
Jag vet att AI har anvÀnts i mÄnga Är. Det jag menar specifikt Àr alla dessa nya AI verktyg som kommit ut pÄ marknaden sedan de stora sprÄkmodellerna blev mer tillgÀngliga.
Jag anvÀnder chatgptb till allt. Recept, nyfiken pÄ vad en lÄt handlar om, frÄga om historiska saker, svÄr googlesökning, hjÀlp att vÀlja ny förstÀrkare, funderar de hÀr techsakerna ihop etc.
Sen om det handlar om viktiga saker som Àr lite obskyra sÄ fÄr man be om kÀlla.
PÄ jobbet anvÀnder jag supermaven och det fungerar utmÀrkt. Jag har blivit mycket bÀttre pÄ att namnge funktioner dÄ den fÄr lÀttare att skriva koden Ät mig dÄ. Jag skrev ett spel i rust (aldrig anvÀnt sprÄket innan, ren js-nörd) och det gick förvÄnansvÀrt lÀtt och jag lÀrde mig jÀttemycket.
Det kommer inte ersÀtta folk direkt pÄ lÀnge, men det kommer att göra folk sÄ pass mycket effektivare att fÀrre behövs för samma produktivitet.
Recept, nyfiken pÄ vad en lÄt handlar om, frÄga om historiska saker, svÄr googlesökning, hjÀlp att vÀlja ny förstÀrkare, funderar de hÀr techsakerna ihop etc
Detta Àr intressant. Min hjÀrna tÀnker aldrig pÄ att jag över huvud taget kan frÄga ChatGPT dessa saker.
Ăven jag anvĂ€der AI lite nĂ€r det kommer till kod. Det funkar vĂ€ldigt bra att be ChatGPT skriva lite baskod pĂ„ en abstrakt idĂ© som man försöker beskriva sĂ„ gott man kan för AIn.
Tack för att du delar med dig!
Jag testade github copilot gratis en mÄnad nÀr jag programmerade pÄ mina hobbyprojekt, funkade skapligt och iaf ibland sparade den att skriva ett par rader kod. KÀndes dock inte riktigt vÀrt det sÄ nu kör jag codeium som Àr gratis och ocksÄ funkar skapligt.
Lite dÄ och dÄ anvÀnder jag Mistrals Le Chat eller ChatGPT för att frÄga saker. Eftersom jag kan C++ sÄ brukar det handla om lite svÄrare problem, varpÄ AI:arna ofta ger felaktiga lösningar. DÀremot om jag behöver hjÀlp med t.ex. JS eller CSS, dÀr det nog Àr lite mer nybörjarfrÄgor, sÄ har jag fÄtt bÀttre hjÀlp. Har Àven anvÀnt dem för att fÄ lite inspiration till D&D, bland annat dÄ jag spelade med en grupp dÀr det var vÀldigt lite snack mellan karaktÀrerna. DÄ skrev jag en kort beskrivning av medlemmarna i partyt och bad om förslag pÄ hur min karaktÀr skulle kunna initiera intressanta interaktioner med de andra.
PÄ jobbet fÄr vi inte anvÀnda AI för att skriva kod, men de arbetar pÄ en lösning för att fÄ anvÀnda det till testfall och dokumentation. Jag tror det handlar om en licencierad copilot som körs lokalt och Àr finetune:ad pÄ vÄr kodbas. Vi har Àven fÄtt en bing copilot, men jag Àr osÀker pÄ det Àr samma som vi ska köra lokalt eller om de bara betalar Microsoft för att hÄlla frÄgorna vi skickar hemliga. Funkar dock bara i Edge sÄ jag har inte brytt mig om det sÄ mkt, men iaf en kollega som Àr ganska ny-utexad anvÀnder den rÀtt flitigt. Tror dock att de flesta tekniska frÄgorna skulle gÄ att hitta pÄ stack overflow, men det Àr vÀl smidigare att frÄga AIn ist för att söka.
inspiration till D&D, bland annat dÄ jag spelade med en grupp dÀr det var vÀldigt lite snack mellan karaktÀrerna. DÄ skrev jag en kort beskrivning av medlemmarna i partyt och bad om förslag pÄ hur min karaktÀr skulle kunna initiera intressanta interaktioner med de andra.
Det hÀr var vÀldigt smart!
Det var nÀr ChatGPT var rÀtt ny sÄ den senaste kanske Àr Ànnu bÀttre, men jag blev ÀndÄ lite imponerad av hur pass bra förslag den kom med. Ingen J.R.R. Tolkien direkt men absolut tillrÀckligt bra skrivande för lite hemma-spel :)
Kan Àven tipsa om ifall man vill spela en sjungande bard men kÀnner sig lite osÀker pÄ sin lÄtskrivarförmÄga sÄ kan en AI vÀldigt snabbt slÀnga ihop visor och rim om andra karaktÀrer och hÀndelser i Àventyret.
Jag vet folk som anvÀnder det ibland för att hjÀlpa att hitta information, bearbeta eller skapa texter osv. SjÀlv litar jag inte pÄ informationen en LLM ger, dÀremot sÄ har jag ett par enstaka ggr anvÀnt en sÄn för att fÄ hjÀlp med en övergripande bild av nÄgot som Àr helt nytt för mig, för att fÄr hjÀlp med nyckelord, termer, koncept osv som jag sedan kan googla upp för att fÄ mer pÄlitlig fakta om.
Jag har gjort liknande. Man fÄr verkligen vara kritisk, stÀlla följdfrÄgor, och kolla upp detaljer vid sidan av. Det Àr fÄ gÄnger som en LLM inte haft vissa missuppfattningar sjÀlv, men med lite kritiska frÄgor sÄ rÀttar den sig sjÀlv ofta.
Precis, man fÄr attackera saken frÄn lite olika vinklar för att fÄ en mer korrekt bild. Att bara stÀlla en frÄga Àr typ livsfarligt. Samtidigt kan det vara vanskligt att ifrÄgasÀtta den, iaf sist jag provade, för dÄ gav den direkt med sig och sa att jag hade rÀtt fast jag hade fel.
fÄ hjÀlp med en övergripande bild av nÄgot som Àr helt nytt för mig, för att fÄr hjÀlp med nyckelord, termer, koncept osv som jag sedan kan googla upp för att fÄ mer pÄlitlig fakta om.
Det Àr ju ett bra sÀtt att anvÀnda en AI pÄ tycker jag!
Ja, det kÀnns som att man utnyttjar deras styrka dÄ men samtidigt undviker deras svagheter.
Nu senast har jag anvÀnt ChatGPT för att komma pÄ namne till spel karaktÀrer. Den Àr ofantligt duktig pÄ det och mycket bÀttre Àn name generatorerna som bara ger en random lista, dÄ dessa listo kan vara vÀldigt specifika.
Smart tÀnkt!
Tack, jo den har sparat mig massor av tid.
Jag brukar anvÀnda Perplexity nÀr jag researchar grejer, tycker den Àr bra pÄ sÄdant. Leonardo för att göra bilder och Udio för att skapa musik.
Hade velat testa mer avancerade AI program för att skapa mina egna superhjÀltar men tyvÀrr sÄ Àr jag för fattig för att kunna köpa en vettig dator som klarar programmen.
Har endast testat sunkiga online AI program.
FÄr nöja mig med att utveckla mina karaktÀrer i skrift tills ekonomin Àr bÀttre för mig.
Ja en hel del, mest blir det ChatGPT. Visst funkar sĂ„dĂ€r en del svar Ă€r ju verkligen helt uppĂ„t vĂ€ggarna fel men kan va bra att bolla med. HjĂ€lper mig med tekniska frĂ„gor mest. TĂ€nker att den borde förstĂ„ sin egen sort bĂ€ttre Ă€n oss. TĂ€nkte prova Alpaca idag, selfhosta sin egen AI assistent. Ăr vĂ€l mest det som tar emot. Att allt man skriver anvĂ€nds & kartlĂ€ggs av Ă€garna till AI tjĂ€nsten sĂ„ det slipper man ju ifall man kör sin egen.
Alpaca Àr ju supergammal, det har kommit mÄnga bÀttre modeller sedan dess. T.ex. Mistral Nemo Instruct om du har tillrÀckligt med VRAM för en 12B modell. Kanske har kommit nÄgot Ànnu nyare, men vill du ha ngt lite mindre sÄ testa Llama 3.1 8B Instruct
aha tackar, ja utvecklingen gÄr vÀldigt fort. Fick tips om den hÀr guiden verkade va lÀtt att komma igÄng med för en nybörjare pÄ AI. lÀnk
Kan jag köra Serge ÀndÄ eller har det kommit nÄt bÀttre dÀr ocksÄ? Har 12 GB VRAM AMD 6700XT, sÄ det begrÀnsar vÀl en del misstÀnker jag. Ska kolla pÄ Llama istÀllet.
Aldrig hört talas om Serge, men det ser ut som att projektet fortfarande lever och uppdateras iaf. Det Àr baserat pÄ llama.cpp, sÄ jag tror det ska fungera med ROCm (dvs. AMD gpu). Och eftersom det bygger pÄ llama.cpp sÄ behöver du en modell i GGUF-format. Sen har llama.cpp en unik funktion att den klarar av att dela upp arbetet mellan CPU och GPU, vilket gör att du kan köra större modeller ifall du Àr villig att offra en del hastighet, men jag tror det Àr en bra start att köra nÄgon sorts standardmodell som fÄr plats helt i VRAM, sÄ kan du experimentera med finetune:ade modeller och annat nÀr du vet att saker fungerar som det ska.
Det som avgör hur mkt VRAM som behövs Àr en kombination av antalet parametrar i modellen (e.g. 7B, 12B, osv), hur stor kontext du anvÀnder (typ. hur pass lÄngt korttidsminne AI:n fÄr. Mer kontext -> lÀngre konversation innan den glömmer bort de Àldsta meddelandena) och vilken kvantiseringsnivÄ av modellen du laddat hem (typ motsvarande komprimering av film/bilder). Sen tappar du Àven lite VRAM till operativsystemet ifall du bara har ett grafikkort i datorn. Jag tror Mistral Nemo Instruct med Q4_K_M kvantisering, och kanske 8000 kontext, skulle gÄ in i VRAM för dig, den gÄr att ladda ner hÀr: https://huggingface.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF/tree/main
De flesta modellerna som trĂ€nas Ă€r censurerade till nĂ„gon grad, men det Ă€r mĂ„nga privatpersoner som gör sitt bĂ€sta för att ta bort det av olika anledningar. Vill du ha en sĂ„n modell sĂ„ har de ofta OAS eller âabliteratedâ i namnet.
Vill du testa att köra lite större modeller med partial offloading (CPU+GPU) sÄ kolla in CmdR och Mixtral 8x7b. Mixtral börjar bli lite gammal, men den Àr snabb att köra pÄ CPU tack vare MoE arkitekturen. Du kan Àven testa 70B modeller som Miqu etc. men dÄ fÄr du nog rÀkna med max 0.5 ord/sekunden.
Kan Ă€ven rekommendera TheBlokeâs discord server ifall du behöver hjĂ€lp med nĂ„got, eller tips om de senaste modellerna.
Det blev Ollama, fick igÄng det förut och har provat Llama 3.1 8B, Codegemma 7b och fick precis igÄng Mistral Nemo Instruct du tipsade om. Var lite pilligt att fÄ den att anvÀnda GPUn, 6700XT har inte stöd Àn av ROCm tydligen men funkar om man lurar den att det Àr ett 6800 med en miljövariabel. DÄ gick det genast mycket fortare mot CPUn som det var först. Ja sant med VRAMen det gÄr Ät en del, eftersom Plasma med Firefox och lite annat igÄng vill ha runt 3 GB. Llama 3.1 8B vill ha 7GB VRAM sÄ har 20% ungefÀr kvar att anvÀnda.
Har ju bara doppat tÄrna precis men kul att vara igÄng. Skönt att inte mata nÄn modell i molnet lÀngre den hÀr vÀgen blir det i fortsÀttningen. Ska fördjupa mig lite senare nÀr jag fÄr mer tid över. Sparar ditt inlÀgg, bra info. Tack för hjÀlpen.
Kör du Wayland, och/eller har flera högupplösta skÀrmar? Jag kör X11 och har en 1440p skÀrm och en 1080p, men jag tappar bara 1.15GiB vram till OS:et enligt nvtop. Kör ocksÄ Plasma och Firefox dÄ. För ett tag sedan sÄ försökte jag fÄ datorn att anvÀnda Ryzen APU:n för OS:et, och lÀmna hela GPU:n ledig för LLM och spel etc. Det svÄra var att fÄ GPU forwarding att fungera, sÄ jag inte skulle behöva dubbla uppsÀttningar skÀrmkablar, och förstÄs lite meck med att köra bÄde AMD och Nvidia samtidigt, men det kanske Àr lÀttare med ett AMD-kort ifall det Àr nÄgot du Àr intresserad av att undersöka i framtiden.
Oj det var rimligare, ja jag har misstÀnkt jag legat lite vÀl högt i VRAM anvÀndning. Yep, jag kör Wayland men Àr rÀtt sÀker pÄ jag lÄg högt pÄ X11 ocksÄ. Ska prova X11 imorn för sÀkerhets skull. Ser inga direkta syndabockar nÀr jag kör nvtop, 2.7 GB idag med min vanliga anvÀndning. Firefox vill ha 564 MB och sen 147 MB i nÄn -contentproc process som jag inte vet vad den gör. Det Àr vÀl det enda som sticker ut. Men kör HW acceleration med VAAPI sÄ antar att det Àr det. Vill nog helst ha det dÄ jag tittar pÄ mÄnga streams i webblÀsaren. AnvÀnda APU samtidigt till sÄnt Àr fiffigt men har tyvÀrr ingen sÄdan i min dator bara ett 6700XT och en Ryzen 3700x. Har bara en 144hz skÀrm och en TV inkopplad kan prova dra ur sladden till TVn imorn ocksÄ, anvÀnder bara en skÀrm Ät gÄngen. Jao APU eller en till GPU att avlasta med hade varit nÄgot det, fÄr skriva upp det pÄ önskelistan. Med nuvarande bygge blir det nog försöka fÄ ner VRAM anvÀndningen en aning pÄ nÄt sÀtt ska pröva lite mer imorn.
För mig sÄ drar Xorg ca 300MB, Firefox 150MB, kwin_x11 100MB, Discord och plasmashell 50MB vardera. Compositing i KDE Àr pÄ, men VAAPI i Firefox Àr avstÀngt. Har för mig jag stÀngde av det för det var problem nÀr jag skulle streama nÄgot, men jag tycker CPU-avkodning har funkat bra sÄ jag hade glömt bort att jag ens Àndrade det.
Om du ska försöka fÄ igÄng GPU passthrough i framtiden sÄ finns det en del resurser för hur laptops gör det, men det verkar som att det endera Àr Intel CPU + Nvidia GPU, eller AMD + AMD, sÄ ifall du ska uppgradera nÄgot sÄ kan det vara vÀrt att ha i Ätanke. Jag fick AMD + Nvidia att typ fungera, men jag lyckades inte fÄ den att stÀnga av GPU:n helt nÀr den inte anvÀndes sÄ den lÄg och drog 30W i onödan.
SjĂ€lv jag ett begagnat RTX3090 för att fĂ„ 24GB VRAM. Kollade blocket varje dag tills jag hittade ett för 7300kr med köpskydd, vilket kĂ€ndes som ett nĂ€stan rimligt pris :) Hade dock behövt det dubbla för att kunna köra Ă€nnu finare modeller, men dĂ„ kostar det verkligen skjortanâŠ
Nope, har testat AI bild skapare och sĂ„ för skojs skull men inte mer Ă€n det. Ănnu inte vart nĂ„got som jag behövt det till sĂ„ inte haft nĂ„gon anledning att anvĂ€nda det. HĂ„ller mig hyfsat uppdaterad om dess utveckling och tycker det Ă€r coolt pĂ„ mĂ„nga sĂ€tt, men Ă€r vĂ€ldigt tveksam till hur det oftast Ă€r integrerat och tycker det inte ger nĂ„got mer Ă€n vad jag lĂ€tt kan göra, ta reda pĂ„ osv. lika snabbt och med mer sĂ€kra resultat sjĂ€lv.
Jag anvÀnder det frekvent i jobbet -
- En chatbot för att ta rollen som Google haft som allmÀn informationssökningsverktyg. Man fÄr ta det med en nypa salt, men ofta Àr det korrekt nog att vara anvÀndbart
- CoPilot för âsmartare autocompleteâ. Samma hĂ€r, ofta Ă€r det inte rĂ€tt, men dĂ„ Ă€r det bara att inte anvĂ€nda den autocomplete som erbjuds. Det Ă€r bra förslag tillrĂ€ckligt ofta för att spara tid och energi
Privat anvÀnder jag Perplexity för att byta ut mÄnga Google-sökningar.
Yep. Copilot för att koda. AnvÀnder ChatGPT ibland för att fÄ sammanfattningar av en författares verk och tips pÄ var man ska börja.
Jag undviker det för det mesta. NÀr jag verkligen behöver eller vill sÄ anvÀnder jag duckduckgo llama.
AnvÀnder det rÀtt ofta för att fÄ en start pÄ ett nytt projekt. Beskriver vad jag vill lösa, hur, och i vilket sprÄk, osv. Efter det sÄ har man nÄgot som inte funkar helt, eller ens alls, men gör det enklare att börja ifrÄn. Lite följdfrÄgor eller ber om korrigeringar nÀr man sjÀlv fortsÀtter utveckla brukar iaf ge lite fart i början.
Det Àr sÄ jag ocksÄ gör. Funkar rÀtt sÄ bra!
