mboost-dp1
Nvidia er ikke længere et grafikkort firma
https://www.visualcapitalist.com/nvidia-revenue-by...
17% af omsætning fra salg af grafikkort til PC'ere.
78% af omsætning fra salg af "number crunching kort" til servere for brug ved AI/ML/BI.
17% af omsætning fra salg af grafikkort til PC'ere.
78% af omsætning fra salg af "number crunching kort" til servere for brug ved AI/ML/BI.
#3 Ja, det er godt nok nogle vilde priser. Men det er vel det eneste kort med RAM og resourcer nok til at træne de største modeller, så der er ingen konkurrence.
Når AMD (eller andre?) kommer på banen med noget der kan følge med her, vil det nok bringe prisen ret meget ned på at træne "big-AI". Alle mellemstore firmaer kommer til at rode med deres egne, kraftige, AI modeller. Det er små-uhyggeligt. Trolden er ude af æsken.
Når AMD (eller andre?) kommer på banen med noget der kan følge med her, vil det nok bringe prisen ret meget ned på at træne "big-AI". Alle mellemstore firmaer kommer til at rode med deres egne, kraftige, AI modeller. Det er små-uhyggeligt. Trolden er ude af æsken.
#5 Nvidia har været hurtigt ude og lavet godt arbejde vedr. CUDA. I Linux verdenen er det ganske ligetil at få et nvidia kort til at lave tungt arbejde med CUDA. (at wayland + nvidia proprietær grafikdriver stadig er et mareridt, er så en anden sag)
Men jeg ved at der er tiltag i retning af en open source, vendor-uafhængig abstraktion til GPU compute, der vil kunne tage CUDAs rolle og give f.eks. AMD en chance. Men der er nok lang vej før det bliver en realitet.
PS .. jeg tænker specifikt på George Hotz og hans Tiny Corp her, læs f.eks.: https://geohot.github.io//blog/jekyll/update/2023/...
Men jeg ved at der er tiltag i retning af en open source, vendor-uafhængig abstraktion til GPU compute, der vil kunne tage CUDAs rolle og give f.eks. AMD en chance. Men der er nok lang vej før det bliver en realitet.
PS .. jeg tænker specifikt på George Hotz og hans Tiny Corp her, læs f.eks.: https://geohot.github.io//blog/jekyll/update/2023/...
Et H100 skulle koste 30-40 K$.
Per:
https://www.tomshardware.com/tech-industry/artific...
så skal xAI bruge 100000 af dem til deres næste model. Det er 3-4 B$ bare for GPU kort.
Per:
https://www.tomshardware.com/tech-industry/artific...
så skal xAI bruge 100000 af dem til deres næste model. Det er 3-4 B$ bare for GPU kort.
Mere omkring hvem der har hvor mange kort:
https://wccftech.com/tesla-now-likely-has-between-...
Man regner med at FaceBook har 350000 ad de H100.
Elon siger at både Tesla og xAI har et stort antal.
https://wccftech.com/tesla-now-likely-has-between-...
Man regner med at FaceBook har 350000 ad de H100.
Elon siger at både Tesla og xAI har et stort antal.
arne_v (7) skrev:så skal xAI bruge 100000 af dem til deres næste model. Det er 3-4 B$ bare for GPU kort.
Svimlende beløb. Der er en ret voldsom asymmetri i forhold til hvad det kræver at træne en model og at køre den. Med kvantisering og diverse teknikker kan man efterhånden få en god LLM til at køre på en forbruger GPU og sågar en smartphone.
Men at træne en LLM ... det er godt nok en hæftig dataopgave.
https://techcrunch.com/2024/04/10/meta-unveils-its...
Meta:
Meta:
The company’s set to spend an estimated $18 billion by the end of 2024 on GPUs for training and running generative AI models
Men de danske politikere kan gøre det billigere.
https://www.computerworld.dk/art/286851/vi-har-bru...
https://www.computerworld.dk/art/286851/vi-har-bru...
I februar debatterede Folketinget et beslutningsforslag fra SF om at afsætte 40 millioner kroner til at udvikle en dansk generativ sprogmodel,
Og af de 40 mio, hvor meget er tilbage når arbejdsgrupper, workshops, konsulenter osv. har fået deres luns. Det er til grin og typisk dansk små-sko mentalitet.
Næh, Novo Nordisk fonden skal på banen her og bygge et velvoksent AI datacenter på dansk jord og leje GPU timer ud til universiteterne og opstartfirmaer til spot pris eller gratis.
Næh, Novo Nordisk fonden skal på banen her og bygge et velvoksent AI datacenter på dansk jord og leje GPU timer ud til universiteterne og opstartfirmaer til spot pris eller gratis.
H200 er klar.
Og mske meget sigende for hvor pengene er: det første eksemplar blev personligt leveret af Nvidia's CEO til OpenAI.
https://www.tomshardware.com/tech-industry/artific...
Og mske meget sigende for hvor pengene er: det første eksemplar blev personligt leveret af Nvidia's CEO til OpenAI.
https://www.tomshardware.com/tech-industry/artific...
Opret dig som bruger i dag
Det er gratis, og du binder dig ikke til noget.
Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.
- Forside
- ⟨
- Forum
- ⟨
- Tagwall
Gå til bund