mboost-dp1

Nvidia er ikke længere et grafikkort firma


Gå til bund
Gravatar #1 - arne_v
2. apr. 2024 13:13
https://www.visualcapitalist.com/nvidia-revenue-by...

17% af omsætning fra salg af grafikkort til PC'ere.

78% af omsætning fra salg af "number crunching kort" til servere for brug ved AI/ML/BI.
Gravatar #2 - larsp
2. apr. 2024 13:42
Interessant graf.

Nvidia kan tilsyneladende sælge deres store datacenter AI kort med gigantiske marginer fordi der ikke rigtig er nogen konkurrence. AMD må se at komme på banen og lave noget der er konkurrencedygtigt mht. AI.
Gravatar #3 - arne_v
2. apr. 2024 14:09
#2

A100 80 GB ligger vist onmkring 15-20 K$.

Det er mange penge.

Og grunden til at AI er så dyrt.

Gravatar #4 - larsp
3. apr. 2024 13:29
#3 Ja, det er godt nok nogle vilde priser. Men det er vel det eneste kort med RAM og resourcer nok til at træne de største modeller, så der er ingen konkurrence.

Når AMD (eller andre?) kommer på banen med noget der kan følge med her, vil det nok bringe prisen ret meget ned på at træne "big-AI". Alle mellemstore firmaer kommer til at rode med deres egne, kraftige, AI modeller. Det er små-uhyggeligt. Trolden er ude af æsken.
Gravatar #5 - arne_v
4. apr. 2024 14:24
#4

Jeg har læst (lidt uden for mit ekspertise område) at der er et stort software lock-in.

Diverse compilere og biblioteker bygger på CUDA. Millioner af udviklere kender disse værktøjer.

Gravatar #6 - larsp
9. apr. 2024 06:52
#5 Nvidia har været hurtigt ude og lavet godt arbejde vedr. CUDA. I Linux verdenen er det ganske ligetil at få et nvidia kort til at lave tungt arbejde med CUDA. (at wayland + nvidia proprietær grafikdriver stadig er et mareridt, er så en anden sag)

Men jeg ved at der er tiltag i retning af en open source, vendor-uafhængig abstraktion til GPU compute, der vil kunne tage CUDAs rolle og give f.eks. AMD en chance. Men der er nok lang vej før det bliver en realitet.

PS .. jeg tænker specifikt på George Hotz og hans Tiny Corp her, læs f.eks.: https://geohot.github.io//blog/jekyll/update/2023/...
Gravatar #7 - arne_v
10. apr. 2024 12:14
Et H100 skulle koste 30-40 K$.

Per:

https://www.tomshardware.com/tech-industry/artific...

så skal xAI bruge 100000 af dem til deres næste model. Det er 3-4 B$ bare for GPU kort.


Gravatar #8 - arne_v
10. apr. 2024 13:54
AMD skulle iøvrigt være på banen nu.

Et MI300X kort med 192 GB skulle koste 15-20 K$ (men det forlyder at Microsoft får mængderabat og kan få dem til 10 K$).
Gravatar #9 - arne_v
10. apr. 2024 19:37
Mere omkring hvem der har hvor mange kort:

https://wccftech.com/tesla-now-likely-has-between-...

Man regner med at FaceBook har 350000 ad de H100.

Elon siger at både Tesla og xAI har et stort antal.
Gravatar #10 - larsp
11. apr. 2024 09:39
arne_v (7) skrev:
så skal xAI bruge 100000 af dem til deres næste model. Det er 3-4 B$ bare for GPU kort.

Svimlende beløb. Der er en ret voldsom asymmetri i forhold til hvad det kræver at træne en model og at køre den. Med kvantisering og diverse teknikker kan man efterhånden få en god LLM til at køre på en forbruger GPU og sågar en smartphone.

Men at træne en LLM ... det er godt nok en hæftig dataopgave.
Gravatar #11 - arne_v
11. apr. 2024 13:32
#10

The revenge of big O.

At bruge en model vil vel typisk være en O(n) operation i antal parametre mens det at træne en model vil have en højere kompleksitet - O(n^2) eller O(n^3) eller noget andet.

Når antal parametre når milliader så betyder det noget.
Gravatar #12 - arne_v
11. apr. 2024 14:42
https://techcrunch.com/2024/04/10/meta-unveils-its...

Meta:


The company’s set to spend an estimated $18 billion by the end of 2024 on GPUs for training and running generative AI models

Gravatar #13 - arne_v
11. apr. 2024 18:23
Gravatar #14 - arne_v
11. apr. 2024 18:28
Men de danske politikere kan gøre det billigere.

https://www.computerworld.dk/art/286851/vi-har-bru...


I februar debatterede Folketinget et beslutningsforslag fra SF om at afsætte 40 millioner kroner til at udvikle en dansk generativ sprogmodel,


Gravatar #15 - larsp
12. apr. 2024 08:27
Og af de 40 mio, hvor meget er tilbage når arbejdsgrupper, workshops, konsulenter osv. har fået deres luns. Det er til grin og typisk dansk små-sko mentalitet.

Næh, Novo Nordisk fonden skal på banen her og bygge et velvoksent AI datacenter på dansk jord og leje GPU timer ud til universiteterne og opstartfirmaer til spot pris eller gratis.
Gravatar #16 - arne_v
23. apr. 2024 17:06
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login