mboost-dp1
Western Digital Corp.
#3
På deres Netflix Open connect kan man læse om deres reference hardware. Det store fokus på deres servere er harddisk, og referencen beskriver at hver box indeholder 36 x 3 TB
Men samtidig skriver de også: "We also add 1 TB of flash storage (2 solid state drives) for system files, logs and popular content."
Det styresystem de bruger kører med in-memory caching, men jeg er ikke sikker på at det betyder at film ligger i hukommelsen permanent.
På deres Netflix Open connect kan man læse om deres reference hardware. Det store fokus på deres servere er harddisk, og referencen beskriver at hver box indeholder 36 x 3 TB
Men samtidig skriver de også: "We also add 1 TB of flash storage (2 solid state drives) for system files, logs and popular content."
Det styresystem de bruger kører med in-memory caching, men jeg er ikke sikker på at det betyder at film ligger i hukommelsen permanent.
SlettetBruger (1) skrev:Endnu mere data man kan miste på én gang :D
Ja, du må hellere få dig nogle gamle 20MB diske, så er det til at overskue hvad du mister hvis de skulle dø. :-)
Backup har jo altid været en god ide, og nu er der så plads til 50% ekstra backupdata på en disk.
TorbenKH (8) skrev:Hvad med de fik flere film istedet for det pop?
Det er så ringe udbud af film
Den eneste grund til jeg stadig har Netflix er at datteren nemt bruger det og ser tegnefilm
Øv siger Far!
Skal disken komme med film ud af æsken? Eller skal wd give et netflix abonnoment med nåe man køber en af de her diske?
Dejligt, at dette indlæg går fra, at handle om en harddisk til Netflix abonnement :)
Syntes det er på tide, at vi får lidt mere plads.
Nu mangler vi kun, at de kommer med diske i 2.5" formfactor extern på over 2 TB. Lidt træls, at skulle rende rundt med 2-3 af disse for, at have sine data med sig. 1 ville være så meget nemmere.
Fordelen er, at 2.5" kan tages med uden krav af extern strømforsyning, som på 3.5".
Syntes det er på tide, at vi får lidt mere plads.
Nu mangler vi kun, at de kommer med diske i 2.5" formfactor extern på over 2 TB. Lidt træls, at skulle rende rundt med 2-3 af disse for, at have sine data med sig. 1 ville være så meget nemmere.
Fordelen er, at 2.5" kan tages med uden krav af extern strømforsyning, som på 3.5".
Spørgsmålet er hvad vi skal med harddiske når de begynder at bygget 4-8 terabyte oven på cpu'en og man stopper med at skelne mellem "CPU ram", "GPU ram", osv. men blot taler om "hukommelse".
Det er allerede i dag stort set unødvendigt med mekaniske diske I selve computeren
Det er allerede i dag stort set unødvendigt med mekaniske diske I selve computeren
Det er måske bare mig, men hvor tit har man brug for at have >2 TB med rundt omkring? :osoda (10) skrev:Nu mangler vi kun, at de kommer med diske i 2.5" formfactor extern på over 2 TB. Lidt træls, at skulle rende rundt med 2-3 af disse for, at have sine data med sig. 1 ville være så meget nemmere.
Helium har en syv gange lavere tæthed end luft og skaber dermed mindre friktionHydrogen har kun den halve tæthed af helium. Så hvorfor har de valgt helium fremfor hydrogen? Kan det tænkes at hydrogen over tid kan tære på materialet pladerne er lavet af?
Den høje datatæthed og det lave energiforbrug, vil gøre Ultrastar He6 meget interessant i datacentre hvor der gemmes store mængder data, eksempelvis hos Netflix.Det skal jo ses i forhold til prisen. Skal man vælge mellem to harddiske på 6TB og tre på 4TB, så er det meget muligt at tre på 4TB er både billigere og hurtigere. For at 6TB diskene skal kunne følge med på performance skal de også være 50% hurtigere end 4TB diskene.
Om det er søgetider eller throughput som er afgørende afhænger af anvendelsen. Lige netop video streaming er et af de områder hvor throughput betyder meget og søgetid ikke betyder helt så meget. Og ofte kommer højere throughput næsten helt af sig selv, når kapaciteten bliver større. Søgetiden bliver til gengæld ikke forbedret lige så nemt. Mit gæt er at vi aldrig kommer til at se harddiske med en søgetid på under 1ms.
Hvis man vil være bedre sikret, så bruger man et RAID system plus offsite backup på et andet RAID system. F.eks. kan man arrangere at man har to NAS enheder som backupkopierer til hinanden, hvor man har den ene stående hjemme og den anden hos nogen man stoler nok på.SlettetBruger (1) skrev:Endnu mere data man kan miste på én gang
Så regner man lidt på hvad der er et passende antal harddiske i sådan et setup. Man kunne f.eks. bruge RAID6 med 4+2 harddiske i hver NAS.
Antallet af diske vil reelt være uafhængigt af størrelsen på diskene. Så går man fra 2TB diske til 6TB diske i sådan en NAS opsætning, så får man plads til 3 gange så meget data.
Det ville ikke give mening at have dem liggende ukomprimeret. De skal ligge komprimeret i samme format som de bliver streamet. Og jeg er ikke sikker på at de har nogen som er så populære, at det kan betale sig at have dem liggende i RAM.arkanis (3) skrev:Syntes jeg læste et sted at netflix smider deres mest set videoer ind i RAM som rå ukomprimeret filer
Streaming er en af de opgaver, hvor søgetider har mindst betydning. Så streaming direkte fra harddiske er en reel mulighed. Søgninger er først et problem, når samme disk skal streame til flere brugere samtidigt. I den situation skal der være RAM nok til lidt buffering, så man undgår at bruge for meget tid på at vente på at hovedet flyttes.
Den RAM til buffering behøver ikke ligge i datacenteret. Man kan sagtens bruge RAM på klientsiden til det. Bruges RAM på klientsiden til det formål kræver det dog at der er den ekstra båndbredde til at hver klient kan modtage data hurtigere i bursts og så lade forbindelsen idle derimellem.
kasperd (13) skrev:Hydrogen har kun den halve tæthed af helium. Så hvorfor har de valgt helium fremfor hydrogen? Kan det tænkes at hydrogen over tid kan tære på materialet pladerne er lavet af?
Måske.
Eller værre - lidt luft ind og en gnist fra mekanikken/elektronikken.
Den nye WD Hindenburg disk.
:-)
#13
Det har, som arne_v siger, sikkert noget med sikkerhed at gøre: Hydrogen safety
Hydrogen er åbenbart ret svært at indkapsle og at spærre det inde sammen med en masse mekaniske og elektroniske dele gør nok ikke opgaven lettere.
Det har, som arne_v siger, sikkert noget med sikkerhed at gøre: Hydrogen safety
Hydrogen er åbenbart ret svært at indkapsle og at spærre det inde sammen med en masse mekaniske og elektroniske dele gør nok ikke opgaven lettere.
Det er nemmere at holde ilt ude end det er at holde helium inde. Med den begrænsede volumen en harddisk har er jeg ikke sikker på om der kan være nok hydrogen til at det kan gøre nogen betydelig skade. Det er stadigvæk kun ved almindeligt atmosfærisk tryk.arne_v (14) skrev:Eller værre - lidt luft ind og en gnist fra mekanikken/elektronikken.
Jeg vil dog ikke selv kaste mig ud i en eksperimentel efterprøvning af, hvad der sker hvis en hermetisk lukket harddisk fyldt med to dele hydrogen og en del ilt bringes til reaktion. Den opgave overlader jeg gerne til de professionelle.
De mekaniske dele gør ikke opgaven vanskeligere, da de jo holdes inde i kassen. Der skal nødvendigvis nogle ledninger ud af den lukkede kasse, hvilket må være en af udfordringerne. Men dit link bekræfter til gengæld at hydrogen kan tære på materialerne.chewie (15) skrev:Hydrogen er åbenbart ret svært at indkapsle og at spærre det inde sammen med en masse mekaniske og elektroniske dele gør nok ikke opgaven lettere.
Der ser ud til at være nok grunde til at undgå hydrogen. Så må man jo nøjes med det næstbedste (målt på densitet).
Det er garanteret helium-4 de bruger. Jeg tror helium-3 er for dyrt.
kasperd (13) skrev:Det ville ikke give mening at have dem liggende ukomprimeret. De skal ligge komprimeret i samme format som de bliver streamet.
Alt andet ville være en katastrofe performance mæssigt.
kasperd (13) skrev:Og jeg er ikke sikker på at de har nogen som er så populære, at det kan betale sig at have dem liggende i RAM.
De fleste analyser siger at NetFlix må have 4-8 millioner samtidige streaming sessioner om aftenen (US).
Der må være mange som ser de samme populære film.
Så caching er oplagt.
Men for filer i film størrelse vil jeg tro at fil system cache og disk cache er mere hensigtsmæssigt end applikations cache.
En hurtig ggogling viser også at NetFlix'es EVCache kun cacher meta data op til 1 MB.
Givet at der er under en million populære film, så må det være rigtigt at der er flere som ser samme fil samtidigt. Men de er ikke nødvendigvis startet samtidigt. Spørgsmålet er så om det bedst kan betale sig at holde data i RAM fra den ene bruger ser et givet fragment af filmen indtil den næste kommer forbi det sted i filmen, eller om det bedre kan betale sig at have nok diske til at indlæse det efter behov.arne_v (17) skrev:De fleste analyser siger at NetFlix må have 4-8 millioner samtidige streaming sessioner om aftenen (US).
Der må være mange som ser de samme populære film.
Det er lidt for sent på aftenen for mig til at udføre regnestykket. Men det må være muligt at regne ud hvor mange sekunder det kan betale sig at have data liggende i RAM. Og hvis der går længere tid end det, før det skal bruges, så kan det bedre betale sig at indlæse det igen.
I en sådan beregningsmodel vil det optimale valg af diske måske slet ikke være bestemt af diskenes kapacitet, men derimod af throughput og søgetid. Der skal eksistere kopier af hver film på mere end en disk. De mest populære film kan evt. eksistere på mange diske. Man kan nok også regne ud, hvor mange kopier det kan betale sig at have før det bedre kan betale sig at have den liggende permanent i RAM.
Et tilstrækkeligt avanceret distribueret filsystem håndterer ovenstående problematikker helt automatisk.
kasperd (16) skrev:Jeg vil dog ikke selv kaste mig ud i en eksperimentel efterprøvning af, hvad der sker hvis en hermetisk lukket harddisk fyldt med to dele hydrogen og en del ilt bringes til reaktion. Den opgave overlader jeg gerne til de professionelle.
Stik mig en harddisk, noget tætningsmasse, noget hydrogen og så skal jeg satme nok ...
Men med ilt, mener du atmosfærisk luft, eller ren* ilt?
*medicinsk
Hvad bilder du dig ind sådan at stille spørgsmål, der viser at jeg har skrevet noget som ikke var 100% gennemtænkt.PHP-Ekspert Thoroughbreed (19) skrev:Men med ilt, mener du atmosfærisk luft, eller ren* ilt?
Jeg mente ren ilt. Men sandsynligheden for at der ved et uheld trænger ren ilt ind fra omgivelserne er ret lille.
Atmosfærisk luft indeholder ca. 20% ilt. Så hvis man blander to dele hydrogen med fem dele atmosfærisk luft har man det blandingsforhold, hvor der kan komme mest energi ud af en reaktion. Så man skal have fem syvendedele af hydrogenen til at trænge ud og erstattes med atmosfærisk luft.
Men hvis den hydrogen der trænger ud ikke ledes væk, så kunne den potentielt gøre endnu mere skade.
kasperd (20) skrev:Hvad bilder du dig ind sådan at stille spørgsmål, der viser at jeg har skrevet noget som ikke var 100% gennemtænkt.
Jeg mente ren ilt. Men sandsynligheden for at der ved et uheld trænger ren ilt ind fra omgivelserne er ret lille.
Atmosfærisk luft indeholder ca. 20% ilt. Så hvis man blander to dele hydrogen med fem dele atmosfærisk luft har man det blandingsforhold, hvor der kan komme mest energi ud af en reaktion. Så man skal have fem syvendedele af hydrogenen til at trænge ud og erstattes med atmosfærisk luft.
Men hvis den hydrogen der trænger ud ikke ledes væk, så kunne den potentielt gøre endnu mere skade.
http://www.ayoungertheatre.com/wp-content/uploads/...
Hydrogen er faktisk meget sjovt at lege med - og rimelig reaktivt.
Men tilbage til det med harddisken, så vil jeg med glæde prøve at sprænge sådan en, for videnskabens skyld selvfølgelig :)
kasperd (18) skrev:Givet at der er under en million populære film, så må det være rigtigt at der er flere som ser samme fil samtidigt.
Fordelingen af hvad der ses må være ekstremt skæv p.g.a. forskelle i popularitet, nyt versus gammelt etc..
Det eneste fakta jeg kan finde er at første afsnit af "House of Cards" blev set 2.7 millioner gange på 12 dage.
Men det må være noget a la:
50% ser 100
75% ser 1000
90% ser 10000
kasperd (18) skrev:Det er lidt for sent på aftenen for mig til at udføre regnestykket. Men det må være muligt at regne ud hvor mange sekunder det kan betale sig at have data liggende i RAM. Og hvis der går længere tid end det, før det skal bruges, så kan det bedre betale sig at indlæse det igen.
Jeg finder det nærmest givet at noget indhold kan dte betale sig at cache og andet ikke.
Men en cache med LRU eviction er jo standard så ...
Ganske afgjort. Det var udregningen af, hvornår det kan betale sig og hvornår det ikke kan, som jeg ikke lige er i humør til at gennemføre.arne_v (22) skrev:Jeg finder det nærmest givet at noget indhold kan dte betale sig at cache og andet ikke.
Men hvis vi blot skal forholde os til udsagnet om at de mest populære film ligger i RAM. Så er det nok rimeligt at antage at det er sandt. Hvor mange der rent faktisk ligger i RAM ved vi ikke, men der skal kun to til, før de kan omtales i flertal.
LRU er en fornuftig general purpose strategi. Men det er en elendig strategi til streaming.arne_v (22) skrev:Men en cache med LRU eviction er jo standard så ...
Det kan illustreres med et eksempel.
Lad os antage at brugsmønstret og mængden af RAM ser ud så LRU lader data ligge i RAM 5 minutter efter de sidst er blevet tilgået. Hvis to brugere er i gang med at se samme film, og den ene er 4 minutter foran den anden, så vil nummer to aldrig skulle vente på en læsning. Men hvis der i stedet var 6 minutter imellem dem, så ville man holde data i RAM i 5 minutter og derefter smide det ud uden at have brugt det, for blot at indlæse det igen 1 minut senere.
Det var spild at holde data i RAM i 5 minutter, når man ikke kom til at bruge det. I de 5 minutter kunne den RAM have været brugt bedre. Og når man nu alligevel har holdt data i RAM i 5 minutter, så er det spild at smide det ud 1 minut før man får brug for det igen.
Hvis man ikke har nogen anelse om, hvilke data man får brug for indenfor den nærmeste fremtid, så er LRU den bedste approksimation man kan foretage. Men ved streaming har man jo en meget god idé om, hvilke data man får brug for.
Hvis en bruger har set de første 50 minutter af en film, så har jeg et godt gæt på, hvad han vil kigge på de næste 10 minutter.
Hvis man konsekvent gætter på at brugere der er i gang med at se en film bliver ved med at se den samme film, og man optimerer sin caching efter det gæt, så får man langt bedre opførsel end med LRU. Desuden er det også en god idé at lave noget readahead.
Så får du måske en opførsel, hvor to brugere der er 7 minutter fra hinanden i samme film vil resultere i at data bliver cachet i de 7 minutter. Mens to brugere der er 8 minutter fra hinanden vil resultere i at data forsvinder fra RAM umiddelbart efter første bruger er kommet forbi, og så bliver indlæst igen 1 minut før anden bruger når dertil.
arne_v (14) skrev:kasperd (13) skrev:Hydrogen har kun den halve tæthed af helium. Så hvorfor har de valgt helium fremfor hydrogen? Kan det tænkes at hydrogen over tid kan tære på materialet pladerne er lavet af?
Måske.
Eller værre - lidt luft ind og en gnist fra mekanikken/elektronikken.
Den nye WD Hindenburg disk.
:-)
Så kan man da tale om data i skyen :P
soda (10) skrev:Dejligt, at dette indlæg går fra, at handle om en harddisk til Netflix abonnement :)
Syntes det er på tide, at vi får lidt mere plads.
Nu mangler vi kun, at de kommer med diske i 2.5" formfactor extern på over 2 TB. Lidt træls, at skulle rende rundt med 2-3 af disse for, at have sine data med sig. 1 ville være så meget nemmere.
Fordelen er, at 2.5" kan tages med uden krav af extern strømforsyning, som på 3.5".
Det behøver du ikke vente på http://www.storagereview.com/samsung_spinpoint_m9t...
Opret dig som bruger i dag
Det er gratis, og du binder dig ikke til noget.
Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.
- Forside
- ⟨
- Forum
- ⟨
- Nyheder
Gå til bund