IBM-system kan scanne 10 milliarder filer på 43 minutter

Noget TPB har bestildt ..? Og er det ikke lidt sølle at oplyse om en ny rekord, der ene og alene skyldes, at man har skiftet hardisk ud med SSD .. Skulle jo tro at algoritmerne i mellemtiden også skulle have haft et løft :=)

#1) Tja, en rekord er vel en rekord! :D lige som "winning is a winning" lige meget hvor tæt du er på at tabe! :D

Optimalt burde det vel kunne gørres på samme tid, som det tager at scanne en fil.

#3 øh ?? 2 > 1 vil altid gælde ?

#4 Hvis jeg havde ti milliarder computere med ti milliarder harddiske og ti milliarder filer, en på hver computer, så kunne jeg da godt scanne ti milliarder filer på samme tid som det tager at scanne en.

WinPower (5) skrev:

#4 Hvis jeg havde ti milliarder computere med ti milliarder harddiske og ti milliarder filer, en på hver computer, så kunne jeg da godt scanne ti milliarder filer på samme tid som det tager at scanne en.

Mon dog.
"Den cocktail har IBM sat sammen i et storagesystem bestående af en klynge med 10 storageservere" Det er nok en del mere effektivt en din sammensætning!
Men ville du kunne gøre det ligeså effektivt som IBM?

Det drejer sig om en ny udgave af IBM's særlige storagesoftware til IBM's eget filsystem General Parallel File System, GPFS, som IBM nu har fintunet endnu en gang og kombineret med SSD-diske.

webwarp (1) skrev:

Noget TPB har bestildt ..? Og er det ikke lidt sølle at oplyse om en ny rekord, der ene og alene skyldes, at man har skiftet hardisk ud med SSD .. Skulle jo tro at algoritmerne i mellemtiden også skulle have haft et løft :=)

Har de da ikke fået det?
Har du overhovedt læst kilden eller Version2's oversættelse?
http://www.version2.dk/artikel/ibm-system-kvaerner...

skipperskip (6) skrev:

Mon dog.
"Den cocktail har IBM sat sammen i et storagesystem bestående af en klynge med 10 storageservere" Det er nok en del mere effektivt en din sammensætning!
Men ville du kunne gøre det ligeså effektivt som IBM?

Jeg er ikke i tvivl om at de har noget sejt gear hos IBM, men fortæl mig lige hvorfor mit 10-milliarders-pc-rig ikke ville kunne scanne 10 milliarder filer på samme tid som man kan scanne en.

WinFlower>

Han har aldrig sagt at det ikke kan.
Men stiller dog spørgsmål ved om det er i nærheden så effektivt som IBM's :) Og prøv du og hav 10 milliarder servere sat i i et rack :D

ThiaZ (8) skrev:

Han har aldrig sagt at det ikke kan.

Mon dog.

WinPower (7) skrev:

skipperskip (6) skrev:

Mon dog.
"Den cocktail har IBM sat sammen i et storagesystem bestående af en klynge med 10 storageservere" Det er nok en del mere effektivt en din sammensætning!
Men ville du kunne gøre det ligeså effektivt som IBM?

Jeg er ikke i tvivl om at de har noget sejt gear hos IBM, men fortæl mig lige hvorfor mit 10-milliarders-pc-rig ikke ville kunne scanne 10 milliarder filer på samme tid som man kan scanne en.

Fordi du ikke vil kunne have ti milliarder computere kørende på én gang, uden af mindst én af dem ikke virker, hvilket vil ødelægge det hele. Du har desuden ti milliarder harddiske, hvor igen at alle uden undtagelse skal virke.

Hvordan vil du få smidt én fil på hver af de ti milliarder computere? Det vil kræve en fanden masse arbejdskraft, blot at holde styr på bare den del af processen, desuden vil de komme med st svar allesammen, som du igen skal have en computer til at vise.

Hvis du så desuden kører Windåse, vil de 2 milliarder være i gang med at genstarte, yderligere 2 milliarder vil virusscanne, 100 millioner vil have BSOD, og 2 milliarder vil være en del af et botnet....

Ps. er du egentlig sikker på, at du overhovedet ikke selv kører Linux på bare ét af dine elektroniske apparater hjemme. Din fladskærm, router osv...

WinPower (5) skrev:

#4 Hvis jeg havde ti milliarder computere med ti milliarder harddiske og ti milliarder filer, en på hver computer, så kunne jeg da godt scanne ti milliarder filer på samme tid som det tager at scanne en.

det kan man godt... med en kvantecomputer - men det har vi ik... godnat og sov godt.

@skipperspik
Hvormange filer tror du norton+avg+mse+etc worldwide kan scanne på 43 min.

skipperskip (10) skrev:

Ps. er du egentlig sikker på, at du overhovedet ikke selv kører Linux på bare ét af dine elektroniske apparater hjemme. Din fladskærm, router osv...

Ja. Microsoft klare det hele.

WinPower (12) skrev:

@skipperspik
Hvormange filer tror du norton+avg+mse+etc worldwide kan scanne på 43 min.

Det er da sagen uvedkommende.
Det er jo 10 milliarder bestemte filer, scannet af én computer. De 10 milliarder filer blev scannet og de relevante udvalgt.

WinPower (13) skrev:

Ja. Microsoft klare det hele.

Ja ja, så siger vi det...

skipperskip (14) skrev:

WinPower (12) skrev:

@skipperspik
Hvormange filer tror du norton+avg+mse+etc worldwide kan scanne på 43 min.

Det er da sagen uvedkommende.
Det er jo 10 milliarder bestemte filer, scannet af én computer. De 10 milliarder filer blev scannet og de relevante udvalgt...

Aarh, det er ét system. Ikke én computer. Og der står teknisk set ikke at det er bestemte filer, og det er vel ikke det rekorden går ud på? Men bare at det er 10 milliarder filer scannet pænt hurtigt?

Og teorien holder vel stadig, med 10 milliarder pc-rig. Nu nævner du så praktiske forhindringer, som fejl osv. Men det er jo ligemeget, de praktiske ting findes jo ikke i teorien :)

Og jeg synes da også at worldwide antivirus burde tælle. Det kan da godt være, det ikke er bestemt filer, og det ikke er på ens "eget" system, men bare uddelegeret til masserne, men det gør det da også bare mere imponerende end det IBM har gang i?

Hvis du kan bygge en flyvemaskine med dine bare næver på 2 år, siger jeg flot. Men hvis jeg kan få en fabrik og 500 mennesker til at lave mig en på 5 dage, så synes jeg personligt det er federe.

I øvrigt, er det da også mere imponerende at det er random, tilfældige filer, og ikke bestemte filer :)

Dynde87 (15) skrev:

skipperskip (14) skrev:

WinPower (12) skrev:

@skipperspik
Hvormange filer tror du norton+avg+mse+etc worldwide kan scanne på 43 min.

Det er da sagen uvedkommende.
Det er jo 10 milliarder bestemte filer, scannet af én computer. De 10 milliarder filer blev scannet og de relevante udvalgt...

Aarh, det er ét system. Ikke én computer. Og der står teknisk set ikke at det er bestemte filer, og det er vel ikke det rekorden går ud på? Men bare at det er 10 milliarder filer scannet pænt hurtigt?.

Læs dog kilden!
"...IBM Research demonstrated, for the first time, the ability to do policy-guided storage management
(daily tasks such as file selection for backup, migration, etc.) for a 10-billion-file environment in 43
minutes.
The task of managing storage: backing up, migrating to appropriate
performance tiers, replication and distribution is overburdening this infrastructure. It is not possible
with existing solutions to manage 10 billion files actively today.

The components in the system are:
1. IBM 3650 M2 servers
• Ten used
• CPU: 2.8 GHz dual quad core x86_64
• Processor cache size 12 MB
• 32 GB of DRAM
2. Violin Memory 3205 Solid-state Storage Systems
• Four used
• Aggregate total raw capacity of 10 TB
• Aggregate bandwidth 5 GB/s
• 1.8 TBs formatted per 3205, aggregate usable capacity 7.2 TBs
• Two 14x 128GB partitions
• Two 10x 180 GB partitions
• Aggregate 4 KB read operation rate > 1 MIOPS
• Typical write latency at 4KB: 20us
• Typical read latency at 4 KB: 90us
3. SilverStorm Infiniband switch
• Model 9024
• 24 port
• 10/20 Gb/s"
http://www.violin-memory.com/images/IBM-Violin-GPF...

IBM bruger kun 10 servere til det du vil bruge 10 milliarder til!

Og teorien holder vel stadig, med 10 milliarder pc-rig. Nu nævner du så praktiske forhindringer, som fejl osv. Men det er jo ligemeget, de praktiske ting findes jo ikke i teorien :) .

Jeg synes ikke rigtig, at man kan bruge teorier til ret meget, hvis man blot ser bort fra de forhindringer der er.
Jeg kunne i teorien blot tage en almindelig computer, smide 10 milliarder filer på den, og overclocke den, så skal det såmænd nok virke. Jeg ser så bort fra, at den brænder af, for det er jo blot en teori.

Teorien med ti milliarder computere med ti milliarder harddiske er da fin nok, men ikke noget som vil kunne lade sig gøre i praksis, så derfor er den ikke noget værd.
IBM HAR lavet noget, som virker i teori OG i praksis.

Har du tænkt på, hvor lang tid det tager, at få sendt informationerne til de ti milliarder computere, og derefter informationerne om hvad der skal scannes efter - det er jo forskelligt fra opgave til opgave, vente på svar, og så modtage svar samtidig fra ti milliarder computere.
Alene blot at fortælle ti milliarder hvad de skal lave, tager hurtigt 43 minutter!

Og jeg synes da også at worldwide antivirus burde tælle. Det kan da godt være, det ikke er bestemt filer, og det ikke er på ens "eget" system, men bare uddelegeret til masserne, men det gør det da også bare mere imponerende end det IBM har gang i?.

Så er det jo noget helt andet du har gang i. Du kan da slet ikke sammenligne de to ting!
Du har ti milliarder computere til at stå og scanne en masse en masse filer. De leder efter det samme i en masse ens filer, og kan så sige "Ja, der var virus".

I øvrigt, er det da også mere imponerende at det er random, tilfældige filer, og ikke bestemte filer :)

Meget muligt, men det kan du jo ikke bruge i denne sammenhæng.
Du skal tænke på systemet, som en kæmpe database, hvor kunden skal bruge en stak bestemte filer, ud fra de kriterier der bliver opstillet, til lige præcis den opgave.
Systemet kan så pløje 10 milliarder filer igennem på 43 minutter, vel og mærket ét system, som man kan have stående i ét rum, som én maskine.