mboost-dp1

Toshiba

Terabyte-barrieren brudt med ny verdensrekord

- Via Bioscholar - , redigeret af Pernicious

Forskere fra University of California brød under dette års VM i datasortering terabyte-barrieren og satte ny verdensrekord, da det lykkedes dem at sortere en terabyte data, altså 1.000 gigabytes, på 60 sekunder.

Flere firmaer vil kunne drage stor nytte af de opnåede datasorteringshastigheder, da behovet er større end nogensinde før. Internettet har i særdeleshed skabt nye scenarier, hvor datasortering er vigtigt, for eksempel reklamer på Facebook, brugertilpassede anbefalinger på sider som Amazon og nyligt opdaterede resultater fra Google, som alle kræver sortering af op til flere petabyte data, hvilket svarer til flere tusinde terabytes.

Amin Vahdat, projektleder skrev:
Companies are pushing the limit on how much data they can sort, and how fast. This is data analytics in real time.

Amin Vahdat, som ledte projektet, udtaler, at firmaerne er ved at nå grænsen for, hvor meget data de kan sortere samt hvor hurtigt. Han konkluderer, at behovet for bedre datasortering stadig er stort, da det ofte er en flaskehals for firmaernes aktiviteter.

Resultaterne kan ses på sortbenchmark.org.





Gå til bund
Gravatar #1 - FeedMe
2. aug. 2010 17:51
Ville være rart med en forklaring af hvad datasortering egentlig er for noget...altså bare for os, som ikke er helt nok nørder til at vide det...
Gravatar #2 - Anders Fedеr
2. aug. 2010 17:56
Det er eksempelvis at sortere en liste i alfabetisk rækkefølge. Altså det at have en mængde uordnede elementer og skulle ordne dem efter et eller andet mål.
Gravatar #4 - BeLLe
2. aug. 2010 18:03
Bare for at fluekneppe men er 1 Terabyte ikke 1024 Gigabyte?

Eller er det blevet helt opgivet til fordel for nemmere beregning
Gravatar #5 - D_V
2. aug. 2010 18:08
#4
Ifølge SI standarden som definere Giga, Tera osv. Så er en Tera 1000^4

Her forklares forvirringen lidt:
http://en.wikipedia.org/wiki/Binary_prefix


On topic:
Hader at se når de siger at nu er grænsen nok snart nået, de siger det jo gang på gang med alt muligt. Og aligevel så går der ikke lang tid før der kommer en ny teknik til der flytter grænsen.
Gravatar #6 - Bladtman242
2. aug. 2010 18:34
BeLLeDK: det relevante på siden D_V linker til ses lettest på skemaet øverst til højre.
Da der var forvirring omkring det 'korrekte' (kilo = 1000) og
det man bruger nar vi snakker om data (kilo=1024) opfandt man udtrykkene kibi, medi, gibi, tebi osv. de dækker over den 'forkerte' måde, som vi kender fra computerene.

Problemet er bare at folk aldrig har taget det til sig :D
Gravatar #7 - PowerPatrick
2. aug. 2010 18:42
But that's still not hellabytes of sorting.
Gravatar #8 - komentulle
2. aug. 2010 19:35
Nu er det jo heller ikke lige et helt "hjemme" setup de har brugt..
Men det er interessant læsning.. og tankevækkende.. alene den tid det vil tage at læse 1T fra disken..

Fra deres "abstract" ( http://sortbenchmark.org/tritonsort_2010_May_15.pd... )
Our testbed consisted of 52 HP ProLiant DL380 G6
servers, although we use different numbers of servers
for different benchmarks. Each server has two quadcore
Intel Xeon E5520 processors, clocked at 2.27 GHz,
and 24 GB of RAM. Each server also hosts 16 2.5-inch
500 GB, 7200 RPM SATA hard drives. 40 of the machines
use HP Seagate MM0500EANCR drives that are
enterprise-grade and therefore have a much higher reliability.
The remaining machines use Seagate Momentus
7200.4 drives, which are consumer-grade.
Each machine is equipped with a 1Gbps on-board network
card as well as a Myricom 10Gbps network card.
Both network cards run unmodified Ethernet. All the
machines in our testbed are inter-connected via a Cisco
Nexus 5020 switch, which provides 10 Gbps connectivity
between all pairs.
Gravatar #9 - asfaltgeden
2. aug. 2010 19:54
Er det ikke lidt misvisende, at forklare 1 TB som 1 billion byte? I computerverdenen er 1 TB 1024 GB, hvor hver GB er 1024 MB o.s.v....
Gravatar #10 - LordMike
2. aug. 2010 20:10
#8... Whut.. De brugte 52 servere?!?...

...
Butbut... Så vil de jo også bryde den næste år, når de trækker 104 servere ind... Og næste igen med 208 servere.... ... ... -.-
Gravatar #11 - onetreehell
2. aug. 2010 20:45
#enheder
Når man snakker om ram størrelser er det altid i 2-potenser, altså 1 "KB" = 1 KiB=1024 B. Når det handler om data på f. eks. harddisk regner man _som regel_ i SI-enheder, dvs. 1 KB = 1000 B...
1 {T,G,M,K}iB = 1024 {G,M,K,}B
Gravatar #12 - arne_v
2. aug. 2010 20:47
#11

Det er praksis.

Men er det ikke mere et udtryk for at harddisk producenter er større svindlere end RAM producenter?

:-)
Gravatar #13 - Athinira
2. aug. 2010 21:15
nbca (9) skrev:
Er det ikke lidt misvisende, at forklare 1 TB som 1 billion byte? I computerverdenen er 1 TB 1024 GB, hvor hver GB er 1024 MB o.s.v....


Nej. Du bruger altid 1000 og ikke 1024.

Du har måske aldrig undret dig over hvorfor den 80 GB harddisk du købte kun giver dig 72-73 GB? Det har altid været sådan. Tidligere postere har allerede forklaret hvorfor.

Når man snakker om den overordnede størrelse 1 TB snakker man om 1.000.000.000.000 byte, og din computer runder derefter ned med 1.024 ad gang. Så det bliver 976.562.500 kilobyte, aka. 953.674,31 megabyte, aka. 931,32 gigabyte. 931 GB er sjovt nok hvad min 1 TB eksterne harddisk giver mig at rode med :o)
Gravatar #14 - onetreehell
2. aug. 2010 21:27
#12
Tjoeh. Jeg synes også det er lidt svindel, men ja... :)

#13
Det er så pga. filsystemet skal bruge noget plads -.-
Gravatar #15 - Athinira
2. aug. 2010 21:45
onetreehell (14) skrev:
#13
Det er så pga. filsystemet skal bruge noget plads -.-


Havde jeg glemt. My bad, du har ret :)
Gravatar #16 - Utte
3. aug. 2010 06:21
#10

nu skal du lige tage med at sortere 1tb giver en stor mængde netværkstrafik...

I øvrigt har google lavet et resultat tæt på med omkring 1000 computere tror jeg. Og det viser bare at det ikke nødvendigvis bliver hurtigere at sortere jo flere servere der er...
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login