mboost-dp1

Microsoft

Microsoft går til kamp mod dårlige benchmarktest

- Via Microsoft - , redigeret af Pernicious

I løbet af de sidste par år har der været stor fokus på, hvor hurtig de moderne browsere indlæser websider, og Mozilla, Microsoft og Google har alle stolt reklameret med, at deres nye browser vil være blandt de hurtigste i verden.

Mange benchmark-testere, både professionelle og amatører, har dog givet verbale tæsk til især Microsofts IE8 for at være sløv eller på den ene eller anden måde oppustet.

Dette er selv sagt ikke noget, IE-teamet er specielt begejstrede over, og teamet er blevet lettere frustreret over, hvad de mener, er upræcise eller misvisende micro-benchmarks, hvor kun en lille del at browseren bliver testet.

Microsoft har derfor nu frigivet en artikel kaldet “Measuring Browser Performance: Understanding issues in benchmarking and performance analysis”, hvor de beskriver udfordringerne i benchmarking, giver en detaljeret beskrivelse af deres fremgangsmåde, og hvilke forholdsregler man skal tage for at få et brugbart testresultat som privatperson.

Blandt de problemer, man kan støde på i test af sideindlæsninger, er blandt andet caching, netværk latenstid, browsermålrettet indhold og det basale problem med at definere, hvad det vil sige, at et website er indlæst.

Ønsker man ikke at tygge sig igennem det 14 sider lange dokument, eller selv teste de forskellige browsere, har Microsoft produceret en video med resultatet af deres egen test. Her er resultatet, at hverken Chrome, Firefox eller IE8 er specielt hurtigere end de to konkurrenter, og at ingen af browserne konsekvent er den hurtigste.

Klik på overskriften af denne nyhed for at se videoen.





Gå til bund
Gravatar #1 - OmniGnu
13. mar. 2009 08:36
And so the fanboi wars begin ...
Gravatar #2 - RKJ
13. mar. 2009 08:47
14 siders langt dokument - jesus! De er da ikke kede af det hos Microsoft .. eller jo, det er de jo så faktisk alligevel.
Gravatar #3 - Kyoobix
13. mar. 2009 08:53
Hvorfor dog lave et så langt dokument om at test skal laves i kontrollerede miljøer, når det alligevel ikke kommer slutbrugeren til god?
Gravatar #4 - Proz
13. mar. 2009 08:58
Det interessante er om det her er en bevidst ny strategi fra MS. Tidligere har Microsoft været ræd for at tage til genmæle overfor kritik eller sammenligninger med konkurrenter, men her går de direkte ud og siger: Her er vores påstand og her er dataen til at understøtte det.
Gravatar #5 - milandt
13. mar. 2009 08:58
Hvis jeg som bruger har en oplevelse af at min browser er langsom, så er det benchmark nok for mig.

Jeg oplever f.eks at Firefox er længe om at starte op, men hurtig til at surfe med.
Gravatar #6 - Magten
13. mar. 2009 09:03
milandt (5) skrev:
Hvis jeg som bruger har en oplevelse af at min browser er langsom, så er det benchmark nok for mig.

Jeg oplever f.eks at Firefox er længe om at starte op, men hurtig til at surfe med.
Så længe du ikke bygger påstande om at FF dermed er den hurtigste, så er det jo også fint nok :)

Egentlig sjovt MS ikke lige har taget Safari og Opera med..
Gravatar #7 - Chillyskye
13. mar. 2009 09:06
Synes det er synd at den nye Safari browser slet ikke er nævnt i nyheden, i mine øjne pt den hurtigste browser, ikke dermed sagt at den er bedst i alle tilfælde, men mit umiddelbare indtryk tæller nu engang stærkest for mig.
Gravatar #8 - bjerh
13. mar. 2009 09:07
Nu skal I endeligt skyde mig med søm, hvis jeg tager fejl. Men er Safari ikke kun mærkbart hurtigere i test, når man sammenligner med den nyeste beta-version af browseren?
Gravatar #9 - Abech
13. mar. 2009 09:12
IE FTW!

Dette viser bare hvor latterlige Microsoft/IE haters er... Totalt uden grundlag.
Gravatar #10 - LordMike
13. mar. 2009 09:20
#9. Desværre. Så skal en masse folk nok finde en masse punkter at kritisere / klage over.
Gravatar #11 - lindysign
13. mar. 2009 09:20
Jeg gad godt se den person som vælger en browser fordi den på nogle få sider er et helt sekund hurtigere, og på lidt flere, nogle få millisekunder hurtigere. Jeg har på intet tidspunkt valgt browser ud fra de små forskelle, men vælger helt klart ud fra hvilken browser der passer til mine behov, og det er i sikkerhed, brugervenlighed, hastighed, indstillingsvenlighed osv.

Hvis det ikke var tilfældet, ville alle folk så ikke køre i den samme hurtige bil, frem for kørekomfort, antal døre, bagagerumsplads, farve osv.?

Temmelig ligegyldigt med de få millisekunder de forskellige browsere adskiller sig, bare de hele tiden udvikler sig. :)
Gravatar #12 - f-style
13. mar. 2009 09:24
#9

ja for der findes jo kun Én sandhed, nemlig den som MS siger? Kunne det måske tænkes at dette udspil bare er med til at få IE til at fremstå som hurtig?
Hvis en browser føles langsom, så er den langsom ligemeget hvad en benchmark siger.

Jeg tror nu mest på det som flest test kommer frem til. Men det er da godt at Ms tænker på hastigheden, kan jo være IE8 bliver markant hurtigere, hvilket jo er godt for alle parter, Konkurrence og benchmark er jo godt, fordi spillerne i markedet gerne vil kunne fremvise at netop de er hurtigst. Mangler dog bare noget innovation af browserne, syns google her har en ny indgangsvinkel til browsing, ikke at de andre browsere gør det dårligt.
Nu mangler vi bare at IE8 kommer til at overholde standarderne og lade være med at bibeholde skrammel kode. Virker visse hjemmesider ikke i den nye IE er de nødt til at skrive ordentlig kode i stedet for halvløsninger.
Gravatar #13 - Proz
13. mar. 2009 09:29
#11

Det er Damage Control. Der er ingen der vælger browser på grund af et par milisekunder, men nogle vælger browser efter om browseren er "hurtig" eller "langsom". Hvis IE8 bliver branded som en langsom browser når den kommer ud, så er det Vista-effekten om igen. Det som MS forsøger er at sige "Hey, det kan godt være at den her browser er lidt hurtigere til X men i det overordnede billede er de alle hurtige, og hvis vi vælger det her test-set så er vores browser generelt hurtigere".

Jeg var f.eks. af den overbevisning at Chrome var meget hurtigere, hvilket jo så viser sig muligvis at være en sandhed med modifikationer.

EDIT: #14 Husk at Xp, Vista, 7 alle bruger Pre-fetch, Super-fetch eller Ultra(?)-fetch, hvilket har indflydelse på hvor hurtigt et program starter.
Gravatar #14 - Adagio
13. mar. 2009 09:31
Nu er jeg personligt rimeligt ligeglad med benchmark tests, jeg foretrækker de test jeg selv laver, da det er jo det som viser hvor hurtig browseren er i den virkelige verden ikke i nogle benchmark-test verdener

Nu har jeg kun prøvet IE og Firefox og da må jeg sige at jeg hader IE7 (irreterende menu struktur, meget langsom opstart og generelt så er FireFox hurtigere til at loade sider, lige med undtagelse af skod sider designet til IE... og hvad er lige pointen i stop knappen i IE7? Den virker jo aldrig)
Gravatar #15 - Naith
13. mar. 2009 09:41
milandt (5) skrev:

Jeg oplever f.eks at Firefox er længe om at starte op, men hurtig til at surfe med.


Ja, det er en af de få punkter hvor jeg ser forskel. IE starter hurtigt (samme med Chrome), mens mit Opera og FF tager lidt længere tid. Kan mærke det, fordi jeg sidder ved notebook, som er belastet af mange kørende prosesser.
Men jeg er ikke i tvivl om hvad der er hurtigst på min maskine.
1. Opera, 2. FF og 3. Chrome/IE (bruger nærmest ikke Chrome, så kan godt være lidt forkert at sætte den sammen med IE)

Magten (6) skrev:

Egentlig sjovt MS ikke lige har taget Safari og Opera med..


Jep, tænkte jeg også på.
Opera er efter min overbevisning hurtigere end IE, og Safari reklamere med at de nu har "verdens hurtigste" browser.
Gravatar #16 - J4F
13. mar. 2009 09:51
Hvis Microsoft er så gode til at lave hastighedstest på browsere.

Skulle de så ikke lave en test der viste hvor gode browserne var til at overholde standarderne.
Gravatar #17 - Louis
13. mar. 2009 09:54
#5
Nu skal du også tænke på, at Internet Expllorer bliver loadet under boot, hvilket Firefox ikke gør.
Gravatar #18 - Proz
13. mar. 2009 09:57
#16 Skal vi ikke lige blive enige om hvilke standarder vi snakker om? "Standarderne" er et alt for løst begreb til at vi kan diskutere hvem der bedst overholder dem. Når vi så har lagt os fast på nogle standarder skal vi så lægge os fast på en version af standarden og dernæst betydningen af at overholde standarden og hvilke implementationer der lægger sig tættest op ad hvad der bliver skrevet i standarden. Det er et værre rod.

#15 Grunden til at Safari og Opera nok ikke er taget med er marketshare. Derudover er Safari 4 en beta, hvilket ikke vil være fair at teste op imod. Det kan godt være at MS mener at deres beta er testklar, men det betyder ikke at konkurrenternes beta er.

#17 kan du ikke lige finde en kilde på det? :)
Gravatar #19 - steinster
13. mar. 2009 10:00
#17

Alle de programmer du bruger ofte vil blive prefetched i en eller anden forstand. Om det så er IE, FF, Notepad eller hvad du nu måtte starte tit. Men det er forkert at det bliver loadet under boot - det giver da ingen mening. Som jeg har forstået det så loades ting først når du er logget ind.
Gravatar #20 - Annoyed
13. mar. 2009 10:13
Browser er en browser. Hvis den er for langsom så er det webside designet der fejler noget.
Jeg er ikke i tvivl om at de førende web browser udviklere prøver at gøre tingene optimalt hver på deres egen måde.
Men når man stiller krav om at web browsere skal kunne supportere en milliard ting og derudover være så sikre som muligt ...
Jeg ved det ikke ... Er det kun mig der kan se potentielle problemer i det her?
Det ender altid ... ALTID ... med at blive en stor suppe af alle mulige overflødigheder, og det er os som brugere der folanger at det skal være der.
Men det nemmeste er at lange ud efter udviklerne ... Og nu begynder MS at svare igen på et totalt irrelevant emne, lad vær med at benchmarke browsere ... det giver reelt set ingen mening.
Det sort og hvidt på det ... om en side loader på 0.34 sek eller 0.87 er fuldstændig ligemeget.
Hvis det er flere sekunder der er tale om så er problemet det jeg startede med ... web siden ... vi elsker at putte alt muligt på vores websider for hvem ønsker ikke sine web sider druknede i reklamer, fancy dit og dat samt 5% relevant data?

Standarder er som religion, noget vi ikke forstår, men et ord der fungerer som silicone for at tætte fugerne i vores manglende begrebs apparat.

Standarder vokser og voker og jeg synes det er på tide at man pløjer jorden på ny, problemet er bare at der er halve verden der gerner vil være aktører i at indføre den ... Dog er kun en-to stykker der kvalificerer sig.
Gravatar #21 - mark
13. mar. 2009 10:40
Jeg kan godt lide den måde FF virker på, jeg er ligeglad med hvem der er hurtigst.
Gravatar #22 - lorric
13. mar. 2009 10:52
Jeg bruger nu også Firefox pga Addons, primært Adblock og Foxmarks. Jeg har ikke kunnet finde en gratis Adblocker til IE, og har ikke prøvet med Chrome og de andre.
Gravatar #23 - mat
13. mar. 2009 11:11
Det kan godt være det er mig der er misinformeret (eller selektiv). Men de seneste "claims for speed", jeg har lagt mærke til er gået på javascript? Og der får IE stadig så mange klask at man skulle tro de ikke havde udviklet på enginen siden version 6, mens alle de andre er stukket af?

Gravatar #24 - mazing
13. mar. 2009 11:13
Lige for at counter de påstande om at hastighed er ligegyldigt:

http://www.codinghorror.com/blog/archives/000722.h...

Google forsøgte på et tidspunkt at vise flere resultater på deres hjemmeside:

After a bit of looking, Marissa explained that they found an uncontrolled variable. The page with 10 results took .4 seconds to generate. The page with 30 results took .9 seconds. Half a second delay caused a 20% drop in traffic. Half a second delay killed user satisfaction.


Kan vi så få noget fakta på bordet, istedet for det her skidt :@
Gravatar #25 - Ibankai
13. mar. 2009 11:25
Firefox Bruger. (IE hater)

Djælme mange folk som er kommet til mig og siger at deres IE er langsomt og de er frustreret over det tager så langtid at loade forskellige sider. Så sætter man sig ved deres computer og prøver det af. OG JESUS JA! man sidder og tænker "har jeg stadig 56k modem eller hva sker der her."

Gider slet ik tjekke browseren og dens indstillinger, installere konsekvent Firefox med addons og vupti, så har man en glad internet bruger igen resten af deres "windows-sytems levetid."

IE er virkelig dårligt, så jeg egentlig ligeglad med hvad et papir skriver. Oplevelsen er alt for en internet bruger! Det med at sige at man er ligeglad med den loader 1 sekund hurtigere er ligegytldigt, bruger slet ik sit internetet nok til at kunne sammenligne.

60 hits om dagen x 1 sekund = 60sek = 1minut
1 minut gange 365.. ja i kan vel godt selv regne ud det ender op i timer ;)
Gravatar #26 - Spiderboy
13. mar. 2009 11:30
milandt (5) skrev:
Hvis jeg som bruger har en oplevelse af at min browser er langsom, så er det benchmark nok for mig.

Jeg oplever f.eks at Firefox er længe om at starte op, men hurtig til at surfe med.

Helt enig. Jeg interesserer mig heller ikke synderligt meget for benchmarks, da det er ens personlige oplevelse, som i praksis betyder noget.

Jeg oplever også, at Firefox generelt er lidt langsommere om at starte, men til gengæld er Internet Explorer langsommere at surfe med (altså HTTP requests) - især på sider med mange billeder, f.eks. avanceret design eller galleri-thumbnails.
Gravatar #27 - CJ2
13. mar. 2009 12:04
Har de sidste 3-4 år forsøgt at holde af Firefox, men jeg åbner stadig andre først. Pt er Chrome min foretrukne med en hårbredde foran Opera - primært fordi den er så dejlig simpel, hurtig og alt det andet. Kan faktisk også godt lide de nyere IE - fra 7 og op, men efter min smag er IE noget langsommere, så den kommer ikke på førstepladsen.

Firefox er stadig den joker jeg aldrig rigtig kommer i gang med, for so far har jeg aldrig været ude for at den præsterer på samme niveau som de andre i mit daglige brug ... :-P
Gravatar #28 - angrysurmøgstodderasshole
13. mar. 2009 12:14
Jeg kan udmærket sætte mig ind i hvad de føler når de læser uberettiget kritik, men jeg kan jo ikke som forbruger bruge det til en skid, at jeg får stukket et 14 sider langt dokument ud, der detaljerer hvordan jeg bør kunne holde af et stykke software.

Det er køreoplevelsen der tæller.. hvis den er dårlig, så er det TOTALT ligegydigt om der sidder en god motor under hjelmen.
Gravatar #29 - Windcape
13. mar. 2009 12:22
Annoyed (20) skrev:
Dog er kun en-to stykker der kvalificerer sig.
XHTML - http://www.w3.org/TR/xhtml1/#acks

Tantek Çelik, Microsoft
Rob Relyea, Microsoft
Patrick Schmitz, Microsoft
Chris Wilson, Microsoft

Yep, Microsoft havde 4 folk med til at udvikle XHTML, den standard de er værst til at følge selv, tiltrods for at det er standard i deres eget ASP.NET framework.
Gravatar #30 - DrHouseDK
13. mar. 2009 12:23
Det mest utrolige er, at de går op i noget SÅ voldsomt, hvor SÅ mange mennesker couldn't care less. Jeg tror helt ærligt at den gennemsnitlige PC-bruger er bragende ligeglad :)
Gravatar #31 - -sippo-
13. mar. 2009 12:25
Den der var hurtigst til at indlæse microsoft.com var firefox...


se det er en benchmark jeg kan bruge til noget. når jeg lige vil køre en windows update, så skal jeg bare bruge firefox :D

fjollet test. jeg kan lave en browser den kan indlæse alle sider 100 gange hurtigere. måske bare ikke særligt godt. og ikke efter nogle standarter, og enlig nok også uden indhold.

<!--irrelevant
anyways. bruger mest firefox, uden at lukke det, så jeg spare opstarten. bruger opera(tor) som portable app, og bruger ie til windows update. hurra!
irrelevant-->
Gravatar #32 - zin
13. mar. 2009 12:26
#31: Telnet på port 80 med kommandoen page index.html? It's been done! ;)
Gravatar #33 - Anders Lund
13. mar. 2009 12:27
Det er ved at blive mindre relevant, da de fleste (nye eller kommende) browsere rent faktisk er begyndt at blive så hurtige i sig selv, at der er andre faktorer, som spiller ind. F.eks. kan FF på én maskine være en del hurtigere end en anden, pga. plugins, fragmentet harddisk, personlig firewall, antivirus, Windows version osv. Det samme gælder de andre browsere.

Derfor bliver det andre punkter som brugerinterface, funktioner, ideologiske synspunkter, opdateringshastighed osv., som gør sig mere gældende.

Hvad jeg dog ønsker at man priortierede var hastigheden af at trykke tilbage... her er Opera vist nok foran.

Dette har gjort at jeg lige nu (imens jeg skriver artiklen her) har installeret Opera og vil prøve at bruge den som standard browser og så håbe at den ikke irritere mig for meget, som den tidligere har gjort. :-)
Gravatar #34 - .dot
13. mar. 2009 15:09
Anders Lund (33) skrev:
Hvad jeg dog ønsker at man priortierede var hastigheden af at trykke tilbage... her er Opera vist nok foran.

Næh. Hurtig test mellem Chrome 2.0 og Opera 9.64 viste nærmest ingen forskel.

EDIT: Firefox 3.0.7 ser dog udtil at være hurtigere end overstående på det punkt, sjovt nok.
Gravatar #35 - arne_v
13. mar. 2009 15:35
ZiN (32) skrev:
kommandoen page index.html


Du mener "GET /index.html HTTP/1.0" ?
Gravatar #36 - milandt
13. mar. 2009 16:55
-sippo- (31) skrev:
bruger mest firefox, uden at lukke det, så jeg spare opstarten.
Jeg synes Firefox starter nærmest instant når først den har været startet op een gang, selv man lukker den ned igen.
Gravatar #37 - arne_v
13. mar. 2009 16:59
#36

Det er også min erfaring. Den er meget langsom første gang. Men derefter rimeligt hurtigt.

Der må blive noget liggende i memory.
Gravatar #38 - Killa
13. mar. 2009 22:19
Proz (18) skrev:
#16 Skal vi ikke lige blive enige om hvilke standarder vi snakker om?

Annoyed (20) skrev:
Standarder er som religion, noget vi ikke forstår, men et ord der fungerer som silicone for at tætte fugerne i vores manglende begrebs apparat.

http://www.w3.org/TR/

Annoyed (20) skrev:

Det sort og hvidt på det ... om en side loader på 0.34 sek eller 0.87 er fuldstændig ligemeget.

Nej? Et halvt sekund pr. side, med 50 sider pr. døgn bliver i løbet 50 år til over fem døgn. Får du 200 i timen kunne du have tjent 24.000 kr. Og det er ved ½ sek. Sammenligner du IE og Firefox med Adblock er forskellen MEGET større.
Gravatar #39 - arne_v
14. mar. 2009 00:51
KILLA (38) skrev:
Et halvt sekund pr. side, med 50 sider pr. døgn bliver i løbet 50 år til over fem døgn. Får du 200 i timen kunne du have tjent 24.000 kr.


Forudsat at du kan finde en arbejdsgiver der vil betale dig for 50 aktiviteter af 0.5 sekunder om dagen.

Sandsynligheden er nok større for at vinde i Lotto.

Gravatar #40 - Stallemanden
14. mar. 2009 12:16
Jeg kan ikke se det er et problem, at Microsoft vælger at lave en benchmark af deres browser, op imod andre.
Alle andre aktører gør det.
IE, FF, Opera, Chrome, Opera og hvad vi ellers har.
De laver alle benchmark/test af deres browser op imod andre.

Forskellen er her, at Microsoft har valgt at dokumentere hvad og hvorfor de gør det de gør.

Men jeg er som mange andre, lidt ligeglad med de tests.
Det er min oplevelse, at det er den browser jeg lige synes bedst om, der er bedst. Jeg er ikke fanboy, skifter lidt mellem de tre jeg har installeret. IE8, FF og Chrome.
Gravatar #41 - Killa
14. mar. 2009 17:26
arne_v (39) skrev:
Forudsat at du kan finde en arbejdsgiver der vil betale dig for 50 aktiviteter af 0.5 sekunder om dagen.

Sandsynligheden er nok større for at vinde i Lotto.


Selvfølgelig vil der ikke være det (med mindre man er selvstændig). Det var nu mere for at fortælle at selvom 0,5 sek er så lidt at de fleste vil være ligeglade, så er det ikke ligemeget.

Flueknæpperi - Man skal ikke finde en arbejdsgiver er vil betale for 50*0,5 sek, men 1*25 sek. Du holder jo ikke 50 pauser på ½ sek, men kan gå fra pc'en 25 sek før du ellers ville.
Gravatar #42 - paradise_lost
14. mar. 2009 19:14
Mine erfaringer er at Opera er klart den hurtigste til opstart og under brug. Alt fungerer bare mere "flydende" i Opera.
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login