mboost-dp1

Folketinget

Folketingets nye site blev presset i knæ af søgerobotter

- Via Computerworld DK - , redigeret af Emil , indsendt af Jace

Midt i september offentliggjorde Folketinget deres nye hjemmeside i en betatest, hvor man kunne få en forsmag på, hvordan den ville se ud og virke.

For få dage siden blev den officielt lanceret, men blev efter ganske kort tid ramt af et nedbrud. Det viser sig nu, at det var en overvældende mængde trafik, der fik siden til at gå i knæ, men ikke fra nysgerrige borgere, derimod fra søgemaskiner.

Flere forskellige søgemaskiner var gået i gang med at indeksere den nye side, hvilket resulterede i mange tusinde af “visninger” på kort tid, og det var mere, end hvad serverne kunne klare.

Liselotte Astrup, it-udviklingschef hos Folketinget til ComputerWorld skrev:
Det er søgerobotter, som går ind og crawler hele sitet. Så vi regner med, at det er begyndervanskeligheder.

Løsningen på problemet blev at udelukke nogle af søgemaskinernes robotter i at crawle siden.





Gå til bund
Gravatar #1 - method
8. okt. 2009 07:29
Kan ikke rigtigt se hvorfor de vælger at udelukke søgerobotter?
Så kan folk jo ikke finde siden uden at kende den?
De kunne jo bage specificere hvilke sider robotten må crawle... Er det ikke det robots.txt er til for?
Gravatar #2 - TuxDK
8. okt. 2009 07:33
Hvis deres nye server ikke kan klare et par tusinde visninger på "kort" tid, så har de et problem allerede nu.
Gravatar #3 - tomsommer
8. okt. 2009 07:34
Er det ikke lidt bekymrende at en offentlig side kan gå i knæ over at den bliver crawlet af søgerobotter?

Den har vel også kun kostet et 2-cifret millionbeløb, så hvad kan man forvente...
Gravatar #4 - Makey
8. okt. 2009 07:44
#0: I LOL'd
Gravatar #5 - Ravager
8. okt. 2009 07:46
Er det de gamle Amanda servere, som hoster deres side?

Lidt ynkeligt efter min mening, men hvis alle de store søgemaskiner går igang med at crawle den samtidig, så er det selvfølgeligt lidt hårdt. Men det findes der systemer, som kan håndtere. Når nu google har lagt deres side i knæ, kan det være de kan sælge dem et nyt opsæt :P
Gravatar #6 - General C
8. okt. 2009 07:46
#3 LOL! ja det burde den vel ligesom kunne klare...

Men det er da godt at høre flere skattepenge ryge i havnen! (eller i lommen på et over-priced web designer firma) :P
Gravatar #7 - KillerDvD
8. okt. 2009 07:53
Jeg har arbejdet sammen med det firma som har lavet siden og det overrasker mig ikke at serverne ikke kan holde til det. Jeg var nemlig deres IT mand. Firmaet som har lavet siden hedder Addition Aps. Og ja, folketinget har betalt latterlig mange penge for det nye site.
Gravatar #8 - redhead
8. okt. 2009 07:56
Hmm... Hvis jeg går ind på grundloven får jeg:
BROWSER

Dette site er optimeret til:

Browsere:
Microsoft Internet Explorer 5.5 eller højere.
Mozilla Firefox 1.5 eller højere.
Safari 1.2 eller højere.
Video medier:
Microsoft Windows Media Player 9 eller højere.
Quicktime 7 eller højere.
Så med min FF 3.0.6 falder den åbenbart for den manglende quicktime/WMP altså et noget begrænset site for andre brugere end Windows/OSX
Gravatar #9 - XorpiZ
8. okt. 2009 08:01
#8

Kan du slet ikke få adgang til siden - eller advarer den dig bare?

Afaik, så kan Linux fint afspille QT-videoer, så det burde ikke være et problem som sådan.
Gravatar #10 - nazcov
8. okt. 2009 08:24
#7

Så det er dig som har lavet det? ;)
Gravatar #11 - zin
8. okt. 2009 08:31
Gravatar #12 - Monroc
8. okt. 2009 08:34
Et par tusinde visninger kan lægge siden ned? Med mindre "kort tid" er målt i millisekunder, så ville jeg mistænke dem for at hoste den på Fisher Price (r) "My First Server" eller sådan noget.

Eller også er der en eller anden psyko, der har sat connection-limit til 15 på databasen..
Gravatar #13 - zin
8. okt. 2009 08:37
#12: My Lil' WebServer (IIS 5.0 ftw!)?
Gravatar #14 - Mr. Q
8. okt. 2009 08:40
Og nu bliver siden så newz.dk'ed - Det kan godt mærkes :D

On topic:

Det er simpelthen ikke godt nok det der, kære politikere! - Håber sgu ikke der er blevet smidt for mange penge efter det der!
Gravatar #15 - Amunium
8. okt. 2009 08:46
Link til "folketingsvalg" nederst til højre på ft.dk:

http://www.ft.dk/Demokrati/Valg%20og%20afstemninge...

- De bruger mellemrum i deres links. Kæft hvor er det uprofessionelt.

Desuden står der på udvikleren Additions side, at:
"Vi opfylder internationale standarder fra WAI, W3C, OASIS m.fl. samt statens retningslinjer for serviceorienteret arkitektur, hvilket sikrer en nemmere afvikling af projektforløbet."

- Sjovt, W3Cs validator service er absolut ikke enig med jer.
Gravatar #16 - Schrum
8. okt. 2009 08:48
#14 > The Newz Effect.
Gravatar #17 - p1x3l
8. okt. 2009 08:55
om ik andet så den fandme langsom nu -.-
Gravatar #18 - Decipher
8. okt. 2009 09:00
Hm, der er rent faktisk noget betænkeligt i at de udelukker NOGLE søgerobotter, men ikke andre, hvis jeg læser indlægget korrekt. Det er da diskrimination, og det kan FT vel ikke tillade sig som offentlig institution? :P
Gravatar #19 - eviscerator
8. okt. 2009 09:07
Direkte ynkeligt >_<
Gravatar #20 - LordMike
8. okt. 2009 09:25
Synes idéen om at melde sig til valg som del af et parti, udelukkende på en IT-valgkamp er mere og mere interessant.

Så kunne man jo fikse denne slags...
Gravatar #21 - Softy
8. okt. 2009 09:55
OMG.... Men okay.... IT-branchens billigste udviklere + administratorer er typisk dem der sidder i det offentlige.... Så enten er det fordi evnerne er svage eller mentaliteten er doven (MEGET doven!!)..... Hvis man er ekstremt heldig, så kan man rent faktisk finde nogen derinde der er ligeglade med lønforskellen til det private og rent faktisk arbejder der fordi de mener at de kan gøre en forskel for samfundet.... hvilket jo også er nobelt, men helt ærlig tror jeg i dette tilfælde at det bare er plain uvidenhed.

Det er en side, der garanteret ikke følger nogen patterns af nogen art udover det webserveren leverer. Der er garanteret ikke GUI-adskillelse eller nogen andre lag i applikationen. Med held er der måske en DAL-agtig tingest.
Den dag Det Offentlige vil lave designet om eller tilføje en feature, så kommer det nok også til at koste et par millioner eller 50 ;-)

Nej, bare vent og se.... Et website af sådan en type, lagt ned af søgerobotter!?!???!?.... I mean.... WTF?!?!? ...... Men okay.... det var en beta.... Mon ikke de hostede lortet på en aflagt Pentium II med en 4300RPM HDD og 256MB RAM? .... TBH.... Man kunne sgu da i det mindste lave en beta.ft.dk og fortælle søgerobotter at de ikke skal crawle skidtet og så lave et link fra ft.dk hen til betaen.... evt. som en splash-screen.... anything....

Nej nej..... jeg kan slet ikke få det ind i hovedet.... Det er ligesom folk der skal opdatere deres website.... hvorfor skal websitet være nede til maintenance i 3 timer, fordi nogen fuckede op og ikke testede deployment FØR opdateringen?? .... Kan I sige dating.dk tilbage i omkring år 2002-2003? .... Det var da så amatøragtigt når deres side var nede i timevis for en skide opdatering.... omg...

Apropos dating.dk.... Så synes jeg at det er lidt pinligt at et kontakt-website med damer, sex, fester og andet snask i dag næsten med garanti har meeeget bedre skalering i forhold til de faktiske forhold de bliver udsat for... i forhold til et større offentligt site.... OMG!! ... End of the World!! .... Al Qaeda!... Welcome to Denmark... Want a flyer? .... Check out our now govenment website.... or maybe their intranet? .... pfff..
Gravatar #22 - Decipher
8. okt. 2009 10:25
#21 Du glemte /rant off? :P
Gravatar #23 - fastwrite1
8. okt. 2009 11:11
#21 - pyyha, nu må du have det bedre ;-)

Men ja, at et site kan lægges ned på grund af søgerobotter. Det tror jeg faktisk aldrig jeg har hørt om før.

Imponerene. Især taget i betragtning hvor mange penge det har kostet Folketinget (det vil dermed så også sige os borgere, eller hvad?) at få lavet.

Jeg er imponeret.

(og ja, jeg håber du kan læse ironien mellem linjerne)
Gravatar #24 - Zeales
8. okt. 2009 11:39
Fuuuuck, den side går langsomt lige nu. Jeg har ca. 65% pakke tab bare på vej derhen.

Edit: Heh, fandt problemet, den er hosted på en Telia forbindelse.
Edit2: WC3 status: 100 Errors, 102 warning(s)
Gravatar #25 - Taxwars
8. okt. 2009 12:03
Nu må vi ikke glemme at de kører serveren på en 486 - så det er da godt gået!
Gravatar #26 - mikaelhc
8. okt. 2009 12:29
...Hun fortæller, at de uvelkomne søgerobotter crawler hele sitet, og af ukendte grunde går tilbage til gamle data helt tilbage fra 1984.

"Det kan jeg ikke rigtigt forstå hvorfor de gør, men det er det, vi oplever," siger Liselotte Astrup...


Øh? Hvad får hende til at tro, at søgerobotterne kan afgøre hvor gammelt indholdet er - siderne er jo nye? Og hvorfor skulle de ikke indeksere gamle data?
Gravatar #27 - Tagger
8. okt. 2009 15:23
#26 nice udtalelse!

Det beviser jo bare, at de udtaler sig om alt, hvad enten de har forstand på det eller ej. Skræmmende.

I øvrigt er det jo ligegyldigt om de kan afgøre alderen af data, der kan da stadig være relevant data iblandt, ellers blev det vel ikke lagt online igen.
Gravatar #29 - Hůňděštějlě2
8. okt. 2009 15:50
tomsommer (3) skrev:
Er det ikke lidt bekymrende at en offentlig side kan gå i knæ over at den bliver crawlet af søgerobotter?

Den har vel også kun kostet et 2-cifret millionbeløb, så hvad kan man forvente...


Staten i en nøddeskal: Uduelige og dyre pengerøvere.
Mon medarbejderne er ansat ud fra køn eller etnicitet, frem for hvad de kan finde ude af? Noget tyder i al fald på det.

Liselotte Astrup, udviklingschef hos Folketinget skrev:
Så vi regner med, at det er begyndervanskeligheder. De holder vel op på et tidspunkt

Klart. Vi har et problem, men det går nok over af sig selv, hvis vi sætter os ned og venter.
Gravatar #30 - arne_v
9. okt. 2009 13:59
KillerDvD (7) skrev:
Jeg har arbejdet sammen med det firma som har lavet siden og det overrasker mig ikke at serverne ikke kan holde til det. Jeg var nemlig deres IT mand. Firmaet som har lavet siden hedder Addition Aps.


"deres IT mand" ??

Addition er et konsulent hus. Jeg ikke forestille mig at de kun har en enkelt IT mand. Jeg kan for den sags skyld ikke forestille mig at det er den titel/job beskrivelse der bruges.
Gravatar #31 - arne_v
9. okt. 2009 14:02
LordMike (20) skrev:
Synes idéen om at melde sig til valg som del af et parti, udelukkende på en IT-valgkamp er mere og mere interessant.

Så kunne man jo fikse denne slags...


Enkeltsags partier har normalt ikke lang levetid.

And BTW hvis du ved hvordan man garanterer success i IT projekter, så vil jeg foreslå dig at satse på forretningsverdenen.
Gravatar #32 - arne_v
9. okt. 2009 14:07
Softy (21) skrev:
OMG.... Men okay.... IT-branchens billigste udviklere + administratorer er typisk dem der sidder i det offentlige.... Så enten er det fordi evnerne er svage eller mentaliteten er doven (MEGET doven!!).....


Hvis du nu satte dig lidt ind i det du kommenterer på - f.eks. ved at læse de foregående indlæg - så ville du jo vide at det er en løsning der er leveret af et privat firma.

Softy (21) skrev:
Det er en side, der garanteret ikke følger nogen patterns af nogen art udover det webserveren leverer. Der er garanteret ikke GUI-adskillelse eller nogen andre lag i applikationen. Med held er der måske en DAL-agtig tingest.


Hvis du udover at kunne læse de foregående indlæg begiver dig ud i teknologisk avancerede ting såsom at Google ville du opdate at løsningen bygger på SiteCore CMS.
Gravatar #33 - arne_v
9. okt. 2009 14:09
Hůňděštějlě2 (29) skrev:

Staten i en nøddeskal: Uduelige og dyre pengerøvere.
Mon medarbejderne er ansat ud fra køn eller etnicitet, frem for hvad de kan finde ude af? Noget tyder i al fald på det.


Endnu en som ikke kan læse indenad og dermed har opdaget at det ikke er offentligt ansatte der har lavet løsningen men derimod et privat firma.
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login