mboost-dp1

SXC - nighthawk7

Silkeborg har mistet sit intranet

- Via EPN.dk - , redigeret af Emil , indsendt af RHO

I Silkeborg Kommune hænger de lidt med hovedet i dag i it-afdelingen. På grund af en menneskelig fejl er hele kommunens intranet nemlig forsvundet, og det er ikke umiddelbart muligt at genskabe det.

Uheldet skete i forbindelse med en større ændring i kommunens serverrum, hvor flere servere skulle omlægges, og SAN’et skulle udskiftes. På grund af rod i backup-rutinerne har backuppen svigtet.

Hos kommunen er man naturligvis meget kede af situationen og påpeger, at man hurtigst muligt vil få undersøgt, hvad der helt præcist har ført til den uheldige situation, og hvordan intranettet hurtigst kan komme online igen.

I første omgang må kommunens 7.500 medarbejdere dog klare sig med et midlertidigt intranet, der forventes at være oppe at køre i næste uge. Efterfølgende skal alle informationer, der oprindeligt var på intranettet, indhentes fra alle relevante forvaltninger og afdelinger for at nå tilbage til, hvor man var inden uheldet.





Gå til bund
Gravatar #1 - nerddk
19. mar. 2009 13:43
epic fail hahaha
Gravatar #2 - monstermus
19. mar. 2009 13:44
hvordan kan det lade sig gøre? der skal da være temmelig meget rod i backup rutinerne før det kan ske, eller rettere sagt de skal have været helt borte :S
Gravatar #3 - BeLLe
19. mar. 2009 13:45
"jamen vi kører mirroring af diske så det må være nok backup" :D
Gravatar #4 - thomasmorkeberg
19. mar. 2009 13:58
Hold fast hvor må deres intranet så køre hurtigt nu... lidt ligesom en ny formateret computer... (:

Det kunne aldrig ske ved Holstebro Kommune... *host* :P

Sikkert lærlingen der får skylden...
Gravatar #5 - nerddk
19. mar. 2009 14:01
er det IBM som køre det ?
Gravatar #6 - briandanielsen
19. mar. 2009 14:02
Det er da under al kritik, tror der kommer til at rulle nogle hoveder :).

Endnu engang kan vi se, at selv det "bedste" system ikke er godt nok til at undgå dumme menneskeskabte fejl.

Lad os håbe at de finder en løsning på problemet og kommer op at kører smertefrit igen.
Gravatar #7 - Clauzii
19. mar. 2009 14:03
Kvajebajer til 7500 maedarbejdere, det blir' dyrt!

--

OK, hvis man ikke engang har en brugbar backup, er der noget galt i den IT-afdeling. Det lyder desuden som om at man ville løse alle problemer på én gang. Normalt tager man det vel én ting af gangen...

"For mange kokke fordærver maden!", gælder måske også her..
Gravatar #8 - Tumleren
19. mar. 2009 14:03
"Hov - ups"
Gravatar #9 - Yocal
19. mar. 2009 14:08
Nu håber jeg bare ikke at det går ud og fyrer ham der har været ansvarlig for det her stunt... For en ting er sikkert:

- Det sker IKKE igen! :)

Han husker den her svipser bedre en alle andre, og for fremtiden vil han nok være en af de mest sikkerhedsfokuserede i hele silkeborg-området :-)

Heads up, guys - lige et par all-nighters-kodedage så er i sq rullende igen!

// Yoc
Gravatar #10 - themuss
19. mar. 2009 14:13
lololo "format c:"
Gravatar #11 - ssboisen
19. mar. 2009 14:18
Yocal (9) skrev:
Han husker den her svipser bedre en alle andre, og for fremtiden vil han nok være en af de mest sikkerhedsfokuserede i hele silkeborg-området :-)


Tror du glemmer at størstedelen af Jyske Banks og Nykredits systemer køres i Silkeborg, så der er nok andre der allerede har lidt mere fokus på sikkerhed :)
Gravatar #12 - nerddk
19. mar. 2009 14:19
ssboisen (11) skrev:
Tror du glemmer at størstedelen af Jyske Banks og Nykredits systemer køres i Silkeborg, så der er nok andre der allerede har lidt mere fokus på sikkerhed :)


da jeg var der op for nogle år siden virkede de som om de havde meget styr på det flere marskinstuer der spejler hinanden. men igen kan jo være ændre. var også ibm der stod for supporten haha
Gravatar #13 - kimji
19. mar. 2009 14:20
Et er de ikke har været i stand til at sætte deres backup korrekt up, noget andet er de ikke checker backup'en inden de lægger deres SAN ned.

Det lader til det er mere et spørgsmål om at folkene ikke er kompetente, frem for at det skulle være en entlig "fejl"
Gravatar #14 - ssboisen
19. mar. 2009 14:23
nerddk (12) skrev:
da jeg var der op for nogle år siden virkede de som om de havde meget styr på det flere marskinstuer der spejler hinanden. men igen kan jo være ændre. var også ibm der stod for supporten haha


hvor var du op?
Gravatar #15 - Yocal
19. mar. 2009 14:28
#11 Ikke i øjeblikket :-P

// Yoc.
Gravatar #16 - Kjeldsen
19. mar. 2009 14:29
Der findes uden tvivl mange som har backup, køre backup, bruger masser af penge på backup ja faktisk tror de har en backup. MEN glemmer at prøve at restore den backup fordi det er faktisk pretty annoying arbejde. Men i det mindste kunne man ind imellem restore bare en lille smule.

Forøvrigt har den originale artikel er bedre formulering på "uheldet":

EPN skrev:
Efter weekendens arbejde var kommunens intranet til 7.500 medarbejdere nemlig forsvundet i forbindelse med udskiftningen af SAN'et, da en menneskelig forglemmelse satte backup-proceduren ud af spil.

Gravatar #17 - Kedekede
19. mar. 2009 14:41
Den ser ikke godt ud på CV'et den fejl der.

Gravatar #18 - zymes
19. mar. 2009 14:43
Nyhed (0) skrev:
På grund af en menneskelig fejl er hele kommunens intranet nemlig forsvundet, og det er ikke umiddelbart muligt at genskabe det.


De har sikkert kun haft en 30 dages trial af "best backup appz evahh" for at spare lidt, for det går jo aldrig galt alligevel :D
Gravatar #19 - Sikots
19. mar. 2009 14:48
Gravatar #20 - webwarp
19. mar. 2009 14:48
Ny gul sticky seddel: Never EVER push that button.. Again..!
Gravatar #21 - Trogdor
19. mar. 2009 14:52
Jeg tænker mere på at der skal 7500 personer til at køre kommunen. :)
Men der er nok tale om alle offentlige institutioner etc?
Gravatar #22 - el_senator
19. mar. 2009 15:00
Holy cow!!! Det var dælme ikke en sjov situation at komme i. Er det et eksempel på at IT er ved at vokse os over hovedet? Nogen gange føles det i hvert fald sådan. Ofte er der ting man troede der kørte som i virkeligheden halter osv.
Gravatar #23 - webwarp
19. mar. 2009 15:01
#22 say what ?
Gravatar #24 - Magten
19. mar. 2009 15:07
Nogen af jer der kender nogen der søger en backupmand? Jeg står per dags dato uden job..

</haha>

#0
Det er edderdælme dumt lavet.. Hvordan kan det overhovedet lade sig gøre? Har man ikke checket backup på noget tidspunkt? Vi kører da restore tests på vores kunder jævnligt, men det står så også i vores kontrakt vi skal det..
Gravatar #25 - Moulde
19. mar. 2009 15:44
#17, man er da også godt dum hvis man skriver det på sit CV :D

Og mon ikke det er noget nærmere dette der skulle stå, eller i det mindste sådan det skal læses..

"Hos kommunen er man naturligvis meget kede af situationen og påpeger, at man hurtigst muligt vil få undersøgt, hvem der helt præcist har ført til den uheldige situation, og hvordan intranettet hurtigst kan komme online igen."
Gravatar #26 - case
19. mar. 2009 15:46
Ja ja, shit happens.... så får de da ryddet op ved samme lejlighed :)
og - det kan da godt være der ruller et hoved (nok ikke flere) men de øvrige hoveder er da sikker på fast arbejde et stykke tid :.\
Gravatar #27 - FM Guy
19. mar. 2009 16:11
Der må være en der ryger der for den fejl for den må godt nok koste kassen. Det burde der!
Gravatar #28 - Orange
19. mar. 2009 16:15
FM Guy (27) skrev:
Der må være en der ryger der for den fejl for den må godt nok koste kassen. Det burde der!


Ja fyr da endelig den person der har fået den største lærestreg i hele Danmark på området, han er måske verdens grundigste IT-medarbejder det næste års tid.
Gravatar #29 - arne_v
19. mar. 2009 16:24
#17,24,28

Medmindre der er en medarbejder som har fået ordre til at teste restore og har meldt tilbage at han har testet og at det virker, så er det ikke en medarbejder fejl men en ledelses fejl.
Gravatar #30 - arne_v
19. mar. 2009 16:27
#16,18

Jeg undrer mig lidt over formuleringen.

En menneskelig fejl vil normal kikse en enkelt backup. Og så ville man miste opdateringer mellem sidste og forrige backup.

Men hvis man ikke har kunne restore noget som helst, så må det jo være alle backups der har fejlet.

Og det lyder som en system fejl ikke som en menneskelig fejl.
Gravatar #31 - zin
19. mar. 2009 16:41
#30:
Det kommer an på. Hos SDU har vi tape-backup. I en årgang blev disse ikke testede, og man "mente" at de lavede backup - der var i hvert fald et eller andet der kørte på stationen...
Det viste sig senere at der ikke blev kørt backup, pga. miskonfiguration - og der havde ikke været kørt backup i godt et år. Måske noget af det samme kunne være forekommet her?

Oh, eller endnu bedre; rm -rf /!
Gravatar #32 - arne_v
19. mar. 2009 16:51
#31

Det kan sagtens tænkes.

Men det betragter jeg også som en system fejl ikke som en menneskelig fejl.


Gravatar #33 - DanaKaZ
19. mar. 2009 16:53
Nogen der ved hvad Mandalae lavede på det tidspunkt?
Gravatar #34 - zin
19. mar. 2009 16:58
#33: Jeg har hørt rygter om at han lavede noget remote support hos en gut, der sad i nærheden af Århus...
Gravatar #35 - zin
19. mar. 2009 16:59
#32: Hvis det er en miskonfiguration, og uden test vil jeg mene det er en menneskelig fejl.
Man sætter bør ikke mene at et system (eller noget, for den sags skyld) kører, før man ved det kører. Og man ved ikke at det kørere før man har testet det.
Konfiguration er jo noget, mennesker skal gøre, så den vil jeg også gerne ligge derover.. Man kan ikke skyde skylden på "systemet" for ret meget, IMHO.
Gravatar #36 - arne_v
19. mar. 2009 17:08
#35

Jeg tror at vi er enige om substansen men ikke om terminologien.

Konfigurationen er en del af backup systemet, hvis konfigurationen ikke virker så er det en system fejl. IT afdelingen er også i en eller anden forstand en del af backup systemet, hvis de ikke har en procedure for at teste restore, så er det en system fejl.

En menneskelig fejl er hvis den ansvarlige glemmer at sætte båndet i fredag eftermiddag, eller hvis han glemmer at smide båndet i brandskabet tager det med hjem og hans 6 årige søn checker hvor langt et DAT tape er, eller hvis tape stationen blinker rødt og han ignorerer det.
Gravatar #37 - FritzFarlig
19. mar. 2009 17:47
#13: Jeg kan så fortælle dig de ikke er inkompetente. Lad nu være med at være så forbandet bedrevidende.
Gravatar #38 - zin
19. mar. 2009 17:51
#36: Meget vel, på din terminologi lyder det som en system fejl. :-)
Gravatar #39 - arne_v
19. mar. 2009 18:02
#37

Vi er jo nødt til at forholde os til det beskrevne.

Udfra det beskrevne så har man ikke har været istand til at restore noget som helst.

At miste hele en kommunes intranet er ikke kompetent.

En eller anden er inkompetent.

Og som forklaret tidligere tror jeg at det er ledelsen.

Hvis jeg var kommunal direktør i den kommune, så ville kommunens IT chef få et ret ubehageligt møde.
Gravatar #40 - FritzFarlig
19. mar. 2009 18:22
#39: Nu er det at lave fejl ikke det samme som inkompetence i min verden. Det er fint nok at forholde sig til hvad der er skrevet, men der er altså et stykke vej til at kunne bedømme situationen og personerne og kalde nogen inkompetente.
Gravatar #41 - arne_v
19. mar. 2009 18:28
#40

Der kan ske menneskelige fejl.

Og som jeg har skrevet tidligere så kunne det ske at man ikke kunne restore sidste backup (den ene kopi var tom fordi båndet ikke var sat rigtigt i og den anden kopi gik i båndsalat under restore etc.) og man måtte restore forrige backup - og selvom man evt. kun laver backup en gang om ugen så mister man kun en uges ændringer.

Men at man ikke har kunnet restore noget som helst er ikke godt.

At det gamle disk system har forladt bygningen inden det nye er set virke er ikke godt.
Gravatar #42 - Ziftex
19. mar. 2009 18:49
mon kommunen overhovedet benytter bånd? er vel max. 1,6TB der kan være pr bånd idag. så skal der dælme godt nok en del bånd til hvis man skal have flere kopier af så mange medarbejderes data.
Gravatar #43 - arne_v
19. mar. 2009 18:59
#42

Det vil jeg formode at de gør.

Tape er stadig et praktisk medie til backup.

Og intranet er vel ikke alle medarbejdernes data.

Gravatar #44 - Dr_Mo
19. mar. 2009 19:46
#28
Så burde han nemt kunne få en ny arbejde, med større ansvar og bedre løn. Eller hvad? Måske skulle man gå og kvaje sig, for at få en forfremmelse?
Gravatar #45 - Winde
19. mar. 2009 19:52
Lidt en sjov diskussion.

Jeg synes man her burde have in mende, at:

Når it-systemet virker (de 364 dage om året), så tænker man ikke over det.

Når it-systemet fejler en gang hver 4-5 år, så er helvede da løst.

Men okay, at alt er væk - puuha. Den er slem!

NB: Husk en gang imellem at sige tak til din admin :)
Gravatar #46 - Ziftex
19. mar. 2009 20:11
#42
Tape er et godt solidt medie der stadig bruges mange steder, men når man er oppe i den størrelse har hosted backup / SAN replica en stor fordel.
Intranet er mange steder det eneste sted man har "flade" filer (altså ud over databaser) som udvæksels mellem brugere.

Backup er en af de ting der virklig er blevet meget mere complex de seneste år - men sådan en fodfejl må bare ikke ske. Hvis jeg laver større ændringer på et system har jeg normalt 2 backups og tester restore i en VM før jeg begynder at ændre på noget som helst. nogle gange kan det endda være en stor fordel at teste ændringerne som fx. patches i vm'en først mens produktionsserveren er lukket om natten bare for at komme overraskelser i forkøbet.
Gravatar #47 - Ziftex
19. mar. 2009 20:12
#45
Admin og Supporter er oftest utaknemlige jobs mange steder. Heldigvis har de unge i dag langt større forståelse på hvad det rent faktisk kræver at drive et større netværk - men ældre generation kan være pænt ubehøvlet og tror at et intranet blot er noget man laver på en eftermiddag. Det er vel bare next, next, next.
Gravatar #48 - Closetoyou_dk
19. mar. 2009 20:46
tilføjelse på en "sjov kommentar"

Hvorfor skal folk køre på IBM stadigvæk -
Forstår det ikke.

Når man virkelig kigger på hvor mange banksystemer og og nogle par hundrede andre systemer de kører for forskellige kæder og firmaer.
Så må et par fejl opstå igennem et par år.
Selvfølgelig er det skidt at det sker 2 gange med danske bank på et år og så igen for et andet firma også en enkelt gang.
2 af gangene var det pga hardware-fejl (hvilket ikke var en menneskelig fejl og den sidste var vidst under en backup af et system

Pressen kører dem kun op fordi det er bankers systemer det er sket med.

Men ellers synes jeg man skal kigge på at IBM gør et virkelig godt arbejde og at menneskelige fejl er muligt
Og nej jeg er ikke en IBM medarbejder

Synes bare at når man tænker på hvor stort firmaet er og hvor utrolig sindsyg mange kunder de har, har de meget få fejl.




Gravatar #49 - arne_v
19. mar. 2009 20:53
#48

IBM generelt har en nydelig track record.

Men IBM Danmark har fået lidt pletter.

Enten har IBM Danmark været uheldige d.v.s. at det er tilfældigt at det lige rammer Danmark.

Eller så har IBM Danmark de sidste år ikke haft den samme kvalitet af folk.

Givet at IBM Danmark også har mistet nogle ordrer og haft underskud (i modsætning til hele koncernen) og at der har været lidt personale uro (Claus Juul Bobjerg sagen), så kunne det ikke afvises at det er mere end tilfældigt.
Gravatar #50 - brokkehoved
20. mar. 2009 15:49
#8: Det sagde din mor også d. 27. nov. 1990
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login