Facebook nede i 2,5 timer i går

I går kunne millioner af mennesker ikke benytte en af verdens mest anvendte hjemmesider, da Facebook ikke var online i omkring to en halv time.

Selv betegner Facebook det som deres værste nedbrud i fire år og undskylder mange gange for det på deres blog. Årsagen til fejlen skal ironisk nok findes i et system, der var beregnet til at minimere fejl.

Facebook har et system, der automatisk tjekker konfigurationsværdier på deres cache-servere for at sikre, at de er opdaterede og valide. I går ændrede Facebook en konfiguration, og det fik systemet til at tro, indstillingen var gal på alle servere. Det igangsatte en automatisk korrektion, men da alle servere spurgte til en række databaser på samme tid, så kunne disse databaser ikke klare presset og gik ned.

Det startede en ond cirkel af fejl, for trods det at den oprindelige fejlkonfiguration blev ændret, så registrerede verfikationssystemet den manglende adgang til databaseserverene som en forkert værdi og blev derfor ved med at spørge efter korrekte værdier. Eneste måde at løse fejlen var at pille Facebook helt offline.

Facebook blog skrev:

The way to stop the feedback cycle was quite painful – we had to stop all traffic to this database cluster, which meant turning off the site. Once the databases had recovered and the root cause had been fixed, we slowly allowed more people back onto the site.

Facebook fungerer nu igen normalt efter fejlen blev rettet.