Facebook har over 100 PB data

Facebook har over for en række udvalgte journalister afsløret tal for hvad der sker i deres datacentre. Det fremgår således, at de hver dag behandler 2,5 milliarder stykker indhold hvilket svarer til over 500 TB data. Derudover behandler Facebook 2,7 milliarder ”likes” og over 300 millioner billeder hver dag, mens der hver halve time skannes 105 TB data.

Jay Parikh fra Facebook afslørede også, at Facebook har gemt over 100 PB data i en enkelt Hadoop-klynge, som han mener, er verdens største. De 100 PB data indeholder blandt oplysninger om, hvordan reklamer klarer sig blandt forskellige målgrupper baseret på køn, alder, geografi og interesser.Med denne store mængde data kan Facebook udføre simuleringer af tiltag, for at se om dette vil øge klikraten hos brugerne. Desuden kan Facebook via Gatekeeper, teste ændringer på små grupper af Facebook-brugere.

Parikh afslørede også deres Projekt Prism, der tillader Facebooks data, der i dag er gemt i én stor klynge, at blive splittet op i flere fysiske adskilte datacentre og stadig bevare en indgang til dataene. I dag gemmer Facebook data i ét datacenter, hvor deres andre datacentre agerer backup.

Facebook har ikke valgt at dele dataene op i forskellige forretningsenheder som reklamer og kundeservice, da produktudviklerne gerne vil have mulighed for at teste deres produkter på tværs af forretningsenheder. Selvom en produktudvikler således kan se dybt i data, er der indbygget forskellige foranstaltninger mod misbrug. Der er log, som logger de enkelte produktudviklers aktiviteter i dataene, og der er en træning i korrekt brug af disse data. Hvis en medarbejder skulle falde for fristelsen til at kigge på data, medarbejderen ikke har lov til, bliver medarbejderen fyret.