Godišnjica preseljenja servera Limunda i Kupinda u Srbiju

Za koji dan se navršava godinu dana od “preseljenja” Limunda i Kupinda u Srbiju i pravi je trenutak da se osvrnemo i prisetimo celog procesa pripreme i izvedbe preseljenja gledano iz tehničkog ugla.

Pre same priče o preseljenju bitno je znati da Limundo i Kupindo zajedno beleže oko deset miliona pageview-ova dnevno sa po deset hiljada korisnika u sekundi tokom udarnih vremena, uz zahtev da se stranice sajta otvaraju u proseku za manje od dve sekunde, a sve to na sistemu kome se podaci menjaju bukvalno iz sekunde u sekundu. To su standardi koji su morali biti zadržani, pa i poboljšani nakon preseljenja.

Sama migracija je izvršena 6. decembra 2012. godine u 12:00 uz planirani downtime od 12 sati. Zanimljvost je da je planirano vreme puštanja zakazano nekih tri meseca ranije i da je ispoštovano u minut, uz napomenu da je sistem zaista bio spreman za puštanje bukvalno u 11:59, tako da je rok pogođen “u minut do dvanaest” 🙂

Tome je prethodilo devet meseci planiranja, istraživanja i razvoja.

Prva ideja da je migracija neophodna izneta je krajem februara 2012, nakon što smo primetili “rane znakove” upozorenja u smislu da su od našeg tadašnjeg hosting partnera, gde smo imali oko 30 fizičkih servera, počela da stižu oprečna objašnjenja za nepravilnosti u mreži koje smo sve češće uočavali. U tom periodu sajtovi su radili brzo i stabilno, ali je nakon mesec dana analize dostupnih podataka naša procena rizika bila da će u sledećih godinu dana doći do ozbiljnih problema prilikom skaliranja hardverske infrastrukture i da će migracija potrajati bar 4-5 meseci. Krajem marta je doneta “Go!” odluka da se projekat pokrene, kako bismo na vreme predupredili predviđene probleme.

Sledeća dva meseca imali smo intenzivne kontakte sa raznim potencijalnim partnerima i krajem maja doneta je odluka da se uđe u projekat sa domaćim housing provajderom. Domaći partner je izabran između ostalog i zbog toga što bi samo zahvaljujući premeštanju sajtova u Srbiju, kod provajdera koji ima odličan peering sa praktično svim regionalnim ISP-ovima, dobili direktno povećanje brzine sajta za naše članove koji su prvenstveno iz Srbije i regiona. Tada je i poručena nova oprema sa ciljem da svi neophodni serveri i prateći uređaji budu isporučeni u sledeća dva do tri meseca.

Odlučeno je da se migracija izvrši u privatni cloud i da najveći deo servera bude virtuelizovan. Zapravo, virtuelizovani su svi cluster-i osim servera za MySQL baze podataka, jer smo procenili da je rizik virtuelizovanja ovih ključnih servera preveliki, sa obzirom na sve ostale rizike skopčane za migraciju. Virtuelizacija servera je zahtevala i značajnu promenu arhitekture sistema, a odlučili smo da promenu hardverske arhitekture iskoristimo i za delimičnu promenu i unapređenje softverske arhitekture.
Projektovanje nove arhiteture je trajalo sledeća tri meseca i predstavljao je najzahtevniji deo. Bilo je potrebno predvideti sve ili što više mogućih problema i pripremiti novi sistem za prihvat stotina miliona postojećih podataka i pet terabajta slika. Projekat je završen krajem avgusta i tada je usvojen konkretan datum i vreme migracije – 06. decembar 2012. između ponoći i podneva, dvanaest sati downtime-a nakon kojih su Limundo i Kupindo morali da prorade u Srbiji i to brže i bolje nego što su radili u Nemačkoj. Blok šemu nove arhitekture možete pogledati ovde:
http://prezi.com/fb1r2anjb4jj/arhitektura-high-performance-php-aplikacije/

Sledeća dva i po meseca su provedena na razvoju i implementaciji nove arhitekture. Neki od zanimljivijih problema koje smo morali da rešavamo su:
– Podizanje realnog sandbox-a u kome smo mogli da razvijamo i testiramo novu arhitekturu i module. Za sandbox smo prirodno iskoristili opremu koja je poručena za novi datacentar. Kako je oprema stizala iz segmenata, odlučili smo da podižemo jedan po jedan cluster sukcesivno. Razvoj je organizovan tako da je rađen na modulima i serverima koji su bili vezani za trenutno dostupan cluster, sa ciljem da izbegnemo čekanje isporuke i instalacije svih servera i tako izbacimo vreme praznog hoda.
– Osmišljavanje načina da prebacimo sve potrebne podatke za 12 sati, koliko je bio zahtev za maksimalno trajanje downtime-a. Ovo je bio ozbiljan problem, jer je prebacivanje preko dvadeset miliona fajlova i import nekoliko stotina miliona slogova u baze podataka prema merenju trajalo pet do sedam dana realnog vremena. Problem sa fajlovima smo prevazišli dovlačenjem preseka stanja mesec dana pre migracije i paralelnim pisanjem novih fajlova u oba datacentra (u Srbiji i Nemačkoj). Import baze smo maksimalno optimizovali i prema našim proračunima trebalo je da traje oko sedam sati.
– Testiranje sistema pod punim opterećenjem pre puštanja, jer smo iz iskustva znali da u praksi uvek iskrsnu problemi koji ni u najboljim teorijskim modelima nisu mogli da budu predviđeni – the best laid schemes of mice and men often go awry.
Gađali smo rok za završetak svih radova dve nedelje pred puštanje 6. decembra, sa ciljem da imamo dovoljno vremena da propustimo simulaciju opterećenja kroz ApacheBenchmark i ispravimo eventualne probleme.

Konačno, 22. novembra smo imali gotov novi Limundo i Kupindo, sa izmenjenim softverom i potpuno novom virtuelizovanom arhitekturom. Sistem je napunjen sa realnim podacima iskopiranim sa živog sistema i nad njim smo pustili AB simulaciju realne posete. Na naš užas, desilo se najgore – pod simulacijom realnog opterećenja novi sistem se potpuno “raspao”. Ovde se pokazalo da je jedna od najboljih odluka u celom devetomesečnom procesu bila ta da se svim silama potrudimo da završimo sistem dve nedelje ranije i da ga propustimo kroz simulaciju. Sledeće dve nedelje su bile dovoljne da ispravimo nekoliko ozbiljnijih problema koji su iskrsli u realnom okruženju (prvenstveno vezanih za više nivoa keširanja koje smo koristili).

Konačno, 5. decembra je sve bilo spremno, u ponoć 6. decembra je oboren stari sistem u Nemačkoj i pokrenuta migracija u novi cloud u Srbiji.

Tokom migracije je došlo do još jednog manjeg problema, uzrokovanog ljudskom greškom, kada je pokrenuta dupla optimizacija već importovanih tabela. Ova dupla optimizacija je produžila proces importa podataka za oko četiri sata, što je sa sedam i po sati prebacivanja ostalih podataka celo vreme migracije produžilo na jedanaest i po sati. Uz još pola sata finalnih podešavanja servera, sistem je pušten u tačno 12:00 sati 6. decembra, kako je i planirano.
Limundo i Kupindo su radili skoro 50% brže u Srbiji nego u Nemačkoj, čime je ispunjen i drugi, mnogo važniji cilj. 🙂

Na kraju ove priče bih izdvojio dve stvari:
– Prva ključna stvar za uspeh celog projekta je bilo prihvatanje činjenice da će se desiti nepredviđeni događaji i da je neophodno unapred odvojiti vreme i resurse za njihovo saniranje. Zahvajujući tome, kada su se nepredviđene situacije zaista desile, imali smo dovoljno prostora da ih na vreme rešimo i ispoštujemo sve rokove i zahteve.
– Druga stvar za koju verujem da je bila od presudnog značaja je nešto što bih nazvao “suspension of disbelief”. Ogromno olakšanje koje smo osetili nakon uspešne migracije nas je podsetilo koliki nam je stres i pritisak ceo projekat zapravo proizveo. Mislim da je ključno bilo to što nismo sebi dozvolili da unapred razmišljamo o pritisku i koliko je u stvari ceo projekat imao prilika i mogućnosti za neuspeh. Verujem da bih sada za 15 minuta mogao argumentovano da ubedim bilo koga kako je ovakav projekat migracije u startu osuđen na neuspeh. Jednostavno, o neuspehu smo sebi dopustili da razmišljamo tek kada je sve bilo gotovo. 🙂

Ukupno vreme potrošeno na ovaj projekat je oko trideset čovek/meseci. Krajnji rezultat je sistem koji se skalira mnogo bolje, te stabilnije i brže radi nego pre migracije, čime su ispunjeni svi ciljevi.

Želim da se posebno zahvalim svim ljudima koji su naporno radili na ovom projektu i omogućili njegov uspeh, a najzaslužniji su:

– Nikola Krgović, glavni sistem inženjer, za projekat virtuelizovane arhitekture.
– Nikola Zagorac, Database Architect/senior programmer, za projekat upgrade-a softverskog framework-a.
– Milan Nićetin, Software Quality Assurance, za testiranje novog sistema i pravovremeno pronalaženje grešaka.
– Branislav Raić, Šef finansija, za sklapanje finansijske konstrukcije celog projekta.
– Partnerima iz Mainstream hosting kompanije.

I, naravno, zahvalan sam svim zaposlenim kompanije Limundo iz sektora IT, Marketing/PR, Finansije, Korisnička podrška i menadžmenta koji su učestvovali u različitim fazama projekta i bez čijeg rada ovaj projekat ne bi bio potpuno uspešan.