• Početna
  • O nama
  • LimundoGrad
  • Limundo
  • Kupindo
  • Sigurnost
  • IT
  • Zabava i učenje
  • Plaćanje
  • API
LimundoGrad blog
  • Početna
  • O nama
  • LimundoGrad
  • Limundo
  • Kupindo
  • Sigurnost
  • IT
  • Zabava i učenje
  • Plaćanje
  • API
Home  /  LimundoGrad  /  Migracija – epska avantura

Migracija – epska avantura

Autor:Ivan Jovanović
25. децембра 2012. LimundoGrad pogled iznutra 18 komentara

Zmajevi, jednorozi i jednostavne selidbe su mitske pojave.

U noći između 4. i 5. decembra 2012. Limundo se selio iz Nemačke u Srbiju. Da raščistimo, nismo menjali prostorije već servere. Nije to bilo odlučeno niti izvedeno na brzinu, naprotiv. Pripreme su počele da teku još od februara, a intenzivirale su se početkom oktobra. Poslednjih mesec dana pred migraciju, pripreme i testiranja zauzimali su centralno mesto u aktivnostima naše kompanije.

Sama  noć migracije, duga i hladna, počela je nešto pre ponoći i trajala do podneva. Pomno praćenje i podešavanje nastavilo se po smenama tokom sledećih 48 sati, a fina podešavanja nastavljena su i u sledećim sedmicama.

Čemu tolika filozofija? Nije li to samo jedan ogroman copy-paste? Nije.

Kao prvo, nije jednostavno iskopirati sistem koji se neprestano menja. Zato je morao biti zaustavljen (u minut do ponoći) sa idejom da prekid traje što kraće. Sa druge strane, smisao migracije bio je u tome da se pređe na potpuno novu hardversku arhitekturu. Osnovni nivo softvera je takođe pretrpeo značajne izmene kako bi se prilagodio novom okruženju.

Što se podataka tiče, samo je digitalnih slika bilo oko 3 TB (za one koji vole velike brojke, to je preko 3 000 000 000 000 bajtova). Budući da prenos tolike količine podataka traje danima, morali smo da ga rasporedimo. Slike smo postepeno skidali nedeljama pre same migracije, tako da smo poslednjih dana skidali samo one postavljene u prethodna 24 časa. Prenos baze i programskog kôda trajao je 5 sati, koliko je trajao i import, tempom od 34 000 SQL upita u sekundi.

Novi sistem može da podrži dalji rast naših platformi, da opsluži više korisnika i obradi više predmeta i transakcija. Na osnovu Google Analytics-a, Kupindo je sada za 15%, a Limundo za čitavih 40% brži nego ranije! A to je tek početak.

Uzgred, postojala je ideja da neko od nas ode avionom u Nemačku i fizički prenese podatke na hard-diskovima. Što reče jedan mudar čovek: “Nemojmo potceniti propusni opseg teretnih vagona u prenosu podataka.”

Podeli tekst
Share on Facebook
Share on Twitter
Share on Whatsapp
 Prethodni post Novi pravilnik Limundo d.o.o
Sledeći post   Šta je sve obeležilo Limundo kompaniju u 2012

Povezani postovi

  • Šta se u junu najviše kupovalo preko interneta?

    3. јула 2020.
  • Pre nego što usvojite macu

    Pre nego što usvojite macu

    11. јуна 2020.
  • Šta gledati u karantinu? Preporuke LimundoGrad tima

    8. априла 2020.

  1. marellib0r
    25. децембра 2012. at 14:59

    Odličan text, donekle pojašnjava kakva kompleksnost stoji iza Limunda i Kupinda a i ljude koji se bore sanjom.

  2. peca
    25. децембра 2012. at 15:18

    @marellib0r
    ne ubutavaj se

  3. SeeMeON
    25. децембра 2012. at 16:38

    Impresivne cifre, zaista. Ali, ništa manje nismo ni očekivali pošto upravo te sličice dolaze od nas, korisnika.
    Šteta što Vam neko nije predložio DataCore SANsymphony-V kao projektno ali i strategijsko rešenje (Asynchronous Remote Replication) plus Auto-Tiering na destinaciji u Srbiji da se odmah odvajaju aktuelni podaci (na brze FC/SSD storage grupe) od arhivskih (na jeftinije SAS/SATA volumene).
    Ne biste ni osetili celu migraciju, ali onda ne bi bilo ni adrenalina 🙂

  4. marellib0r
    25. децембра 2012. at 16:54

    @peca

    hesusnavas

  5. IgY boy
    25. децембра 2012. at 17:31

    E bas mi je drago :-S

  6. dp
    25. децембра 2012. at 21:02

    Koliko vidim meni osnovne funkcije pretraživanja, unošenja novih oglasa, korespodencije sa članovima rade bitno sporije nego ranije.
    Posle onog estetskog pada u dizajnu od pre nekoliko godina (sa sivog na belo) ovo je novi pad funkcionalnosti koji ne vidim gde vodi.
    Ostalo je još da se naruši bezbednost podataka ako već nije jer sam dobio par mejlova u kojima se reklamiraju promotivne akcije vezane za Limundo ili Kupindo.

    Sve ostalo je super i imate moju punu podršku.

  7. Nikola
    25. децембра 2012. at 23:00

    U potpunosti mogu da zamislim svaki sekund ove priče. Radim u jednoj velikoj firmi kao administrator mreže i naša firma je kupila drugu pa je trebalo prebaciti ceo njihov informacio sistem, domene, mrežno i radno okruženje pod našu ingerenciju. Celokupna migracija je trajala 5 radnih dana. Koliko samo adrenalina, koliko sitnica koje čoveku nikada ne bi ni mogle da padnu na pamet da će se desiti, koliko brzog smišljanja rešenja. Ali, najlepši je deo kada se sve to završi, posao privede kraju i onaj trenutak kada možeš da konstatuješ – tooooooooooooo, sve radi!

  8. Igor
    26. децембра 2012. at 00:44

    “da neko od nas ode avionom u Nemačku i fizički prenese podatke na hard-diskovima” – Pa sve slike bi stale bukvalno na JEDAN hard disk, prodaju se hard diskovi od 4tb a postoje i daleko veći… a ovo bi bilo i brže, realno ~tri sata od vrata do vrata do tamo i nazad (vreme kopiranja ne računam, to bi mogao neko u Nemačkoj da vam odradi i vi samo dodjete pokupite hard sa podatcima i nazad na let za Beograd)

  9. еспримо
    26. децембра 2012. at 02:05

    big deal

  10. Marko Matic
    26. децембра 2012. at 14:30

    Da nisi ti Ivane bio u Valjevu u vojsci?

  11. Pedja
    26. децембра 2012. at 21:17

    Da nisi i ti Maticu bio u artiljercima u Valjevu?

  12. marijagb
    27. децембра 2012. at 10:10

    Evo, ja, kao predstavnik zenskog roda, da ne ispadne da nismo zainteresovane za vasu “malu” avanturu, samo da dodam koju…
    Npr., kada sam trebala da reinstaliram PC, a da pritom ne pogubim podatke, re-prikupim softvere, podesim, nastelujem okruzenje, a sve kao obican laik i korisnik, bilo mi je prilicno stresno iskustvo, a tako mali posao, pa zakljucujem koliko je epska bila vasa avantura.
    Sve naj u daljem radu i srecni praznici!

  13. Marko Matic
    27. децембра 2012. at 11:24

    Jesam! E sad ja Ivana sa slike prepoznah, a ti Pedja, da nisi i ti bio u Valjevu?

  14. Milojko Knežević
    27. децембра 2012. at 20:49

    a moglo je to i brzom poštom da ne idete uopšte 🙂

  15. deni
    28. децембра 2012. at 02:34

    Koji je mudar covek rekao ovo na kraju?

  16. Nikola Krgovic
    31. децембра 2012. at 13:00

    @SeeMeON : Nije problem konkretno remote storage replikacija, bar ne sad. Problemi su:

    – HE nam podatke jeste drzao na EMC storage-u koji nudi remote replikaciju, ali nismo imali pristup na tom nivou da se bi se uvezali podaci sa novim provajderom.
    – Novi provajder nudi NetApp storage koji ima jako dobre karakteristike i performanse, ukljucujuci i offsite remote kopije, ali i mnogo bitnije karakteristike vezano za ubrzanje performansi (SSD diskovi nam sada kesiraju “vruc” sadrzaj) .

    Nazalost, asinhrona replikacija slika izmedju ova dva uredajaj (po meni su oba bolja nego DataCore), nije moguca. Dodatno – glavni problem je, zapravo, bilo kopiranje baze – a ne fizickog sadrzaja.

    Asinhrona replikacija MySQL-a jeste moguca, ali nije prakticna, jer, kao i svaki asinhroni proces, nije real-time, a Limundo jeste real-time sistem.

    Cak smo razmisljali i o resenjima sa sinhronom replikacijom (Percona XtraDB Cluster) – ali su nam performanse bile neprihvatljive uz geo-distribuciju, i paralelan zahtev za real-time radom.

  17. Nikola Krgovic
    31. децембра 2012. at 13:03

    @Igor & ostali:

    Da li iskreno mislis da bi jedan SATA disk od 4TB imao performanse potrebne za Limundo. Sve i da su samo slike deljene – jedan SATA disk ne moze da izdrzi nasu posetu ni kad je na apsolutnom minimumu…. 😀

    Kao sto rekoh, brzina kopiranja nije bila jedini faktor, bilo je i drugih stvari, a, kao sto je Ivan u blogu naglasio, downtime je sluzio i za izmene u arhitekturi sistema.

  18. SeeMeON
    3. јануара 2013. at 14:34

    Ne bih složio da je DataCore lošiji od pomenutih, daleko od toga.
    Superkeširanje DataCore obilno koristi npr. 128/256 GB pa sve do 1 TB RAM-a i SSD zveri. 3-4 GB/sec ili više od toga – nije SF; za superkeširane sisteme limit je samo “debljina” FC switcheva i FC kartica, uz poslovično ograničen odziv gomile storage-a u pozadini.
    Ako želite da vidite DataCore na delu ni to nije problem, just say so 🙂

Advertisement

Popularno na Kupindu

U potrazi ste za udžbenicima za osnovnu ili srednju školu? Pogledajte na Kupindu:

➡️ Udžbenici za osnovnu školu
➡️ Udžbenici za srednju školu

Ovde ćete pronaći udžbenike za svaki razred i izdanja gotovo svih izdavača koje današnje škole traže. Uštedite na kupovini udžbenika.

  • Najpopularnije
  • Poslednji postovi
  • Za sledećih 15 Vladimir Nikolić 22. маја 2021. Limundo 607
  • Hoću da znam šta je neko kupio i prodao Vladan Jović 16. децембра 2013. LimundoGrad 355
  • Kako da ocenim prodavca (a da to bude ispravno)? Ana Mladenović 12. марта 2013. LimundoGrad 248
  • Veštačko nuđenje – istine i laži Vladan Jović 11. јуна 2013. Limundo 234
  • Cenovnik + opcije + brzina Aleksandra Vuković 15. марта 2012. Blog 211
  • Dani ploča na Kupindu: Vinil ne izlazi iz mode! Dunja Stojković 13. марта 2025. Kupindo
  • Top 10 predmeta sa Limunda i Kupinda u 2024. godini! Dunja Stojković 31. децембра 2024. LimundoGrad
  • Digital Awards 2024: Limundo osvojio nagradu za najbolju radijsku kampanju! Dunja Stojković 30. септембра 2024. LimundoGrad
  • Polovna odeća kao znak stila: 10 vrhunskih modnih brendova koje nećete naći u tržnom centru Ivana Lučić 26. августа 2024. LimundoGrad
  • Uživanje u letnjem danu – detalji koji čine baštu posebnom Dunja Stojković 1. августа 2024. Zabava i učenje

Skorašnji komentari

  • Jovana Milenković Arizanović на Tri najjeftinija načina za slanje paketa u LimundoGradu
  • Marija Protic на Tri najjeftinija načina za slanje paketa u LimundoGradu
  • Jovana Milenković Arizanović на Tri najjeftinija načina za slanje paketa u LimundoGradu
  • janoš на Tri najjeftinija načina za slanje paketa u LimundoGradu
  • janoš на Tri najjeftinija načina za slanje paketa u LimundoGradu

Vremeplov

© 2008. LimundoGrad d.o.o. Creative Commons License Ovo delo je licencirano pod uslovima licence Creative Commons Autorstvo-Nekomercijalno-Bez prerada 4.0 Međunarodna licenca
LimundoGrad koristi kolačiće u statističke i marketinške svrhe. Nastavkom korišćenja sajta smatramo da ste pristali na upotrebu kolačića.OKViše informacija