Kupindo nedostupan 26h – kako je teklo

Odlučni smo da nudimo odličan kvalitet, a to između ostalog znači i brzu i stabilnu stranicu.
Kupindo 26 sati nije bio dostupan (od 17h 03.02. pa sve do 18:45h 04.02.).
To po mom mišljenju ne zvuči kao stabilna stranica.
Uprskali smo.

Ovih 26 sati su bili intenzivni i mnogo smo toga naučili.
Želim da podelim sa vama to iskustvo.

Šta se desilo, korak po korak i šta smo učinili:

17h – 03.02.
Na storage sistemu firme NetApp, hostovanom kod Mainstream-a, otkazao je SSD disk.
Nema problema. Ceo storage je redundantan,
tako da preuzimaju drugi diskovi.
Međutim, jedan bug u software-u storage sistema je
u tom momentu ceo volumen označio kao neispravan.
To je dovelo do pada Kupinda i Limunda.

19h – 03.02.
Javlja nam se sve veći broj zabrinutih članova,
Kupindo i Limundo su prazni, ne znaju šta se desilo.
Sistem administrator diže kratak tekst sa obaveštenjem da imamo problem sa slikama.
U tom momentu smanjuje se broj poziva,
članovi imaju osnovnu informaciju da nije do njih.
Sistem i dalje ne radi.
Ceo tim preko Skype-a obaveštavamo o najnovijim promenama.
Nažalost, nema mnogo promena.

23h – 03.02.
Stalno smo na liniji sa Mainstream-om, a oni sa NetApp-om,
koji su postavili naš problem kao najveći prioritet za rešavanje.
Centrale Net App-a u Americi i u Evropi su upućene i pokušavaju
da ponove ovaj problem u laboratoriji.
Nisu ga do sada imali.

07h – 04.02.
Nikola (sem kratkog sna od dva sata) oka nije sklopio.
Američki tim je nakon 12 sati testiranja došao do zaključka da ćemo morati da izbrišemo sve diskove, s obzirom da je došlo do nepopravljive greške (tzv. WAFL file system corruption).

13h – 04.02.
Okupljamo ceo tim.
Stanje: ispostavilo se da možemo da vratimo sve slike. Trajanje – 130 sati.
Druga solucija: možemo da vratimo slike sa našeg backup-a.
Tu imamo jedan snimak od nedelje, ali on ne funkcioniše.
Drugi je od četvrtka na petak uveče (30. na 31.01.).
To bi moglo da se vrati za 15-20 sati, ali bez slika novijih predmeta…
U pitanju je preko 180.000 slika.
Donosimo odluku: vraćamo sa backup-a.

14h – 04.02.
Kreiramo stranicu za kriznu komunikaciju.
Dižemo i postavljamo više informacija, plus linkove ka Facebook stranicama
i LimundoGradnja Twitter nalogu.
Sa brojnim članovima smo od početka na vezi jedan na jedan.
Korisnička podrška radi bez prestanka.

16h – 04.02.
Pravimo strategiju šta na Kupindu da učinimo, koje aukcije na Limundu da produžimo.
Pripremamo poruke iako ne znamo kada i šta ćemo imati kao rešenje.
U toku pripreme strategije, Mik nam ulazi 3 puta sa svežim informacijama:

“Izgleda da ćemo moći da vratimo sve slike”.

Olakšanje.
Posle par minuta ulazi:

“Izgleda da ćemo moći da vratimo sve slike i to još ovog dana.”

Sreća.
Posle par minuta:

“Izgleda da ćemo moći do osam uveče sve da dignemo, sve slike na mestu.”

Već je nastala šala:

“Hajde uđi opet za koji minut i javi, ‘sve je dignuto pre dva minuta’.”

18:30h – 04.02.
Stranice su spremne, testiramo.

18:45h – 04.02.
Kupindo i Limundo su ponovo dostupni.

19:20h – 04.02.
Sve promo opcije na Kupindu produžene su za 48h.
Aukcije na Limundu produžene su za 24h ili 48h ako su istekle u momentu nedostupnosti.

Šta smo naučili, šta možemo bolje da uradimo?

Komunikacija je presudna.
20h smo bili na društvenim mrežama prisutni i aktivni,
Kupindo Facebook stranica je dobila oko 90 komentara,
Limundo preko 500, a na Twitter nalogu LimundoGradnja se pridružilo
dosta članova po prvi put.
Brzo smo pojačali komunikaciju i pustili vesti na samoj stranici.
Od sada ćemo koristiti tu stranicu u slučaju da dođe do sličnih poteškoća,
kako biste odmah znali šta se dešava.

Kada je vrlo, vrlo, vrlo mala verovatnoća da se nešto desi,
ideš od toga da se neće desiti. Što je razumno i zdravo.
Ali, to ne znači da nije moguće.

Ova greška je bila test kako bolje da rasporedimo resurse
na serverima u slučaju sličnih problema.

Šta nas muči?

Gubitak poverenja.
Ja sam ljubitelj čokoladnog mleka, i godinama ga pijem.
Jednog dana je bilo pokvareno, a upravo sam ga kupio.
Od tada sam dugo dugo vrlo pažljivo uzimao prvi gutljaj.
Sada opet bez bojazni pijem čokoladno mleko.
Ali je trajalo dok opet pridobije moje poverenje.
Poverenje – teško i dugo se gradi, a može lako da se izgubi.

Verujem da smo kod nekih izgubili poverenje.
Čeka nas put oporavka.

Šta nas je ohrabrilo?

Koliko smo veliku podršku dobili od naših Limundovaca.
Bodrili ste nas, pa čak nam je jedan član doneo palačinke i piće kao mali znak pažnje.
Na društvenim mrežama, putem telefona, uglavnom znakovi podrške.
Hvala u ime celog tima, to nam je dalo snagu da ostanemo pribrani i fokusirani na rešenje.

Član @pallermobg video koliko smo se trudili i obradovao nas palačinkama. Neočekivana dobrota. Hvala! pic.twitter.com/OfIvDT7Ev8

— Limundo Gradilište (@LimundoGradnja) February 4, 2014

Zašto ovaj post?

Ovo je bilo novo iskustvo za nas, a želeli smo da podelimo to sa vama i sa kolegama koji mogu imati slične probleme, pa da možda malo lakše prođete kroz izazove. Takođe je mnogo lakše kada znamo šta se desilo, možemo lakše da se poistovetimo ili da shvatimo tok dešavanja. Želim da delimo ovakve bitne stvari, ne samo one lepe već i one jako izazovne.
Hvala svima na razumevanju.