Odlučni smo da nudimo odličan kvalitet,
a to između ostalog znači i brzu i stabilnu stranicu.
Limundo 26 sati nije bio dostupan (od 17h 03.02. pa sve do 18:45h 04.02.).
To po mom mišljenju ne zvuči kao stabilna stranica.
Uprskali smo.
Ovih 26 sati su bili intenzivni i mnogo smo toga naučili.
Želim da podelim sa vama to iskustvo.
Šta se desilo, korak po korak i šta smo učinili:
17h – 03.02.
Na storage sistemu firme NetApp, hostovanom kod Mainstream-a, otkazao je SSD disk.
Nema problema. Ceo storage je redundantan,
tako da preuzimaju drugi diskovi.
Međutim, jedan bug u software-u storage sistema je u tom momentu ceo volumen označio kao neispravan.
To je dovelo do pada Limunda i Kupinda.
19h – 03.02.
Javlja nam se sve veći broj zabrinutih članova,
Limundo i Kupindo su prazni,ne znaju šta se desilo.
Sistem administrator diže kratak tekst sa obaveštenjem da imamo problem sa slikama.
U tom momentu smanjuje se broj poziva, članovi imaju
osnovnu informaciju da nije do njih.Sistem i dalje ne radi.
Ceo tim preko Skype-a obaveštavamo o najnovijim promenama.
Nažalost, nema mnogo promena.
23h – 03.02.
Stalno smo na liniji sa Mainstream-om, a oni sa NetApp-om,
koji su postavili naš problem kao najveći prioritet za rešavanje.
Centrale Net App-a u Americi i u Evropi su upućene i pokušavaju
da ponove ovaj problem u laboratoriji.
Nisu ga do sada imali.
07h – 04.02.
Nikola (sem kratkog sna od dva sata) oka nije sklopio.
Američki tim je nakon 12 sati testiranja došao do zaključka da ćemo morati da izbrišemo sve diskove, s obzirom da je došlo do nepopravljive greške
(tzv. WAFL file system corruption).
13h – 04.02.
Okupljamo ceo tim.
Stanje: ispostavilo se da možemo da vratimo sve slike. Trajanje – 130 sati.
Druga solucija: možemo da vratimo slike sa našeg backup-a.
Tu imamo jedan snimak od nedelje, ali on ne funkcioniše.
Drugi je od četvrtka na petak uveče (30. na 31.01.).
To bi moglo da se vrati za 15-20 sati, ali bez slika novijih predmeta…
U pitanju je preko 180.000 slika.
Donosimo odluku: vraćamo sa backup-a.
14h – 04.02.
Kreiramo stranicu za kriznu komunikaciju.
Dižemo i postavljamo više informacija, plus linkove ka Facebook stranicama
i LimundoGradnja Twitter nalogu.
Sa brojnim članovima smo od početka na vezi jedan na jedan.
Korisnička podrška radi bez prestanka.
16h – 04.02.
Pravimo strategiju koje aukcije na Limundu da produžimo, šta na Kupindu da učinimo,
Pripremamo poruke iako ne znamo kada i šta ćemo imati kao rešenje.
U toku pripreme strategije, Mik nam ulazi 3 puta sa svežim informacijama:
“Izgleda da ćemo moći da vratimo sve slike”.
Olakšanje.
Posle par minuta ulazi:
“Izgleda da ćemo moći da vratimo sve slike i to još ovog dana.”
Sreća.
Posle par minuta:
“Izgleda da ćemo moći do osam uveče sve da dignemo, sve slike na mestu.”
Već je nastala šala:
“Hajde uđi opet za koji minut i javi, ‘sve je dignuto pre dva minuta’.”
18:30h – 04.02.
Stranice su spremne, testiramo.
18:45h – 04.02.
Limundo i Kupindo su ponovo dostupni.
19:20h – 04.02.
Aukcije na Limundu produžene su za 24h ili 48h ako su istekle u momentu nedostupnosti.
Sve promo opcije na Kupindu produžene su za 48h.
Šta smo naučili, šta možemo bolje da uradimo?
Komunikacija je presudna.
20h smo bili na društvenim mrežama prisutni i aktivni,
Limundo Facebook stranica je dobila preko 500 komentara,
Kupindo preko 90, a na Twitter nalogu LimundoGradnja se pridružilo
dosta članova po prvi put.
Brzo smo pojačali komunikaciju i pustili vesti na samoj stranici.
Od sada ćemo koristiti tu stranicu u slučaju da dođe do sličnih poteškoća,
kako biste odmah znali šta se dešava.
Kada je vrlo, vrlo, vrlo mala verovatnoća da se nešto desi,
ideš od toga da se neće desiti. Što je razumno i zdravo.
Ali, to ne znači da nije moguće.
Ova greška je bila test kako bolje da rasporedimo resurse
na serverima u slučaju sličnih problema.
Šta nas muči?
Gubitak poverenja.
Ja sam ljubitelj čokoladnog mleka, i godinama ga pijem.
Jednog dana je bilo pokvareno, a upravo sam ga kupio.
Od tada sam dugo dugo vrlo pažljivo uzimao prvi gutljaj.
Sada opet bez bojazni pijem čokoladno mleko.
Ali je trajalo dok opet pridobije moje poverenje.
Poverenje – teško i dugo se gradi, a može lako da se izgubi.
Verujem da smo kod nekih izgubili poverenje.
Čeka nas put oporavka.
Šta nas je ohrabrilo?
Koliko smo veliku podršku dobili od naših Limundovaca.
Bodrili ste nas, pa čak nam je jedan član doneo palačinke i piće kao mali znak pažnje.
Na društvenim mrežama, putem telefona, uglavnom znakovi podrške.
Hvala u ime celog tima, to nam je dalo snagu da ostanemo pribrani i fokusirani na rešenje.
Član @pallermobg video koliko smo se trudili i obradovao nas palačinkama. Neočekivana dobrota. Hvala! pic.twitter.com/OfIvDT7Ev8
— Limundo Gradilište (@LimundoGradnja) February 4, 2014
Zašto ovaj post?
Ovo je bilo novo iskustvo za nas, a želeli smo da podelimo to sa vama i sa kolegama koji mogu imati slične probleme, pa da možda malo lakše prođete kroz izazove.
Takođe je mnogo lakše kada znamo šta se desilo,
možemo lakše da se poistovetimo ili da shvatimo tok dešavanja.
Želim da delimo ovakve bitne stvari, ne samo one lepe već i one jako izazovne.
Hvala svima na razumevanju.
sta su rekli ti Ameri? Nije valjda da im se ovo prvi put u zivotu desilo? Kako bas Limundu?
Nisu nikad imali takav slučaj, zbog toga je i dugo trajalo da nađu uzrok.
Iz istog razloga su i menjali informacije šta da uradimo dalje kako je vreme prolazilo.
Sada su problem rešili i izbacili patch za tu softversku grešku.
Svi korisnici NetApp-a su sada srećniji što smo otkrili grešku :-).
…ех,били смо у чуду,недостајала нам је дневна доза претрага хехе…али нема ни говора о губљењу поверења,грешке се дешавају,чак и да су све слике нестале у етру улоговала бих се чим бисте кренули испочетка!желим вам пуно успеха надаље,поздрав!
dakle ovo je odlican scenario za napet triler sa temom “Sa amerima mozemo samo da se slikamo,,,…ma vazno je da i dalje sve ide kako treba,da se lova sliva,roba prodaje,mi se druzimo,,,,,
PS..u medjuvremenu dok sam pokusao da poslajem komentar,,,stranica me je izbacivala sa porukom GRESKA RADOVI U TOKU….( opet ameri)
Poverenje kod članova sigurno niste izgubili, svi smo tu i dalje, radimo i radimo, no “ko se na mleko opeče i u jogurt duva”
lepo sam sve textove aukcija kopirao , slike takođe i spakovao čak sam i svih devet strana fotografisao ( redosleda radi)
tako da sam miran , Ipak pu, pu da ga ne ureknem !!!
Bilo, proslo 🙂
Svaka cast svima koji su vam davali PODRSKU, vama kojima je bila najpotrebnija.
“Nemoze nam niko nista” Lidija
Svaka čast ljudi, super članak! Pokazali ste odličnu organizaciju u teškim trenucima. Odlična komunikacija i fenomenalan odnos sa članovima! Svako dobro u daljem radu, puno uspeha i profita, jer zaslužujete! 🙂
Pokusavam nekoliko puta da se konektujem na limundo ali nemoguce,u jednom trenutku mi se javlja da stranica nije dostupna ili ne postoji?????????????
Kazem sebi auuuu da li je moguce,pa kako cu bez limunda tj sta cu sad da radim,kada mi je to jednostavno ritual kad dodjem sa posla??Bio sam zabrinut,dok tim nije saopstio da je problem u sistemu i da rade na tome….Sve u svemu video sam raznih komentara….Sto se mene tice,sam Limundo i Tim koji sve to odrzava je vrlo profesionalno odradio sve to…svaka cast
Wow, dobra prica za film! 🙂 Samo da je se ne docepa Srdjan Dragojevic…
Samo ovako nastavite.
Svakome se moze desiti da otkaze elektronika. Sto se mene licno tice ja i dalje verujem u Vas.
Pozdrav. Sasa.
Ameri pokusavaju da nas gaze svuda , ali za njih je samo Novak , on ih razbija na sve strane
sto bi rekli:
AKO KANIS POBEDITI – NE SMES IZGUBITI !!!
tj
PIVO, PIVO, a moze i RAKIJA !!!
Nevidim razlog za brigu,malo je bilo za sve stresno i napeto,sve je ponovo leglo na svoje mesto,i bez brige mislim da je sve na starom mestu 🙂 ,da niste pokrenuli ovaj post retko bi se ko i sećao problema.
A na Facebooku i limundo gradnji itekako je bilo živo 🙂
Komentara na tone,te udario haker na sajt,te pokupio informacije i podatke,
do onoga da je ishakerisan sam server 🙂 ,bilo je svega,ali problem resen i svi zadovoljni:IDEMO DALJE 🙂
I ja sam bio zabrinut ,4 godine gradim rejting(kako rekoste poverenje…) sa 5300 ocena pozitivnih do sada,i da to sve pukne odjednom(u slucaju da je limundu ostao na neki nacin bukvalno “Rasturen”) ali verovao sam da je problem resiv ,i ispostavilo se da jeste 🙂
A na Fejsbuku koliko zlih jezika,i koliko je nekorektnih ljudi pad sistema “dočekalo na oštricu noža” da covek nepoveruje.Nažalost takvi smo kakvi smo,nepopravljivi…
Лимундо је имао блог о Божићу
Ја сам тамо лепо написао да није у реду што сте били парољубиви на тај дан
Ово вам је била ОПОМЕНА па правдајте дешавња како год хоћете
Следеће године паузирајте тај дан
po meni je ovo jedina nejasna informacija ili degradacija ?
“Sa brojnim članovima smo od početka na vezi jedan na jedan.
Korisnička podrška radi bez prestanka.”
ko su ti clanovi Limunda sa kojima ste na vezi? i zasto ste sa tim pojedincima na vezi?
Mislio sam sa time da su nas članovi zvali ili slali poruke sa pitanjima,
i da smo njima (jedan na jedan) preneli šta se desilo.
Hteo sam time da kažem da nismo samo koristili društvene mreže za komunikaciju.
ma kad sam se taj dan ulogovao uvideo sam odmah da je rec o tehnickim greskama.onda su oni dali objasnjenje fino i kulturno.
Mnogo smo kvaran narod..strasno je koliko se radujemo kad je neko u problemu!
Dodje mi da preselim u Bosnu!
ha ha ha ..hocu bre naleonicu logo-a Limundo bre..i to na auto da stavim..mislim da je malo doslo do preterivanja..ali da nije tako ne bi bili to sto jesmo..ljudi.Svi gresimo ..pa i sistemi i programi..cak i da niste uspeli da vratite sve na svoje mesto….pt..pt..pt..tu smo mi koji vas podrzavamo..
pravi limundovci bi opet od pocetka,ocena po ocena ..naravno ..jer vi cinite da koliko vidim ..neki ljude i zive od rada na ovom sajtu..treba covek biti i zahvalan..tako da eto..divno je uopste saradjivati sa vama ..clanovi su vam extra..odgovori u najkracem roku ..ljubazni ,fini.. veliki pozdrav i svako dobro
Pišete gluposti.
Stvarno odličan članak, nesebično deljenje iskustva koje može mnogima da pomogne. Samo napred, srpski eBay!
Ni jedan los komentar dosad. Izgleda da su svi koji bi imali takve primedbe “izgubili poverenje” pa otisli drugde.
Ili ih samo niste odobrili.
To je u redu. Ipak ste se namucili. Prebacivali ste rucno sliku po sliku, dok je americki tim 12 sati otkrivao sta se to desilo. A to je kao da ste prebacivali cepanicu po cepanicu.
Dobro je da je sve zavrseno….nego mi nije jasno kako bre sve Srbima prvi put da se desi? 🙂 Uvek smo mi ti u Srbiji koji otkrivamo bagove, otkrijemo neke velike stvari sa situacijom pomenutom ovde (nisam nista lose mislio nego kako se kola uvek slome nad nama? 🙂 ). Licno sam takodje prolazio kroz situaciju nalik vasoj a i dugi niz ostalih situacija sa otkrivanjem bug-ova i resavanjem istih. (neki do danas dan nisu reseni 🙂 ). Elem…lep tekst – drago mi je da je na kraju sve ispalo super!
Sa srecom u buducnosti!
Pozdrav, Sale
Aaaaahhhh ti blly biysi (haccheri)!
Kad sam videla da ne mogu da se ulogujem na limundo, prvo sam pomislila da sam ja nesto zabrljala. Onda je izaslo obavestenje da je doslo do problema i da ce biti reseni do daljnjeg. Taj izraz do daljnjeg me je zabrinuo posto se obicno koristi kada ce nesto bas da potraje. Medjutim, bila sam sigurna da greska nije do limundo tima vec da dolazi sa viseg nivoa. Pretpostavila sam da je otkazao server i na tren se uplasila da ce sve biti obrisano, aukcije u toku, zavrsene aukcije, sve nase ocene…. Medjutim, pomislila sam koliko je limundo velika i ozbiljna firma i da sigurno ne bi dozvolili da iznevere 300 ili 400 000 svojih clanova koliko dosad vec ima. Vec sutradan predvece, limundo je proradio. Obradovala sam se i rekla: Svaka im cast! Za dan su sve resili. Vredelo je verovati u njih i biti pozitivan.
ps: Hvala vam sto postojite! Cinite velike usluge i onima koji prodaju i onima koji kupuju. Samo tako nastavite i budite jos bolji i veci…
Greške se dešavaju, ali i rešavaju.
Mnogo je bitno imati podršku u takvim situacijama.
Mi smo tu zbog vas – a vi zbog nas , i tako će biti i ubuduće.
Hvala na pojašnjenju cele situacije – idemo dalje.
Pozdrav celom timu !!!
Svaka čast! Pozdrav celom timu.
Evo i ja želim da podelim kako je to izgledalo kod mene.
Nisam hteo da vas zovem preko telefona jer sam pretpostavio da ste u frci.
Da vas sad zovem da pričamo zašto ne radite – pa kad bi ste proradili?
Dakle, popijem ja kafu, pogledam šta ima novo na RedTube ajd da vidm šta ima i na Limundo a ono neće… Prpbam PornHub ono radi… ajd Limundo opet neće… probam ja teen18 e tu bila neka nova medjutim Limundo neće pa neće… Setim se jednog isto sajta koji ume da koči to je onaj xhamster medjutim on radi ali limundo neće pa neće…
Nijednog momenta nisam posumnjao u Limundo,samo je pitanje vremena koliko ce potrajati,čovek radi i gresi,pa pogresi i mašina ljudi.A nije vam bilo lako ni u kom slučaju,jer uvek je bilo i biće ljudi koje zloba hrani. Nemožemo bez Limunda i Kupinda,navučeni smo mnogi na vas,ja vam još jednom želim da radite uspešno i još više napredujete.U to ime Živeli.
Postovanje svima!
Dodjoh, vidoh, pobedih! Sto bi se po nasem se reklo, da je Pera otisao u policiju do svega toga ne bi ni doslo…posteno.
Ja probala da udjem na Limundo ono ocitava 2 sata i nikako da udje. Probam Google ono radi, probam ponovo Limundo,nece. Pocnem da pomeram modem,kablove, iskljuci-ukljuci opet nista. Restartujem tri puta kompjuter i ponovo nece a zivci rade… Na kraju udjem na fb i vidim da je do vas a ne do mog kompa. 😀 Drago mi je sto ste sve sredili bez posledica….. Super ste i veliki pozdrav…
Da koristite svoj datacentar ovako nesto se ne bi dogodilo…sa adekvatnom opremom naravno…uvek je bilo – koliko para toliko muzike! Ili ste ozbiljni igraci ili negde zakinete da ustedite i onda vam se desi ovako nesto…
Sjajno i lepo ste sve odradili da mi niste našli mesta za bilo kakvu sumnju,dragi L.T.Nisam ni stigao da sumnjam na grešku zbog vas ,jes malo bilo nelagodno ,ali tih 26 sati prođe kao dlan o dlan,pa šta da je bilo i više,život ide dalje a sada smo još bogatiji i snažniji zbog toga,nemajmo mnogo sekiracije za Amere,jer ovako znaju da i od nas nešto prvi put počinje.Zahvalan sam vašoj nesebičnoj ulozi u svemu da sčuvamo uzajamno poverenje koje još samo na rečima kolo vodi,ali dela naša to mnogo više dopunjuju.Uzdignuta čela napred i nema bojazni dok tako dobro i pozetivno delite iskrenost vaših dela sa nama koliko nas na Limundu ima,a biće nas i više.Hvala vam na svemu!!!…
Jednog dana ce zabagovati ceo bankarski sistem pa iako imamo para necemo moci deci da kupimo dorucak. Bila je i jedna emisija na tu temu a evo ostvaruje se laganica, Limundo je samo bio u ovom slucaju kao pokusni kunic.
Prijatan dan svima
Ali komentar od: @dimitrijevic75
Ahahahahahhahah…LOOOOOL!!!
Suze….Suze… 🙂
dimitrijevic75 .. E UMRO SAM OD SMEHA :):)
Ne znam zasto bi neki clanovi izgubili poverenje…stvari se desavaju, brzo ste sve resili, svaka vam cast…iskreno meni je bilo zao sto je sajt pukao i sto sam pretpostavljala da ce se svi namuciti dok se sve ne dovede u red. U muci se moramo drzati zajedno, a ne da odmah osudjujemo i trazimo krivca u problemu. To je najlakse, a takvi vam clanovi i ne trebaju. Drago mi je da je sve opet u redu, i jos jednom, svaka vam cast na brzom resavanju problema i izvestavanju iz sata u sat sta se desava.
Svaka Vama cast.Ne,na resavanju problema/jer je to za vas “rutinska radnja”/vec na ovakvom iscrpnom i hronoloski urednom obavestenju,koje nam puno znaci.
Ne “zivim” od Limunda ali sam svaki dan na vasem saitu,i jako ga volim.Po nekada nesto i pazarim.Jos jedno hvala na brizi o vasim klijentima, i zelim vam i dalje uspesan rad.
Pa, draga Gospodo, čak i u Enver Hodžinoj Albaniji, za vreme tog “demokratskog glasanja”, Diktator Enver Hodža je dozvoljavao da se objavi da je 1. procenat glasača glasao protv njega. Vi ste poštovana ekipo sa Limunda, očigledno smatrali da je i taj 1. procenat koji je bio dozvoljen i u diktatorskim režimima, mnogo, pa u objavljenim komentarima samo hvalospevi i ode Limundo ekipi. Da li ste malo preterali?. Recite nam istinu, ne krivite nekog ko ne može da porekne, a čak 99,99. procenata nas korisnika to što pričate, ne može ni da proveri. Objavite ovo, ne cenzurišite. Pozdrav.
Tek kada smo Vas izgubili shvatili smo koliko nam značite…
Prodavci su se uplašili da će opet morati da beže sa kartonskim kutijama od komunalaca
Procenat koji uzima komunalna je 5.000 pa prodali nekome ili jok
A ovamo Limundo skup?!
A kupci su se uplašili da če morati da jure po ulici gde se nalaze baterije, CD-ovi, brushalteri, kertridži, slike, fotoaparati, kašika za izuvanje…
a da ponovimo malo opet, ali malo, a?
A kad je to bilo ? Nisam ni primetio 🙂