Od 2 tygodni grupa Adweb walczy z największą awarią serwerów w historii polskich firm hostingowych. Tysiące klientów straciło najpewniej bezpowrotnie swoje dane i swoich klientów. O kulisach awarii, obecnej sytuacji grupy, postępach i potrzebie backupu, rozmawiamy z CEO grupy Adweb – Bartkiem Juszczykiem.

HostingNews.pl : Grupa Adweb działa na polskim rynku od 2003 roku. Bartek, chcąc nie chcąc, jesteś jako marka 2be bohaterem najdłuższej awarii firmy hostingowej w Polsce. Coraz więcej informacji pojawia się w sieci, ale warto byłoby to wszystko logicznie poukładać. Może zacznijmy od początku.W grudniu odchodzi od was wasz wieloletni administrator IT, który był z wami od początku. Dlaczego odszedł?

Bartek Juszczyk: To prawda. To była bardzo dziwna sytuacja. Chłopak od jakiegoś czasu chciał pracować zdalnie jako administrator, a także chciał znaczącą podwyżkę. Już zarabiał 5 cyfrową sumę, ale jego oczekiwania płacowe, były nieadekwatne to stawek rynkowych i naszych możliwości finansowych. Warto dodać też, że dział przezeń zarządzany z 13 osób zmniejszył się w ostatnim czasie do 3 osób. Dodatkowo nie mogłem się zgodzić, by pracował zdalnie. Potrzebowałem go tutaj na miejscu, także do innych zajęć, nie tylko do prac administracyjnych, ale także do części projektów, które robiliśmy jako grupa. Po prostu się nie dogadaliśmy. Kolega od razu poszedł na L4 i właściwie kontakt z nim się urwał, mimo wielu próśb o takowy.

Hosting News.pl : Czy jego odejście było dla Ciebie zaskoczeniem?

Bartek Juszczyk: Tak zdecydowanie, ale to była tylko jego decyzja. Poszedł na L4 i postawił nas przed faktem dokonanym. Pracował z nami w sumie od początku istnienia firmy, był mocno zaangażowany także w naszą druga markę Codefathers. Swego czasu, kiedy miał problemy osobiste, bardzo mu pomogłem finansowo. Chłopak miał duże zobowiązanie finansowe wobec firmy, w związku z tym. Zawsze mógł jednak na nas liczyć, był w sumie moją prawą ręką. Gdy byłem często na wyjazdach, to właśnie on zajmował się działaniem bieżącym naszej grupy.

HostingNews.pl : Ok, administrator odchodzi w grudniu 2015. 26 lutego dałeś ogłoszenie o pracę na portalu ogłoszeniowym OLX dla admina systemów Linux. To prawie 2 miesiące po odejściu głównego admina. Kto przez ten czas zajmował się strona techniczną i bezpieczeństwem firmy?

Bartek Juszczyk: Zdalni admini, którzy z nami współpracowali. Poprzednik jednak zostawił po sobie duży bałagan, nie przekazał wszystkich dostępów. Dostał od nas szereg wezwań w międzyczasie o dostępy, ale się z nami nie skontaktował. Brak jakichkolwiek reakcji na prośbę kontaktu, brak.

HostingNews.pl : 9-10 lutego nastąpiła pierwsza awaria, która dotknęła wasze serwery pocztowe. Jaka była przyczyna awarii i kto wam to naprawił, skoro nie mieliście admina w firmie?

Bartek Juszczyk: Robił nam to jeden zdalny admin, serwery pocztowe zostały zaspamowane, nie zadziałały filtry antyspamowe. Po wszystkim, dostałem właśnie informacje, że nasz były admin, zostawił po sobie duży bałagan na serwerach. Nie zabezpieczył tego i w ciągu tygodnia przyszło tyle SPAMu, że się serwery zatkały.

HostingNews.pl : Idźmy dalej. Tą awarię udało się w miarę szybko naprawić. Tak jak mówiłem, 26 lutego dałeś ogłoszenie o pracę na portalu OLX dla administratora sieci Linux. Dodatkowo na swoim prywatnym profilu na Facebooku, zamieściłeś informację, że potrzebujesz pilnie admina w Warszawie, by pomógł wam z serwerami na Pięknej w Warszawie.

Bartek Juszczyk: No tak. Problem się powtarzał, a ówczesny admin był po prostu za słaby i nie mógł sobie poradzić . Ja byłem w tym czasie na wyjeździe we Wrocławiu, działałem spontanicznie. Problem dotyczył ponownie spamowania serwera. Postanowiłem więc w międzyczasie poszukać jednak admina na stałe do firmy, po odejściu poprzednika, stąd ogłoszenie. Zresztą dalej szukamy administratora.

HostingNews.pl : Skoro twierdzisz, że nie jesteś osobą techniczną, to kto weryfikował umiejętności techniczne poszczególnych kandydatów którzy się do was zgłaszali?

Bartek Juszczyk: Ludzie w firmie, którzy mają wiedzę i kompetencje, które do tej pory były wystarczające do zweryfikowania kandydatów.

HostingNews.pl : Czemu nie zlecicie tego profesjonalnej agencji rekrutacyjnej, skoro jak mówisz, sami nie możecie dokładnie zweryfikować wiedzy kandydata?

Bartek Juszczyk: Może tak będzie, zobaczymy. Jak nie znajdziemy, to może zostaniemy przy formie współpracy na zasadach outsourcingu, ale dotąd ona się nie sprawdzała.

HostingNews.pl : Dajesz ogłoszenie na Facebooku. Dostajesz jakieś tam propozycje. Jak trafiłeś na TĘ firmę? Rekomendacje innych?

Bartek Juszczyk: To była firma mojego klienta. Ten klient zaproponował nam współprace. Mieli u nas wcześniej hosting i domeny. Powiedział mi, że jego firma zajmuje się takimi rzeczami jak administracja serwerami. Na początku zażądali jak dla mnie, za wysokiej kwoty za dzień pracy. Uzgodniliśmy, że pierwszy dzień będzie po niższej cenie. Wystawili fakturę, zapłaciłem. Potem pracowali jeszcze 6 dni. W międzyczasie próbowałem negocjować z nimi niższą cenę, ale nie odpowiadali na moje maile i telefony. Potem spotkałem się z nimi w Warszawie, gdzie ponownie zażądali takiej ceny za dzień pracy, jaką proponowali na początku. Skonsultowałem się z moim prawnikiem i powiedziałem im, że wysłałem im wcześniej kontrofertę i jeśli się z nią nie zgadzają, to mogą skierować sprawę do sądu. Oni nam wystawili za to fakturę w dniu 21.02.2016 , z 1 dniowym dniem płatności na sumę, co do której się nie zgadzałem.

HostingNews.pl : Kiedy się z nimi spotkałeś w Warszawie?

Bartek Juszczyk: To było 24 lutego. Spotkałem się z 3 osobami z zarządu tej firmy w Warszawie. Niestety rozmowa niewiele dała. Byli mocno sztywni co do negocjacji. Co ciekawe, dziś dostałem od nich ofertę wynegocjowaną przeze mnie, za te dni pracy. Na prośbę jednak, by pomogli nam serwerami i odzyskanie danych, brak odpowiedzi.

HostingNews.pl : Jaka forma umowy została zawarta z tą firmą? Kto im dał dostępy do serwerów i kto to kontrolował? Na jakie prace się umówiliście?

Bartek Juszczyk: Musieliśmy działać bardzo szybko. Nie było więc spisanej umowy – bazowaliśmy na ustaleniach mailowych.

HostingNews.pl: Ok, kiedy nastąpiło to włamanie i w jaki sposób go dokonano?

Bartek Juszczyk: Włamanie nastąpiło z piątku na sobotę w nocy 25 na 26 luty. Zrobiła to osoba, która miała dostęp do roota i znała hasło. Z tego co wiem, tylko ja znałem hasło, nasz administrator, który odszedł w grudniu, poprzedni zdalny admin, i ta właśnie firma. Oczywiście nie mam pewności, że zrobiła to TA firma, choć mamy pewne poszlaki, np. milczą i nie odpowiadają na moje maile po ataku, gdzie proszę ich o kontakt i piszę wyraźnie, że właśnie ich podejrzewam. Niestety nic mi nie odpisali, wysłali tylko fakturę z zaproponowaną przeze mnie wcześniej kwotą, mimo prośby o negocjacje.

HostingNews.pl: Chcesz powiedzieć, że nie zmienialiście haseł, a hasła do serwera produkcyjnego jak i backupu były takie same?

Bartek Juszczyk: Tak właśnie było. Teraz to się zmieniło, ale do momentu awarii, tak właśnie to wyglądało. Liczyłem w sumie na to, iż uda się nam porozumieć z tą firmą i być może podejmiemy stałą współpracę.

HostingNews.pl : Jaka forma backupu była stosowana przez Adweb? Jakaś zewnętrzna chmura, redundancja?

Bartek Juszczyk: Nie, mieliśmy serwer backupowy u nas, ale ten serwer także został wyczyszczony, bo ta osoba znała hasła. Nie mieliśmy zewnętrznego backupu ani chmury w tym przypadku.

HostingNews.pl : Rozumiem, ze serwer backupowy był także w Warszawie, w serwerowni w T-Mobile. Czy dodatkowo, mieliście jakiś backup wewnętrzny na swoje własne potrzeby, np. w biurze w Krakowie?

Bartek Juszczyk: Były także serwery lokalne w Krakowie, ale także do tych serwerów ten człowiek miał dostęp, więc także te serwery zostały wykasowane. Wyzerowano nam całe 12 lat!

HostingNews.pl : Kto wam teraz próbuje to wszystko postawić na nogi?

Bartek Juszczyk: Jest to nowa firma z Warszawy, która z nami współpracuje od tygodnia i robią to bardzo dobrze. Dodatkowo współpracują z firmą z Krakowa, która pomaga nam odzyskać dane. W weekend przewieźliśmy serwery z Warszawy do Krakowa i tam staramy się odzyskać dane bezpośrednio z serwerów.

HostingNews.pl : W jaki sposób nastąpiło włamanie? Proxy?

Bartek Juszczyk: Tak, wejście było przez proxy, tak więc do końca nie wiemy czy uda sie prześledzić skąd i kto przypuścił atak na nasze serwery.

HostingNews.pl: Czy prokuratura już coś zrobiła w tym temacie?

Bartek Juszczyk: Zgłosiliśmy całą sytuację do Prokuratry Rejonowej w Krakowie i czekamy. Wiesz, jak to działa w naszym kraju….wolno.

HostingNews.pl: Czy odzyskaliście pełny dostęp do swoich skrzynek pocztowych?

Bartek Juszczyk: Tak mamy dostęp do naszych skrzynek pocztowych. Wszystkie skrzynki pocztowe nam ruszyły dzisiaj. Niestety wszystkie maile zostały nam też wykasowane. Na szczęście większość maili była na komputerach w programie pocztowym, więc mamy historię, ale w webmailu, już nie mamy.

HostingNews.pl : Czy istnieje szansa by odzyskać dane klientów i strony WWW? W jaki sposób zostały wykasowane te dane?

Bartek Juszczyk: Nastąpiło to przez nadpisanie zerami, także nie wiem, czy istnieje szansa na odzyskanie, szczerze. Konsultowaliśmy się z firmą OnTrack i są bardzo ostrożni w tym temacie. Światełko w tunelu, to fakt, że udało nam się ustalić, iż najprawdopodobniej dane zostały eksportowane do innej firmy hostingowej. Być może przed nadpisaniem, włamywacz zrobił jednak kopię. Sprawa jest w toku.

HostingNews.pl : Dlaczego BOK pracuje tylko do 16.30 skoro są to tylko 3 osoby i jak sam piszesz, nie wyrabiają się z pracą?

Bartek Juszczyk: Ludzie pracują w normalnych godzinach bo ja szanuję czas swoich pracowników. Uważam że naszych klientów nie interesuje to, co się dzieje w międzyczasie operacyjnie. Pracowaliśmy przez cały weekend, mieliśmy dużo spotkań i narad, ale to nie jest coś o czym chcę na bieżąco informować, piszę o postępach. Co do BOKu, to godzinę czy półtorej dłużej, nic by nie zmieniło. W ciągu dnia każdy może zadzwonić lub napisać maila i otrzyma odpowiedź.

HostingNews.pl : Awaria trwa już drugi tydzień. Jak chcesz odbudować dobre imię firmy, poza hasłami marketingowymi?

Bartek Juszczyk: Zamierzamy przeprosić pocztowo wszystkich klientów i zaoferować im duże zniżki na usługi . Dodatkowo, przygotowywane są indywidualne oferty dla każdego klienta. To tak na szybko. Przed awarią mieliśmy około 1 500 kont hostingowych i ponad 10 000 kont domenowych, tak więc będziemy walczyć o każdego klienta. Nie planuję żadnych działań stricte PRowych.

HostingNews.pl : Czy masz już strategię dla klientów którzy szykują się na pozew zbiorowy?

Bartek Juszczyk: Nie mogę nikomu zabronić, na pewno jednak będziemy starali się z nimi porozumieć. Rozumiem ich złość i frustrację, sam też tracę dużo pieniędzy. Teraz jednak priorytetem dla mnie jest przywrócenie wszystkich usług i odzyskanie jak największej ilości danych.

HostingNews.pl : 2be to tylko jedna marka z waszej grupy. Jednak nie działaja strony wszysktich waszych marek np: Adweb, Vanguard, Codefathers itp. Jakie straty to generuje?

Bartek Juszczyk: Dla firmy jest to widoczne po przelewach na konto. Po prostu widzimy, że na konto wpływa mniej pieniędzy. Jakie są to realnie mniejsze przychody, ciężko określić bo awaria trwa dalej. Warto podkreślić, że przychody z hostingu i domen, stanowią mały ułamek naszych przychodów jako całej grupy. Tracimy jednak przede wszystkim wizerunkowo i to boli najbardziej.

HostingNews.pl : Mówisz, że teraz serwery będą zabezpieczone jak nigdy. Co konkretnie kryje się pod tym stwierdzeniem, skoro jak sam przyznajesz, nie jesteś osobą techniczną?

Bartek Juszczyk: Tak na szybko, to na pewno hasła będzie znał tylko 1 admin. Więc zawsze będzie wiadomo, kto jest winny jeśli coś się stanie. Dodatkowo pracujemy nad nowymi metodami zabezpieczeń, osobnego backupu w chmurze itp. Cały projekt przygotowuje nam firma z którą współpracujemy.

Wierzę, że wyjdziemy wzmocnienie po tym kryzysie. W przyszłości działając jako firma, będziemy lepiej przygotowani.

HostingNews.pl: Prowadzisz szkolenia z dziedziny PR kryzysowego jako Vanguard PR. Jak oceniasz PR kryzysowy grupy 2be.pl w tej sytuacji?

Bartek Juszczyk: Wiesz co, Vanguard działa sobie osobno. Informuje realnie o tym co się dzieje poprzez media społecznościowe i na stronie 2be.pl w formie komunikatów. Dla mnie działania kryzysowe polegają na tym, że rozmawiam z Tobą, jestem otwarty, informuje na profilu na FB swoim i grupy Adweb. Nic nie zmieni fakt, jeśli zespół BOK będzie pracować dłużej.

HostingNews.pl : Co chciałbyś przekazać swoim klientom na koniec tego wywiadu?

Bartek Juszczyk: Róbcie samodzielnie backupy! To się może zdarzyć w każdej firmie hostingowej. Warto mieć swoje dane trzymane w innym miejscu niż strona. Ogólnie klient zawsze powinien mieć przygotowany plan B na wypadek awarii. Oczywiście firma także, ale zachęcam by zawsze zrobić też swoją własną kopię. Własne zabezpieczenia, zabezpieczenia danych i przygotowanie na sytuacje kryzysowa.