Driftsproblemer

På denne side vil du finde uddybende informationer omkring de driftsproblemer der har været.

Netværksangreb

26. oktober 2011

Der har her til morgen været et angreb mod vores netværk som har berørt serverne i den ældre del af netværket. Teknikkerne fik ret hurtigt blokeret for angrebet og alt drift blev normaliseret. Dette betød nedsat hastighed over en periode på ca. 15 minutter. Det ramte netværks segment er allerede under udskiftning, og denne udskiftning vil blive fremskyndet såvidt teknikken tillader det.

Storage problemer

21.oktober 2011

Vores leverandør blev fredag d. 21. oktober berørt af en række uheld, hvilket desværre betød, at en stor del af vores kunder ikke kunne modtage deres e-mails før sidst på dagen.

Tidligt fredag nat gik en af vores diske ned, på det disksystem (SAN) som håndterer flere af vores mail løsninger – en hændelse som absolut ikke er faretruende, da vores SAN er konfigureret til at kunne håndtere op til 4 samtidige diskfejl. I løbet af morgenen og indtil kl. 08.37 mistede vi dog yderligere 3 diske, hvilket stadig ikke var et direkte problem. 

Da tabet af flere diske ville være absolut katastrofalt, stod vi på daværende tidspunkt derfor med 2 muligheder. Vi kunne lade disksystemet køre videre, og håbe på at vi ikke ville miste flere diske imens de 4 ødelagte diske blev genopbygget, hvilket ville ske over en periode på ca. 40 timer, da genopbygning i et kørende system kun vil køre med ca. 30% hastighed. Alternativt kunne vi erkende, at der var en fejl på det enkelte netværk (SAN) og derfor slukke hele systemet, hvorved en genopbygning blot vil tage 10-13 timer, da den således kan køre med 100% hastighed.

Vi tog derfor en strategisk beslutning, om at slukke for disksystemet, for at være sikre på at vores løsninger ville komme op og køre igen allerede den samme dag. Samtidig vidste vi, at vores mail-backup system kørte videre uden problemer, hvorved vi desuden kunne være forsikret om, at der ikke ville opstå mailtab, i perioden indtil disksystemet var oppe igen.

Kl. 20.30 fredag aften – ca. 11,5 timer efter at vi tog systemet ned, var det færdig med at gendanne/reparere de første diske og vi følte os derfor trygge ved at starte systemet op igen. Hele episoden har været meget beklagelig, til dels fordi at denne form for tekniske problemer normalt kun berører os internt, men specielt fordi at det denne gang ligeledes har været en meget langsommelig affære og har berørt mange af vores kunder. 

Med hensyn til hvorfor problemet opstod, så var de fejlede lagerenheder/diske, blot blevet registreret som at have fejlet. Desværre viser det sig, at være et problem med operativsystemet på disksystemet, som fejlagtigt har troet at der var opstået fejl, mens de i realiteten fungerede smertefrit. Vi har i samarbejde med leverandøren løst problemet og forventer derfor bestemt ikke flere problemer. Dertil har vi bestilt et nyt, større og mere avanceret SAN, som vi vil sætte i drift, når vi modtager det inden året er omme.

Til sidst vil vi gerne understrege, at vi er dybt beklagelige over hele situationen og de problemer som det har givet vores kunder. Vi agerede som vi gjorde, for at sikre vores kunders data. Vi har dog fuld forståelse for, at hele situationen har været problematisk for mange af de berørte, og undskylder naturligvis for dette.