Under förmiddagen den 12 februari 2020 uppstod en större driftstörning till följd av ett nätverksfel. Felet påverkade alla våra tjänster och servrar inklusive vår telefonväxel.
Felet som upptäcktes vid ca 10:30 är nu avhjälpt och de flesta tjänster och webbplatser fungerar åter sedan ca 14:10.
Enstaka Managed Servers fick problem med databaser när de kom tillbaka online efter nätverksproblemet var löst. Problemet krävde manuell åtgärd av våra tekniker. Det är avslutat sedan 17:45.
Först och främst beklagar vi de problem som de har medför dig som kund. Vi förstår att du förväntar dig att dina tjänster ska vara online, något vi jobbar hårt med att leverera. Idag har vi inte nått upp till det och det ber vi om ursäkt för.
Vi har publicerat en incidentrapport. Den beskriver mer tekniskt ingående vad problemen var, och hur vi arbetar för att förhindra att liknande problem händer igen.
Vanliga frågor och svar
- På både webbhotell och Managed Server har vi en upptidsgaranti på 99,6% även om vår faktiska upptid ligger mycket högre än så. Under 2019 hade vi 99,994%, vilket är ungefär 2,5 minuters nedtid på en månad.
- Under driftstoppet gick ingen mail fram. Hur den kommer fram nu när allt är igång igen är lite olika beroende på den avsändande mailservern.
Antingen kommer avsändaren få tillbaka mailet med en notis som säger att det inte kunde levereras. Eller så kommer det försöka levereras några gånger till. Då bör det komma fram men kan ta ett antal timmar beroende på hur den är uppsatt.
Är det riktigt tidskritiskt och du inte vill vänta på att avsändande mailserver provar igen, hör av dig till de du väntar på mail från.
Hur som helst försvinner de inte helt i ingenstans utan avsändaren blir vanligtvis meddelad om det inte skulle gå fram. - Vill du ha högre garanterad upptid och mer redundens än 99,6% erbjuder vi detta i separata SLA-paket. Hör av dig till oss så berättar vi mer.
- Vi har en status-sida som ligger helt separat från vår egen webbplats. Via den kan du alltid få information vid driftstörningar.
Du hittar den på oderland-status.eu. - Självklart.
Det är viktigt för oss att vara transparenta och berätta om problem och fel.
Vi har (2020-02-13) publicerat en incidentrapport om berättar vad som gick fel och hur vi arbetar för att förhindra liknande problem i framtiden. - Vid 14:10 publicerade vi en alldeles för positiv prognos över Managed Server eftersom det fortfarande var ett fåtal servrar drabbade av databasproblemet. Uppdateringen om databasproblemet dröjde sedan för länge (15:30).
Här borde vi kommunicerat tätare och bättre.
Statusuppdateringar från 12 februari
Uppdatering 17:45 Alla Managed Servers med databasproblem har nu åtgärdats och är online. Det betyder att alla våra tjänster och servrar är fullt online och driftstörningen fullt över.
Nätverket är stabilt och fungerar väl.
Vi återkommer inom kort med med en incidentrapport med information både för dig som är tekniskt intresserad och för dig som inte är det.
—
Uppdatering 17:30: Just nu har vi 4st Managed Servrar med korrupta databaser kvar att åtgärda och börjar se ljuset i tunneln.
—
Uppdatering 17:10: Vi vill klargöra en otydlighet från 16:50. Våra tekniker fixar alltså databaserna som har blivit korrupta så att ingen data tappas. Det är alltså inte tal om en återläsning av säkerhetskopia. Det är också därför det tar lite längre tid för varje server.
—
Uppdatering 16:50: Vi beklagar att vår uppdatering vid 14:30 om Managed Servers var optimistisk. Några Managed Servers (ca 10st) kom tillbaka med korrupta databaser till följd av nätverksproblemet.
Våra tekniker jobbar på att återställa databaserna på dessa servrar, och det är ett arbete som sker med full styrka manuellt server för server. Dessa kommer gå online successivt under kvällen.
—
Uppdatering 15:30: Enstaka Managed Servers har fortfarande några följdproblem med korrupta databaser på grund av nätverksfelet. Vi håller på att beta av en efter en och återställa.
—
Uppdatering 14:10 De sista följdproblemen med några Managed Servers har identifierats och åtgärdats. Alla ska vara online igen, eller på väg online inom ett par minuter.
—
Uppdatering 14:05 Det ser ut som att de allra flesta servrar nu är online, inklusive vår egen webbplats.
—
Uppdatering 13:45 Vi har fortsatt problem med några Managed Servrar som inte har velat gå igång. Tekniker jobbar på det och vi hoppas att även detta är löst snart.
—
Uppdatering 13:15 De flesta av våra servar är igång igen, frånsett vår egen. Det drabbar då även vår egna e-post ett tag till. Telefonväxeln är däremot igång igen. Om du har en fråga om driftstoppet ber vi dig att avvakta lite om du har möjlighet. Vi kommer gå ut med information till alla kunder snarast. Har du en supportfråga är du såklart alltid välkommen precis som vanligt.
—
Uppdatering 12:35 Vi håller på att koppla förbi den nätveksutrustning som krånglar mest just nu, och en del webbplatser och servrar är redan online.
Det bör bli successivt bättre mer fler servrar online löpande nu, även om vi fortfarande inte kan garantera att det är 100% löst ännu.
Vi fortsätter att uppdatera er löpande.
—
Uppdatering 12:20 Ledsen att det dröjt lite mellan uppdateringarna nu. Ni som är tekniker själva vet hur det är när man felsöker. Tiden går och man tror man är nära hela tiden och vill prova ”en sak till”… Vi ska försöka uppdatera tätare igen nu.
Det som vi trodde skulle lösa problemet 11:50 visade sig inte riktigt göra det. Våra tekniker har fortfarande identifierat området som problemet är på, men har som ni märkt haft svårt att hitta en definitiv lösning.
Det är därför vi inte heller har en ETA ännu.
För er tekniskt intresserade kommer vår analys efteråt självklart att innehåller ännu mer teknisk information än nu.
—
Uppdatering 11:50: Teknikerna i hallen håller på att testa en ändring nu som vi hoppas löser alla problem, och ska bara konfigurera det sista. Vi hoppas att det här löser problemet och då är vi uppe väldigt snart igen!
—
Uppdatering 11:30: Vi felsöker fortfarande. Tekniker har funnit grunden till problemet men har ännu ingen tidsplan för när det hela är löst.
—
Uppdatering 11:00: Felsökning av nätverksproblemet pågår fortfarande för fullt. Vi har dels tekniker på väg ut till serverhall för att lösa problemet på plats samtidigt som andra tekniker sitter och försöker avhjälpa problemet. Vi uppdaterar här så snart vi har någon mer information tillgänglig.