26/11/2021
Vi lægger os fladt ned
Som du ganske sikkert er bekendt med havde vi desværre nogen driftsproblemer i en længere periode i går torsdag aften. Vi skal endnu en gang beklage de driftsmæssige problemer. Det var tæt på at være på det værst tænkelige tidspunkt, på en af de helt store e-handelsdage.
I kan være 100% sikre på er at vi pr. definition altid vil være mere end motiverede for, at vores systemer virker. Virker skidtet ikke har vi ingen kunder. Tro mig; vi er topmotiverede for at det virker. Vi beklager naturligvis endnu en gang. Det var ikke tilfredsstillende for nogen parter.
Vi vil i nedenstående søge at forklare hvad der skete.
Når noget sådant overhovedet kan ske, skyldes det et sammenfald af mange uheldige omstændigheder. Vores arkitektur og systemer er naturligvis bygget til, at kunne håndtere “et sammenfald af mange uheldige omstændigheder”, med redundans til alle dele i kæden. I går aftes fejler et komponent i kæden.
Omkring denne fejl oplever vi et betydeligt load på vores systemer, hvilket gør at de dele af det redundante setup, der stadigt kører, ikke kan følge med. Hvilket herefter udløser en domino-effekt, der gør at andre systemer ligeledes begynder at fejle.
Ud over selve fejlen, betød dette også at selve perioden med driftsproblemerne var betydeligt længere end det burde have været, da følgefejlene gjorde arbejdet med at identificere og fixe problemet betydeligt mere besværligt.
Efter den oprindelige fejl blev løst, øgede vi allerede der kapacitet, så vi kunne følge med resten af aftenen uden yderligere problemer. I minutterne efter systemerne kommer op igen, håndterer vi over 3 gange så mange betalinger, som da driftsproblemerne opstod.
I nat har vi gennemført yderligere opdateringer af systemer (uden nedetid).
Vi vil endnu en gang gerne beklage, at dette kunne ske, og forsikre, at vi er topmotiverede og gør alt der er i vores magt, for at sikre at lignende ikke sker igen.
I skrivende stund processerer vi således nu mere end det dobbelte antal transaktioner pr. sekund i forhold til tidspunktet i går hvor vi fik problemer. Dagen og weekenden igennem sidder vi naturligvis klar i højeste beredskab.