Driftsmeldinger

kl03.00, problemer med filsystemet på serveren, mulig harddisk feil. Saken oppdateres. Server er midlertidig utilgjengelig.

Oppdatering kl 08.15:
Diskene måtte erstattes med nye disker og vi har startet gjenoppretting fra backup fra gårsdagens backup. Det er ventet at det vil ta hele dagen før serveren er tilgjengelig igjen.
Vi vil oppdatere driftsmeldingen så snart vi vet mer om når serveren er ventet å kjøre som normalt igjen.

Oppdatering kl 10.15:
Estimat på gjennopprettingen er 19 timer.

Oppdatering 11.15:
Gjennoppretting av backup er ferdig. Tekniker jobber med å få serveren online.

Oppdatering 18.20:
Serveren er online og alle tjenester fungerer som normalt.
Gjennopprettingen tok dessverre lengre tid enn ventet ettersom MySQL databasene måtte gjennopprettes på nytt for å få med seg all data i tabellene.
Vi takker for tålmodigheten som er vist  og beklager de ubeleiligheter dette har medført for våre kunder.

Alle servere vil bli rebootet i løpet av morgentimene i dag grunnet kernel oppgraderinger. Det vil medføre nedetid på 2-10 minutter for samtlige servere bortsett fra server cpanel21.proisp.no.

Vi beklager de ubeleiligheter dette måtte medføre for våre kunder.

Serveren har blitt hacket i løpet av natten. Inntrengerne har klart å slette store deler av serveren før den gikk ned ca. kl. 02:20. Vi jobber nå med å starte sikring og gjenoppretting av data fra backup. Mer informasjon vil bli postet så snart dette foreligger.

Oppdatering kl. 11:30:
Den ene disken krasjet grunnet hackingen. På grunn av dette ble 2 helt nye disker satt inn i RAIDet før vi startet gjenopprettingen. Vi gjenoppretter fra lørdag 13. februar. Vi har nyere backup, men ønsket å benytte en noe eldre backup da det vil være noe sikrere utgangspunkt. Vi kan gjenopprette konkrete filer fra nyere backup om ønskelig, men ikke mapper eller et stort antall filer da samtlige vil måtte sjekkes manuelt. Alle endringer foretatt etter 13. februar vil være tapt.

Gjenopprettingen er ca. 50% fullført i øyeblikket. Vi håper å ha serveren oppe igjen i løpet av 3-4 timer, men vi kan ikke garantere noe. Mer informasjon vil bli postet så snart dette foreligger.

Oppdatering kl. 20:10:
Serveren er ferdig gjenopprettet og gjennomgår i øyeblikket diverse undersøkelser og sikringer før vi setter den online. Det kan ta noe mer tid før vi setter den online da vi først og fremst må sikre at dette ikke gjentar seg.

Oppdatering kl. 00:45:
Vi har fullført nødvendig sikring av serveren og alle tjenester skal nå kjøre stabilt. Tjenestene på serveren har kjørt stabilt siden ca. kl. 23:00. Mail som er blitt sendt våre kunder i tidsrommet den har vært nede skal leveres vår server så sant avsenders server ikke har slettet den (det er ikke normalt at mail slettes med mindre det går minst 1 døgn så det er lite sannsynlig).

Vi takker for tålmodigheten som er vist og beklager det inntruffne på det sterkeste. Samtlige kunder vil få tilgode for 1 måneds webhotell i henhold til vår oppetidsgaranti. Vi vil også ha en gjennomgang av våre rutiner for å se om det er noe som kan forbedres.

Samtlige servere som befinner seg i Norge vil bli flyttet på på datasenteret i fra. ca. kl. 03.30. Dette gjøres på grunn av utbedringer i nettverket på datasenteret. Det vil innebære en kort nedetid for samtlige servere.

Vi beklager eventuelle ubeleiligheter dette måtte medføre for våre kunder.

Serveren må tas ned for bytte av den ene harddisken i RAIDet. Dette vil medføre en kort nedetid. Når serveren er oppe igjen vil den være noe tregere en periode mens synkroniseringen av RAIDet pågår.

Oppdatering: Harddisken er nå byttet ut.

Oppdatering 2: Feil harddisk ble byttet og RAID synkroniseringen startet. Dette har ført til at data på server har blitt satt tilbake til 01.12.09. Vi jobber nå på for å få byttet tilbake og få oppdatert data om mulig.

Problemet skal nå være rettet med korrekt harddisk. Server er da igjen oppdatert med filer datert natt til 17.02.2009

Server cpanel5.proisp.no er blitt hacket. Vi har stengt tjenestene på serveren for å sikre den og jobber i øyeblikket med å lokalisere årsak. Innen kort tid vil serveren bli reloadet med nytt OS og vi vil starte gjenoppretting av data. Vi vil oppdatere denne saken fortløpende ettersom mer informasjon foreligger.

Oppdatering kl. 00.10:
Hackerne fikk slettet alle viktige logger før vi fikk sjekket dem så det var umulig å finne hullet som forårsaket at de fikk tilgang. Av denne grunn kan vi ikke gjenopprette direkte fra backup. Vi har først måttet ta backup av samtlige kontoer via cPanel på grunn av dette. Dette var en prosess som tok mer enn 6 timer. Årsaken til at dette var nødvendig er at vi må ha en helt ren installasjon av operativsystemet for å best mulig forhindre at noe slikt skal skje igjen.

Datasenteret skal snart være ferdige med å installere operativsystemet. Straks dette er gjort vil våre teknikere sikre serveren og sette den opp slik den skal være. Deretter vil vi starte gjenopprettingen av backup. Disse backupene vil inneholde modifiserte filer av hackerne. Vi har oversikt over berørte filer og disse vil først tømmes for innhold og deretter gjenopprettes fra ekstern backup fra 20. september. Det er i hovedsak filer som inneholder navnet index og main som er berørt. Mens vi gjenoppretter vil passord til kontoene resettes fortløpende og ny kontoinformasjon vil bli sendt.

Gjenopprettingen vil starte nå i løpet av natten/morgentimene og kjøre fortløpende og kontoene vil begynne å fungere ettersom de gjenopprettes. Rekkefølgen på hvilke kontoer som opprettes styres av cPanel så det vil ikke være mulig å prioritere noen over andre. Vi er forhåpentligvis helt ferdige med gjenopprettingen 12-18 timer fra nåværende tidspunkt.

Oppdatering kl. 11.45:
Samtlige kontoer er nå gjenopprettet og alt skal fungere som normalt bortsett fra filer i public_html mappen i enkelte kontoer som ikke er erstattet av backup enda. Gjenopprettingsprosessen har gått smertefritt og kontoene som fremdeles mangler noen filer vil få disse gjenopprettet i løpet av kort tid.

Vi beklager det inntruffne på det sterkeste. Vi vil de kommende dagene ha en gjennomgang av våre rutiner for å se hva som kan utbedres for å ivareta sikkerheten enda bedre enn hva vi gjør i dag. Vi kan ikke tillate at noe slikt skjer igjen.

Samtlige kunder på serveren vil få en måneds webhotell lagt tilgode som plaster på såret og i henhold til vår garanti.

Serveren gikk ned ca. kl. 22.30 og ble straks rebootet. Etter reboot var RAIDet på serveren krasjet og måtte resynkroniseres. Synkroniseringen ble fullført ca. kl. 06.30. Frem til dette tidspunktet fungerte alle tjenester bortsett fra Apache som måtte tas ned til tider for å holde lasten nede. Det viser seg nå at den ene disken er i ferd med å feile. Teknikere på datasenteret undersøker i øyeblikket serveren og vil etter all sannsynlighet måtte bytte den ene harddisken.

Oppdatering:
Disken er nå byttet og RAIDet er i ferd med å bygges opp på ny. Ytelsen på diskene er imidlertid ikke som den skal være så det kan tyde på ytterligere problemer med med diskene. Det er mulig at også den gjenværende disken må byttes mot en ny disk så snart RAIDet er bygget på ny.

Oppdatering 2:
Den gjenværende disken vil også måtte byttes dessverre. Vi vil oppdatere driftsmeldingen ca. kl. 16.00 da det er ventet at vi vet mer.

Oppdatering 3:
Datasenteret har nå fått gjenoppbygget RAIDet etter at begge disker er byttet. Teknikere på senteret undersøker i øyeblikket. Så snart vi vet mer vil vi oppdatere driftsmeldingen.

Oppdatering 4:
Diskene settes nå inn i identisk server for å løse problemet ved å utelukke all annen hardware.

Oppdatering kl. 00.30:
Diskene er blitt satt i identisk server, men det var fremdeles problemer. Vi har klart å løse de fleste av disse og serveren har kjørt tilnærmet normalt siden ca. kl. 00.10. Vi håper at resten av problemene kan løses uten at det skal gå ut over tjenestene som kjøres på serveren. Ny oppdatering vil komme så snart alle problemer er løst.

Oppdatering kl. 04.15:
Alle problemer er nå løst og samtlige tjenester har kjørt stabilt siden forrige oppdatering.

Vi beklager det inntruffne på det sterkeste. Samtlige kunder på serveren vil få en måneds webhotell lagt tilgode som plaster på såret og i henhold til vår garanti.

Serveren var utilgjengelig fra kl. 22:05 til kl. 01.22 grunnet feil på hardware. Samtlige tjenester på serveren har vært utilgjengelige i nevnte periode. Ettersom serveren har hatt en del problemer den siste tiden vil vi flytte harddiskene over i en helt ny server i løpet av morgenetimene for å være sikre på at all hardware fungerer som den skal. Serveren vil være utilgjengelig i kort periode mens hardware byttes.

Vi beklager de ubeleiligheter dette har medført for våre kunder.

Oppdatering: Datasenteret byttet ikke hardware på serveren i morgentimene som tidligere opplyst. Det ble i stedet kjørt ytterligere tester for å feilsøke problemet, samt klargjøre bytte av hardware. Serveren vil bli tatt ned mellom kl. 08:00 og kl. 09:00 i morgen for bytte av hardware.

Samtlige servere plassert i Norge har vært utilgjengelige fra ca. kl. 15:00 til ca. kl. 21:00 grunnet feil på datasenteret. Samtlige kjølingssystemer på datasenteret røk og dermed måtte strøm til serverne kuttes for å hindre at de ble for varme og tok skade. Datasenteret skal ha løst samtlige problemer vedrørende dette nå og alle servere skal nå kjøre som normalt.

Vi vil forsikre oss om at datasenteret tar nødvendige tak for å hindre at noe slikt skal kunne skje igjen. Vi beklager de ubeleiligheter dette har medført for våre kunder og benytter samtidig anledning til å takke for støtte og forståelse fra våre kunder for denne uforutsette hendelsen.

Serveren var utilgjengelig fra kl. 17:50 til ca. kl. 21.54 grunnet feil på RAID kontroller, samt feil på diskene. Vi fikk til slutt rettet på feilene etter å ha byttet ut den ene disken og RAID kontroller. Det ble dermed ikke nødvendig å gjenopprette fra backup. Samtlige tjenester på serveren har vært utilgjengelige i nevnte periode.

Vi vil dessverre måtte ta ned serveren i noen minutter i morgen tidlig før problemet er helt løst.

Vi beklager de ubeleiligheter dette har medført for våre kunder.

Serveren var delvis utilgjengelig (fungerte i perioder) i tidsrommet fra ca. kl. 15.15 til kl 15.50 grunnet problemer på datasenterets nettverk. Datasenteret har gitt beskjed om at problemet skal være løst og at alt skal fungere igjen.

Vi beklager de ubeleiligheter dette har medført for våre kunder.

Serveren var utilgjengelig fra kl. 21.01 til kl. 22.46 grunnet feil på RAM. Hardware er erstattet og serveren kjører nå som normalt.

Vi beklager de ubeleiligheter dette har medført for våre kunder.

Oppdateringer (på samtlige servere):
- Coppermine Photo Gallery: 1.4.12 -> 1.4.16
- Gallery: 2.2.2 -> 2.2.4
- Joomla: 1.0.13 -> 1.0.14
- osCommerce: 2.2 MS2 (060817) + buySAFE -> 2.2 Release Candidate 2a
+ buySAFE
- phpBB: 2.0.22 -> 3.0.0
- SMF: 1.1.3 -> 1.1.4
- WordPress: 2.3.2 -> 2.3.3

Nye skript:
- Joomla 1.5: 1.5.1
- LimeSurvey: 1.53+

Merknader:
- Joomla 1.5 er lagt til som "Joomla 1.5".
- Joomla 1.0 har navnet "Joomla".
- PHPSurveyor utgår etter ønske fra utvikler

Husk at installerte skript i Fantastico kan oppgraderes via Fantastico når nye versjoner er tilgjengelige (hvis din installasjon ikke er for gammel). Har du en installasjon av de ovenstående skriptene bør du oppgradere den.

Oppdateringer (på samtlige servere):
- Moodle: 1.8.2 -> 1.8.4
- Noahs Classifieds: 1.3 -> 1.3 [Patched-1]
- PerlDesk: 3.09 [Patched-1] -> 4.012.2
- TYPO3: 4.1.1 -> 4.1.5
- WordPress: 2.3.1 -> 2.3.2
- Zen Cart: 1.3.7.1 -> 1.3.8a

Husk at installerte skript i Fantastico kan oppgraderes via Fantastico når nye versjoner er tilgjengelige (hvis din installasjon ikke er for gammel). Har du en installasjon av de ovenstående skriptene bør du oppgradere den.