06.09.17 14:56:38

Samtidig med vedlikehold på kjernenettet i kveld/natt så vil vi utføre en del tiltak for aktuelle servere som følge av driftsavbruddet sist mnd.
Det vil bli nedetid på rundt 5-20 min for hver server som følge av dette.

Forventet løst: 07.09.17 03:00:00

Løst:

07.09.17 01:49:36

01.09.17 10:58:49

Det er i øyeblikket problemer med MySQL på serveren hvor noen vil ha problemer med sine databaser.
Våre teknikere sjekker loggene.

Det er korrupt InnoDB og vi er nødt til å opprette den på nytt igjen. Backup av alle databaser er utført og vi vil nå slå av MySQL/Apache en liten periode for å opprette InnoDB på nytt og importere databasene.

Oppdatering 14:55:
Importeringen kjører og vi håper den er fullført snarest mulig.

Oppdatering: 16.45:
Samtlige databaser ble importert på nytt og InnoDB kjører som normalt igjen.

Vi beklager evt. ubeleiligheter dette har medført.

Forventet løst: 01.09.17 17:00:00

Løst:

01.09.17 16:46:22

29.08.17 18:18:00

Det vil bli foretatt vedlikehold på kjernenettverket på datasentrene i perioden 06.09.17 kl. 23:00-02:00 og 07.09.17 kl. 23:00-02:00. I denne forbindelse kan det være små brudd på tilgang til tjenestene.

Vi beklager evt. ubeleiligheter dette måtte medføre.

Forventet løst: 07.09.17 02:00:00

Løst:

07.09.17 02:00:00

28.08.17 15:38:52

Det er for øyeblikket problemer med DC1 på noen servere.
Våre teknikere sjekker dette nærmere.

Det er fortsatt noen server som har problemer.

Det er problemer med InnoDB databaser på samtlige servere. Vi jobber med å løse dette, men det vil ta noe tid dessverre.

29.08.17 04:30:03

Årsaken til problemene skyldtes en UPS hvor batteriet feilet og forårsaket overbelastning i racket ved et langvarig strømbrudd i ettermiddag.

Alle servere bortsett fra cpanel21.proisp.no kjører som normalt igjen.

De fleste InnoDB databaser på serverne som kjører som normalt igjen fungerer nå som de skal. Noen få ble korrupt og det var nødvendig å gjenopprette disse fra backup. De dette gjelder vil få beskjed snarest.

Dessverre har vi ikke klart å reparere filsystemet på cpanel21.proisp.no etter det som skjedde, men vi jobber enda med å forsøke å få serveren opp igjen med alt innhold som da den gikk ned. Parallelt med dette gjenopprettes cpanel21.proisp.no fra backup fra 28.08 kl. 03:10:53 til en annen server. Det som fullfører først vil bli tatt i bruk.

Mer informasjon vil bli lagt ut så snart det foreligger.

Oppdatering 23.00:
Serveren er oppe og kjører som normalt. Det vil være litt last de neste 30 minuttene for å ta unna en del trafikk. Våre teknikere monitorerer og sjekker at alt fungerer som det skal.

Forventet løst: 30.08.17 02:53:29

Løst:

30.08.17 02:53:34

14.08.17 22:10:00

Alle servere i DC2 i Stavanger gikk ned grunnet strømbrudd kl. 21:30, inkludert våre egne nettsider. Strømbruddet medførte også at netttilgangen til DC 1 i Stavanger gikk ned i en kort periode. Vi satte straks i gang med å få alle servere og tjenester i normal drift. Alle tjenester kjørte som normalt ca. 40 minutter etter.

Årsaken til strømbruddet skyldtes feil som oppstod på nødstrømsaggregat mens datasenteret utførte normalt vedlikehold. På dette tidspunktet var redundansen redusert på strømnettet grunnet vedlikeholdet. Vi er blitt forsikret om at tiltak for at en tilsvarende situasjon ikke skal kunne oppstå igjen i fremtiden er utført.

Vi beklager de ubeleiligheter dette har medført for deg som kunde.

Forventet løst: 14.08.17 22:10:00

Løst:

14.08.17 22:10:00

10.08.17 12:09:41

Det vil bli gjort vedlikehold på serveren som krever avbrudd i tjenesten en kortere periode mellom kl12.00 og kl13.30. Arbeidet forventes ferdig og avsluttet senest kl13.30.

10.08.17 13:30:10

Arbeidet ble utført som planlagt.

Forventet løst: 10.08.17 13:30:36

Løst:

10.08.17 13:30:10

08.08.17 11:04:13

Serveren vil bli restartet grunnet nødvendige programvareoppdateringer. Mens serveren er utilgjengelig vil du ikke kunne logge inn på din Hosted Exchange konto.

08.08.17 11:22:01

Restart ble utført uten problemer og alle systemer skal fungere som normalt.

Forventet løst: 08.08.17 11:30:00

Løst:

08.08.17 11:22:01

02.08.17 13:48:54

Det er for øyeblikket problemer med UPSene i racket som serverne befinner seg i. Teknikere jobber med feilsøking. Driftsmelding blir oppdatert så snart mer informasjon foreligger.

02.08.17 14:39:42

En overspenning på nettet førte til at begge UPSene i racket fikk interne feil og slo seg ned uten å ta i bruk batteriene som de skal. Været i området tilsier at det kan være relatert til lynnedslag uten at det kan slås fast. Begge UPSene kjører nå som normalt igjen. De fleste av serverne kjører nå som normalt. Teknikerne jobber med å få opp igjen resten.

02.08.17 14:59:24

Alle servere kjører nå som normalt.

Forventet løst: 02.08.17 14:57:57

Løst:

02.08.17 14:59:24

01.08.17 15:58:41

Apache versjonen vil bli oppdatert på serverene. I den anledningen vil webserveren bli restartet og det blir nedetid på noen sekunder for hver server.

Forventet løst: 02.08.17 02:00:00

Løst:

02.08.17 02:16:22

31.07.17 22:22:49

Apache versjonen vil bli oppdatert på serverene. I den anledningen vil webserveren bli restartet og det blir nedetid på noen sekunder for hver server.

Forventet løst: 01.08.17 04:00:00

Løst:

01.08.17 01:19:40

31.07.17 12:48:10

Det er for øyeblikket problemer med serveren. Våre teknikere sjekker dette nærmere.

Serveren kjører som normalt igjen. Teknikerene sjekker igjennom loggene.

Forventet løst: 31.07.17 15:04:45

Løst:

31.07.17 15:08:55

31.07.17 09:25:37

Det er problemer med DNSSEC på enkelt domener. Vi holder på å identifisere og fikse disse snarest sammen med leverandør av DNSSEC løsningen. Berørte domener vil ikke fungere hos internettleverandører som støtter DNSSEC, mens de vil fungere hos dem som ikke støtter det. Driftsmeldingen vil bli oppdatert så snart alle domener er identifisert og fikset.

31.07.17 15:08:55

Alle domener skal nå fungere som normalt. DNSSEC leverandør skal også ha lagt inn fiks for bug, samt ekstra overvåkning for å fange opp problemer før de kan medføre slike konsekvenser.

Vi beklager ubeleiligheter dette har medført for deg som kunde. Skulle du oppleve problemer enda er det bare å ta kontakt.

Forventet løst: 31.07.17 12:00:00

Løst:

31.07.17 15:11:08

29.07.17 00:35:55

Hosted Exhange løsningen vil være utilgjengelig mens vi foretar nødvendig vedlikehold på serveren, samt restarter den. Driftsmeldingen oppdateres så snart arbeidet er fullført.

29.07.17 04:41:14

Vedlikeholdet er ferdig og alt kjører nå som normalt igjen.

Forventet løst: 29.07.17 04:39:52

Løst:

29.07.17 04:41:14

25.07.17 23:22:44

Serveren restartes i forbindelse med firmware oppgradering og vil være utilgjengelig i 5-10 minutter.

26.07.17 00:10:39

Serveren ble restartet uten problemer og kjører nå som normalt.

Forventet løst: 26.07.17 00:09:43

Løst:

26.07.17 00:10:39

20.07.17 17:21:56

Det er for øyeblikket problemer med MySQL på serveren.
Våre teknikere feilsøker problemet.

20.07.17 19:16:33

Grunnet korrupsjon i Innodb filer er det dessverre nødvendig at vi gjenoppretter samtlige Innodb databaser fra siste backup fra natt til i dag. Våre teknikere jobber for øyeblikket med dette og vi vil oppdatere driftsmeldingen straks alle er gjenopprettet.

Alle databaser er gjenopprettet.

Forventet løst: 21.07.17 02:20:55

Løst:

21.07.17 01:01:41

19.07.17 09:26:04

cpanel13.proisp.no er for tiden utilgjengelig. Teknikere jobber med saken. Driftsmeldingen vil bli oppdatert så snart mer informasjon foreligger.

19.07.17 11:05:55

Teknikerne har byttet nettverkskort på serveren. Serveren kjører nå som normalt igjen.

Forventet løst: 19.07.17 10:45:00

Løst:

19.07.17 11:05:55

17.07.17 13:21:46

Fra kl. 00:00 natt til tirsdag 18.07 vil vi måtte ta ned virtuelle servere mens vi oppgraderer serverne i skyløsningen. Vi vil manuelt starte og sjekke alle virtuelle servere etter at den enkelte serveren er oppgradert.

Dessverre vil vi ikke kunne migrere virtuelle servere mellom servere for å unngå nedetid da denne oppgraderingen fra OnApp ikke tillater dette. Vi beklager dette og vil gjøre hva vi kan for å minske nedetiden til det minimale.

18.07.17 03:19:57

Alle oppgraderingene er nå utført uten problemer og alle virtuelle servere skal kjøre som normalt igjen. Ta kontakt med support dersom det mot formodning skulle være noe.

Forventet løst: 18.07.17 03:16:52

Løst:

18.07.17 03:19:57

13.07.17 13:21:49

Apache versjonen vil bli oppdatert på serverene. I den anledningen vil webserveren bli restartet og det blir nedetid på noen sekunder for hver server.

Forventet løst: 13.07.17 23:00:00

Løst:

13.07.17 23:30:00

04.07.17 14:50:04

Det foretas restart av serveren i forbindelse med problemer med programvare på serveren. Det er forventet at serveren vil være utilgjengelig i 15 minutter.

04.07.17 15:12:19

Serveren var restartet og oppdatert uten problemer.

Forventet løst: 04.07.17 15:11:41

Løst:

04.07.17 15:12:19

28.06.17 15:15:06

Det vil bli foretatt endringer på våre servere de neste dagene for de midlertidige adressene.
Det er oppdaget en sikkerhetsrisiko ved å benytte mod_userdir i Apache oppsettet som gjør det nødvendig for oss å gjøre om på løsningen som har vært benyttet frem til nå.

Tidligere midlertidige adresser (http://cpanelXX.proisp.no/~brukernavn/) vil bli deaktiverte.
For kunder som ønsker å bruke midlertidige adresser så kan dette aktiveres via våre kundesider slik:
https://www.proisp.no/guider/aktivere-midlertidig-url/

Vi anbefaler å bruke hosts filen istedenfor da det også vil gjøre det enklere ved publisering av ny nettside hos oss. Da er det ikke nødvendig med endringer i skriptet i ettertid:
https://www.proisp.no/guider/hvordan-endre-hosts-fil/

I hovedsak så endres denne funksjonen grunnet:
1. Sikkerhetsrisikoen som er oppdaget.
2. Konflikter med Ruby/Python applikasjoner.
3. Forbedre levering av epost for våre kunder.
4. Ny partner vennlig midlertidig adresse.

Ta kontakt med support hvis du har noen spørsmål rundt dette.

Oppdatering 15.08:
En del eldre servere kjører programvare som ikke inneholder samme sikkerhetsrisiko. Derfor vil vi avvente med disse til programvaren blir oppdatert i løpet av September.

Forventet løst: 30.09.17 15:00:00

Løst:

24.06.17 09:57:06

Det ble oppdaget feil på midlertidige adresser i går ettermiddag. cPanel har jobbet med problemet og har nå funnet feilen.

Vi retter problemet midlertidig til cPanel/LiteSpeed har kommet en en oppdatert fiks for denne feilen.

Serverene hvor dette er rettet så langt er:
cpanel58
cpanel63
cpanel61
cpanel60
cpanel66

Kunder som bruker denne adressen til utvikling vil alltid kunne bruke hosts filen lokalt som gjerne flere foretrekker.

Forventet løst: 25.06.17 12:00:00

Løst:

25.06.17 10:49:28

24.06.17 00:10:12

Det vil bli foretatt en restart av serveren grunnet problemer med programvaren på serveren.

Forventet løst: 24.06.17 00:30:00

Løst:

24.06.17 00:17:26