Mightycare restores VMware Infrastructure after successive power outages in South Africa

Desaster Recovery Service – A Customer Reference Story

The starting point is that South Africa is experiencing what is termed „load shedding“, causing havoc throughout the country especially in IT.
http://loadshedding.eskom.co.za/loadshedding/description

Our Company is Duys Engineering. We manufacture vehicle components (rear steps, side steps, nudge bars, roll over protections systems). We also work within the metal industry framework, (welding, potshells.)

The Group maintains extensive facilities throughout South Africa and has found considerable success by focusing its engineering capacity on key relationships with industries – most notably the aluminium, automotive, sugar, mining and logistics sectors. One of Duys’s core values is their dedication to lasting partnerships with clients. www.duys.co.za

The problem occured when our HP Proliant DL380 G5 server with a Raid Controller which uses battery caching exploded when experienced load shedding which resulted in our UPS batteries failing and our backup generator running out of fuel. The server ran esx 4.1 update 3, 8 X 146 gig SAS drives striped in Raid 5, 7 Virtual Machines (Citrix, Mhlongonline, SQL, Server 2008R2, Wsus, File Server, Time and Attendance).

Upon booting the server we received a vsd mount error. Half of our datastore was accessible , the other half was not because we had used extents to grow the datastore formatted with VMFS 3. We looked at the VMware support forums and all answers pointed to the fact that our data was lost and there was no way of restoring from such a problem. We kept coming across a name Mr. Uli Hankeln from MightyCare, on the forums who had recovered critical systems. I contacted him and asked me to open a ticket with MightyCare and there was hope again.

The first thing that MightyCare did for our company was to ensure that we were able to provide services to our network. Throught a series of utilities the Raid was determined to be damaged. 3 out of 7 virtual machines were readable and able to copy, the rest were not able to copy. He ran a utility called ddrescue to dump raw data to a vmfs store that we created. He thereafter recreated the vmdk files from the flat files and also recreated the vmx files. That was the easy part. One particular machine was corrupt beyond repair, which needed a carving utility called scalpel, which literally involved recalculating the hex values of the files needed to restore. At this point our concern was about granular restoration of the database, which we were able to restore about 90 %. We used that information together with the backups we had to piece the system together. There I was on a remote town in South Africa, being rescued from a huge mess caused by our National electric infrastructure. I had spend about three nights in the office, sleeping over looking for a solution and it was in Germany.

I was satisfied with the support from MightyCare, I had been turned away by some of the leading data recovery centers in South Africa, because of the complexity of the situation and the fact that we didn’t have thousands of Rands accept some of the quotations. MightyCare was able to accomodate us with our non existent budget. I was given follow up and updated on every process and also given honest information about the possible outcome. Once satisfied with the outcome I wiped the old server, replaced faulty hardware and restored the data successfully.

„Mightycare restores our Vmware infrastructure after successive power outages“

Nhlanhla Mazibuko
IT Manager | Duys Engineering Group (Pty) Ltd

Datenrecovery unter VMware – was ist machbar ?

Datastore nicht mehr Sichtbar!? Virtuell Maschine läuft nicht an? Snapshot gelöscht?

VMware Desaster Recovery
Kleiner Umstand – große Wirkung

„Hätten wir das eher Gewußt!“, „Auf diesen Gedanken sind wir gar nicht gekommen!“, „Das geht?“

Diese und ähnliche Sätze hören wir von Kunden, welche das erste mal mit unseren Mightycare Desaster Recovery Service in Kontakt kommen, da einige Anwender Ihre Daten schon „abgeschrieben“ hatten. Viele gehen davon aus, dass virtuelle Maschinen bzw. deren virtuelle Festplatten oft als „nicht mehr zu retten“ verworfen werden auch wenn noch Hoffnung auf eine vollständige oder teilweise Wiederherstellung besteht.

Es lassen sich selten bei VMware – Recovery Fällen pauschalen Aussagen treffen. Themen, a la „Problemtyp XY lässt sich immer retten“ oder „Problemtyp XY ist hoffnungslos“ gibt es in der Regel nicht – dafür sind die Startbedingungen für eine Wiederherstellung einfach zu unterschiedlich.
In vielen Fällen werden sogar alle Chancen zur Wiederherstellung durch voreilige, panische Erstreaktionen der Anwender zunichte gemacht.

Daher lautet  unser dringender Rat in Fällen wo Datenverlust droht:

1. Sehen Sie von weiteren Startversuchen ab – wenn eine virtuelle Maschine wegen eines Festplattenproblems nicht mehr startet.
2. Geben Sie nicht auf, wenn der VMware-Support sagt:,“Restore from Backup“
3. Holen Sie sich frühzeitig qualifizierte Hilfe von dem Mightycare Desaster Recovery Team

Wir befassen uns seit Jahren mit der Wiederherstellung von virtuellen Maschinen und haben für viele Arten von Problemen Wiederherstellungsverfahren entwickelt.
In den meisten Fällen können wir relativ schnell eine Prognose abgeben, ob sich ein Recovery-Versuch lohnen könnte.
Unsere erprobten Verfahren lassen sich alle Remote ausführen – daher ist der zeitliche Aufwand absehbar und kostengünstig wenn Sie den möglichen Schaden mit einen eventl. Totalverlust der virtuellen Maschine vergleicht.

Gute Chancen auf vollständige Wiederherstellung der Daten besteht bei diesen Fehlern:

– „parent has been modified since the child was created“
– „the file specified is not a virtual disk“
– vmdk-Beschreibungsdatei wurde gelöscht
– Virtuelle Maschine startet nicht mehr nachdem ein VMFS-volume vollgelaufen ist
– Virtuelle Maschine startet mit einem veralteten Datenstand
– Virtuelle Maschine startet mit einem bluescreen
– Virtuelle Maschine startet mit „ntldr is missing“
– Virtuelle Maschine startet mit einer kernelpanic bei Linux-VMs
– Virtuelle Maschine startet nicht und gibt einen Syntax-error als Fehlermeldung
– Virtuelle Maschine startet nicht und gibt einen Permissions-error als Fehlermeldung
– Virtuelle Maschine startet nicht und gibt einen Quota-error als Fehlermeldung
– Virtuelle Maschine startet nicht und gibt einen I/O – error als Fehlermeldung
– ein VMFS-volume wird als NTFS-volume angezeigt

Chancen auf eine teilweise Recovery bestehen bei diesen Fehlern:

– Eine virtuelle Festplatte wird nicht mehr im Datastorebrowser angezeigt, wurde aber  NICHT von Hand gelöscht.

– nach Hardware-Problemen scheint ein Datastore leer zu sein

– „the specified vmdk needs repair“

Ein Chance auf Rettung einzelner „mission critical“ Dateien besteht bei folgenden Fällen:

– Eine virtuelle Festplatte wurde irrtümlich von Hand gelöscht
– es wurde irrtümlich ein „revert to snapshot“ im Snapshotmanager ausgeführt

Bei den beiden letztgenannten Fällen ist ein sofortiges Handeln erforderlich.

Die Liste der Fehlertypen bei denen wir Ihnen helfen können wird ständig erweitert.

Unser Aufruf:“Bevor Sie eine virtuelle Maschine mit „mission-critcal“ Daten als Totalverlust einstufen, fragen Sie uns um Rat.“

Ulli Hankeln

Mightycare veröffentlicht erste Desaster Recovery LiveCD für VMware vSphere 5 Volumes

„Es kommt leider immer wieder mal vor, dass Tools oder Administratoren, durch Konfigurationsfehlern direkt auf den Datastores von VMware schreibend zugreifen. Dieses hat oft dramatischen Datenverlust zur Folge“, so Uli Hankeln, Desaster Recovery Spezialist bei der Mightycare Solutions. „Dieses war bis vor kurzen ein großes Problem bei VMware vSphere 5 Servern, da es noch keinen freien direkten Zugriff auf die VMFS Volumes gab. Korrupte Filesysteme unter VMware vSphere konnte tiefgehend nur VMware reparieren.“

„Durch die Arbeit von Mike Hommey, http://glandium.org mit seinen VMware Tools, konnte die Mightycare eine LiveCD zusammenstellen, welches uns und unseren Kunden ermöglicht, Daten und Volumes (VMFS5) von den beschädigten Datenträgern zukopieren und mit tieferen Knowhow ganz- oder teilweise zu reparieren.“, so Hankeln.

Die Mightycare Solutions stellt diese LiveCD mit dem experimentellen VMware vSphere5 Support kostenfrei zur Verfügung. Hiermit ermöglicht die Mightycare Solutions Ihren Kunden eine einfache Möglichkeit Support für Desaster Recovery auf Anfrage geben zu können.

Download unter : ftp://recovery:recovery@ftp.mightycare.de/mcs-esxi5-recovery-X-001.isoDid you ever came across a vmdk-file stored on a VMFS-volume that was rendered unusable due to I/O errors ?
If yes – you probably know that in such a case all attempts to migrate the VM, copy the vmdk or clone it with vmkfstools will fail.
Until recently this was a big problem if the file was stored on a VMFS 5 volume.
On VMFS 3 we could use a Linux-LiveCD with the vmfs-tools by glandium.org to handle such problems.
Thanks to Mike Hommey a new version with experimental support for VMFS 5 is available now.
The tool has to be compiled from source which made usage with a LiveCD a non-trivial task.
In order to simplify such recovery tasks Mightycare Solutions created a ready to use Linux-LiveCD with the new version of vmfs-tools already integrated and we give it away for free without charge.

We also offer support in case that should be necessary.

Download:

ftp://recovery:recovery@ftp.mightycare.de/mcs-esxi5-recovery-X-001.iso
http://sanbarrow.com/mcs-esxi5-recovery-X-001.iso

Stay tuned – detailed instructions and usage-examples coming soon