שחזור מערך RAID 5 שקרס בכפל תקלות בחברת מסחר אלקטרוני

שני דיסקים נכשלים בו-זמנית – ורגעים לפני אסון תפעולי מלא

חברת מסחר אלקטרוני צומחת, המנהלת אלפי הזמנות בחודש דרך שרת פנימי המבוסס על מערך RAID 5 בן ארבעה דיסקים, גילתה בוקר אחד שהשרת אינו עולה. מנהל המערכות בחברה ניסה להפעיל מחדש את השרת מספר פעמים, אך המערכת המשיכה לקרוס. בבדיקה ראשונית התברר שהמצב חמור מהצפוי: שני דיסקים במערך נכשלו כמעט בו-זמנית, לאחר שדיסק אחד כבר הוחלף לאחרונה על ידי טכנאי חיצוני שלא זיהה נכון את מצב המערך.

האתגר: כשל כפול במערך RAID 5 שאינו מתוכנן לשרוד יותר מכשל דיסק בודד

מערכי RAID 5 בנויים לשרוד כשל של דיסק אחד בלבד – כאשר שני דיסקים נכשלים במקביל, המערך כולו קורס והגישה לכל הנתונים, כולל מסד נתוני ההזמנות, קטלוג המוצרים ומערכת החשבוניות, נחסמת באופן מיידי. להחמיר את המצב, ניסיון ההחלפה החלקית שנעשה טרם פנייתם לצ'יפ מחשבים שינה את סדר הדיסקים במערך, מה שהקשה משמעותית על זיהוי הפרמטרים המקוריים הדרושים לבנייה מחדש של הנתונים.

הפתרון: איתור פרמטרי המערך המקוריים ובנייתו מחדש מהעתקים מלאים

צוות השחזור יצר תחילה עותקים מלאים (Imaging) של כל ארבעת הדיסקים במערך, כדי לעבוד אך ורק על ההעתקים ולמנוע כל סיכון נוסף לנתונים המקוריים. לאחר מכן בוצע ניתוח מעמיק של מבנה המטא-דאטה שנותר על גבי הדיסקים התקינים, במטרה לשחזר את סדר הדיסקים המקורי, גודל הבלוקים ופרמטרי הבנייה של המערך – כולם קריטיים לצורך הרכבה נכונה של הנתונים מחדש. הדיסק שנכשל פיזית טופל בנפרד בחדר נקי, שם הוחלפו ראשי הקריאה הפגומים כדי לאפשר קריאה של המידע השמור עליו.

התוצאה: המערך שוחזר במלואו והעסק חזר לפעילות תוך יומיים

לאחר שחזור מוצלח של הפרמטרים ואיחוד הנתונים משלושת הדיסקים התקינים והדיסק המתוקן, הצליח הצוות לבנות מחדש את המערך הלוגי המלא ולשחזר את כל בסיס הנתונים, כולל היסטוריית הזמנות מהחודשים האחרונים שלא היו מגובים במלואם. החברה קיבלה את הנתונים המשוחזרים על גבי אחסון חיצוני מאובטח, יחד עם המלצות מפורטות לשיפור מדיניות הגיבויים והניטור שלה, כדי למנוע הישנות מקרה דומה בעתיד.