Yeni projelere ve yenilikçi ekiplerle iş birliği yapmaya her zaman heyecanla bakıyorum.

Adres

Kayseri, Türkiye

Sosyal Bağlantılar

Diğer

Outlook, Teams ve Copilot Neden Çöktü, Nasıl Düzeltildi?

Microsoft Outlook kesintisini adım adım nasıl çözdü? Bir de Outlook ve Teams çöktüğünde işinizi durdurmamak için hazır bir B planı.

Outlook, Teams ve Copilot Neden Çöktü, Nasıl Düzeltildi?

Geçen hafta Outlook’un çöküşünü ve tek bir şirkete bu kadar bağımlı olmamızı yazmıştım. Yorumlarda ve mesajlarda en çok gelen soru şu oldu: "Peki nasıl düzelttiler?"

Ben de oturdum, Microsoft’un 12–14 Kasım arasında yayınladığı durum güncellemelerini saat saat okudum. Ortaya çıkan tablo şu: dünyanın en büyük bulut şirketlerinden biri bile, bu kriz boyunca bildiğimiz klasik kurtarma adımlarını tek tek denemiş. Kimi işe yaramamış, kimi işleri daha da karıştırmış.

ℹ️ Bir not: Microsoft’un ayrıntılı olay sonrası raporu (PIR) henüz kamuya açık değil. Bu yazı, Microsoft’un kendi durum güncellemelerine ve 13 Kasım’daki ön açıklamasına dayanıyor. Benim yorumlarımı ayrıca belirttim. Saatler Türkiye saatiyle.

Kısaca: Neden Çöktü?

Microsoft’un 13 Kasım’da X üzerinden yaptığı açıklamaya göre sorun, daha önce yapılan bir ağ kapasitesi yükseltmesi sırasında ortaya çıkan ve yakın zamanda yapılan bir ağ değişikliğiyle tetiklenen teknik bir arıza. Şirket bunun siber saldırı ya da yapay zekâ ajanlarıyla ilgisi olmadığını da özellikle vurguladı.

Belirtiler ise zincirleme geldi:

  • Çok sayıda sunucu beklenmedik şekilde devre dışı kaldı. Microsoft’a göre trafik artmamıştı; yük, kalan sunuculara bindi.
  • Sunuculardaki güvenli bağlantıları kuran süreç bunaldı ve sunucular istekleri işleyemez hale geldi.
  • İşlemci kullanımı yükseldi, sunucular otomatik sağlık kontrollerinden (health check) kalmaya başladı.

Benim yorumum: Yükseltmeden kalan bir sorun uzun süre fark edilmeden durmuş, yeni ağ değişikliği onu görünür hale getirmiş gibi görünüyor. Güvenli bağlantı kurmak (TLS el sıkışması) işlemciyi en çok yoran işlerden biri. Bağlantılar kurulamayınca istemciler tekrar tekrar denemiş, bu da yükü katlamış olabilir. Kesin zinciri ancak PIR’de göreceğiz.

Saat Saat: Kriz Odasında Neler Yapıldı?

StatusStack’in derlediği ve DEV Community’deki incelemede aktarılan Microsoft güncellemelerine göre kurtarma operasyonu kabaca altı aşamada ilerledi.

1. Trafiği Kaydır, Sunucuları Yeniden Başlat (12 Kasım, 19:17–22:00)

Sorun 19:17’de Exchange Online’da başladı, 21:26’da Teams, SharePoint, Copilot ve Defender XDR’ı da kapsayan genel bir Microsoft 365 olayına dönüştü. İlk refleks klasikti: ABD trafiğinin bir kısmı etkilenen altyapıdan uzaklaştırıldı, bağlantı trafiği dünyaya yeniden dağıtıldı ve etkilenen sunucular yeniden başlatıldı.

2. Her Şeyi Dondur (22:06)

Microsoft’un bence en doğru hamlelerinden biri buydu: "Önlem olarak tüm dağıtımları ve yapılandırma değişikliklerini durdurduk." Yangın sürerken yeni bir değişiklik riskine girmemek, büyük olaylarda ilk kuraldır (change freeze).

3. Sağlık Kontrolünü Atla (22:43–23:56)

Sunucular sağlık kontrolünden kaldığı için havuzdan çıkarılıyor, yük daha da az sunucuya biniyordu. Microsoft önce sağlık kontrolünü işleyen bileşeni atlayan hedefli bir değişiklik denedi, ardından alternatif bir sağlık kontrolü yöntemiyle bir grup sunucuyu yeniden servise aldı. İlginç bir detay: bu sırada "başlangıçla eşleşen yakın tarihli bir değişiklik bulamadık" diyorlardı.

4. İzole Et, Trafiği Damla Damla Ver (13 Kasım, 01:00–02:59)

Beklenen rahatlama gelmeyince strateji değişti. Altyapının bir kısmı izole edildi, bileşenler yeniden başlatıldı ve trafik kademeli olarak geri verildi. Bazı bölgelerde belirli trafik türleri sınırlandı, bir grup sunucu da önceki yazılım yapılandırmasıyla yeniden kuruldu. Çünkü ortaya şu çıkmıştı: toparlanan sunucular, üzerlerine trafik gelince yeniden yanıt vermez hale gelebiliyordu.

5. Ağ Değişikliğini Geri Al, Yamayı Bas (04:06–11:06)

04:06’da Microsoft, başlangıçla eşleşen yakın tarihli bir ağ yapılandırma değişikliğini geri almaya başladı. Ama geri almak da kolay olmadı: aktarılan güncellemelere göre kötü durumda takılı kalan makineler, ağ değişikliğinin dağıtılmasını engelliyordu. Yani "ilacı" da hastaya ulaştırmak gerekiyordu.

Ön yüz sunucularında trafik kısma (throttling), protokol değişikliği ve yedek yönlendirme devreye alındı. 09:54’te Microsoft ilerlemeyi "marjinal başarı" olarak tanımlarken sanal makinelerle ek kapasite ekliyordu. Asıl dönüm noktası 10:25’te geldi: kimlik doğrulama ve yönlendirmeden sorumlu bir üst katman bileşenine yapılan yamadan sonra sunucu kararlılığında olumlu sonuçlar görüldü. Yama, 11:06’dan itibaren önce iş saatine giren bölgelere yayıldı.

6. E-postaları Kurtar, Kuyrukları Boşalt (12:03–14 Kasım)

12:03’te Microsoft, e-posta zaman aşımı penceresini 48 saate uzattı. Toparlanma bölge bölge geldi: önce Asya-Pasifik (14:01), sonra Avrupa (15:00), ardından Kuzey Amerika (16:00). 17:01’de e-posta kuyrukları normale yaklaşmıştı. Microsoft, bekleyen e-posta yığını da temizlenene kadar olayı kapatmadı; Digital Trends’e göre kesinti 24 saati rahatça aştı ve olay kayıtları 14 Kasım’da "hizmet geri yüklendi" ile kapandı.

Neden Bu Kadar Uzun Sürdü?

"Bir ağ değişikliğiydi, geri alsalar ya?" diyenler haklı bir soru soruyor. Güncellemeler dört sebep gösteriyor:

  • Sebep hemen görünmedi: İlk saatlerde Microsoft, başlangıçla eşleşen bir değişiklik bulamadığını söylüyordu. Şüpheli değişiklik ancak yaklaşık 9 saat sonra geri alınmaya başlandı.
  • Sürü etkisi (thundering herd): Ayağa kalkan her sunucuya, bekleyen milyonlarca istemci aynı anda yüklenip onu yeniden devirdi. "Kapat, aç" bu yüzden yetmedi.
  • Tavuk-yumurta sorunu: Düzeltmeyi taşıyacak olan makinelerin kendisi bozuktu; takılı kalan makineler ağ değişikliğinin dağıtılmasını engelledi.
  • Ölçek: Düzeltmeyi bütün dünyaya aynı anda basmak, yeni bir riske girmek demekti. Bu yüzden yama bölge bölge ve iş saatine göre yayıldı.

E-postalar Kayboldu mu?

Büyük ölçüde hayır. E-posta, doğası gereği kuyruklu bir sistemdir: karşı taraf ulaşılamaz olduğunda gönderen sunucu iletiyi bekletir ve belirli bir süre boyunca yeniden dener. Microsoft da kesinti sırasında gönderilen iletiler kaybolmasın diye zaman aşımı penceresini 48 saate çıkardı ve kuyruklar boşalana kadar izlemeye devam etti. Yani e-postaların çoğu kaybolmadı, sadece geç geldi.

Outlook Giderse Siz Ne Yapacaksınız?

Microsoft’un sunucularını biz düzeltemeyiz. Ama Outlook ve Teams aynı anda gittiğinde işimizin tamamen durup durmaması büyük ölçüde bize bağlı. Bu kesintide Tayvan’da bir şirket işlemlerini faksla teyit etmek zorunda kaldı; birçok ekip de saatlerce sorunun kendisinde mi Microsoft’ta mı olduğunu anlamaya çalıştı.

İşte hem kesinti anında hem de bir dahaki sefere hazırlık için uygulanabilir bir B planı:

Kesinti Anında: İlk 30 Dakika

  1. Önce sorunun sizde olmadığını teyit edin. Microsoft 365 durum sayfasına (status.cloud.microsoft), Microsoft 365 Status’un X hesabına (@MSFT365Status) ve yöneticiyseniz yönetim merkezindeki hizmet durumu ekranına bakın. Böylece parola sıfırlamak, Outlook profilini silmek gibi işe yaramayacak uğraşlara saatlerinizi harcamazsınız.
  2. Yedek iletişim kanalını açın. Ekibin önceden belirlenmiş bir yedek kanalı olsun: Slack, Google Meet, bir WhatsApp ya da Telegram grubu, en kötü ihtimalle telefon zinciri. Teams’teki toplantıları da bu kanala taşıyın.
  3. Müşterilerinize kısa bir duyuru yapın. Web sitenize bir bant, sosyal medyaya tek satırlık bir not yeter: "E-postalarınız bize gecikmeli ulaşabilir, acil durumlar için bize şu numaradan ulaşın." Sessiz kalırsanız müşteri sizi yanıt vermiyor sanar.
  4. E-postaları tekrar tekrar göndermeyin. Gönderdiğiniz iletiler büyük ihtimalle kuyrukta bekliyor. Yeniden göndermek, kesinti bitince karşı tarafa aynı e-postanın üç kez düşmesi demek. Acil olanı yedek kanaldan iletin.
  5. Bilgisayarınızdaki kopyalardan çalışın. Outlook masaüstü uygulamasında önbelleğe alınmış Exchange modu açıksa, daha önce inmiş e-postalarınızı çevrimdışı okuyabilirsiniz. OneDrive’da bu cihazda tutulan dosyalar da internete ihtiyaç duymadan açılır.
  6. E-postaya bağlı kritik işleri elle yürütün. Sipariş onayı, fatura, destek talebi gibi e-postayla dönen süreçleri geçici olarak telefon, paylaşılan bir tablo ya da yedek kanal üzerinden takip edin. Kesinti bitince sisteme işleyin.

Bir Dahaki Sefere Hazırlık

  • Yedek iletişim planını yazıya dökün. Kim karar verir, kim müşteriye duyuru yapar, hangi kanal kullanılır? Bu planı e-postanın dışında, herkesin ulaşabileceği bir yerde tutun. Yılda bir kez 15 dakikalık bir tatbikat yeterli.
  • Kritik bilgileri e-posta kutusunun dışına çıkarın. Müşteri iletişim bilgileri, telefon listeleri ve sözleşmeler yalnızca birinin gelen kutusunda duruyorsa, kesintide hepsi kilitli kalır. Bir CRM, paylaşılan bir doküman ya da çevrimdışı bir kopya kullanın.
  • Çevrimdışı erişimi önceden açın. Outlook’ta önbellek modunu, OneDrive’da kritik klasörler için "Her zaman bu cihazda tut" seçeneğini şimdiden ayarlayın. Kesinti anında bunu yapmaya kalkarsanız geç kalmış olursunuz.
  • Acil durumlar için ayrı bir e-posta adresi düşünün. Alan adınızın e-postası Microsoft’ta olduğu sürece, o alan adındaki her adres onunla birlikte gider. Farklı bir sağlayıcıda, ayrı bir alan adında tutulan bir acil durum adresi, kritik müşterileriniz için bir kaçış yolu olur.
  • Kesinti bildirimlerini Microsoft dışına yönlendirin. Yöneticiyseniz, hizmet durumu e-posta bildirimlerini Microsoft dışındaki bir adrese de gelecek şekilde ayarlayın. Yoksa "e-posta çöktü" uyarısı, çökmüş e-postaya düşer.
  • Ürününüzü e-posta olmadan da çalışacak şekilde tasarlayın. Geliştiriciyseniz: gönderim başarısız olduğunda iletiyi kuyruğa alın, kullanıcıya "gecikebilir" deyin. Parola sıfırlama gibi kritik bildirimler için ikinci bir kanal (SMS, uygulama bildirimi) ya da yedek bir e-posta sağlayıcısı hazır tutun.

Kısacası: Microsoft’un kesintisini önleyemezsiniz, ama kendi kesintinizi önleyebilirsiniz.

Microsoft ayrıntılı olay sonrası raporunu (PIR) yayınladığında bu yazıyı güncelleyeceğim.

Yazar Ahmet Yüceler

6+ yıllık deneyimle web ve mobil ürünler geliştiriyorum. Burada öğrendiklerimi paylaşıyorum.

İletişime geç →

yorum Yap

E-posta hesabınız yayımlanmayacak. Gerekli alanlar işaretlendi *