RMS Bakımının Özeti: Giderilen Sorunlar ve Sonraki Adımlar

Uzaktan Yönetim Sistemi (RMS) bakım öncesi seviyelerine tamamen geri yüklenmiştir. Ancak, önemli ölçüde daha eski bellenim sürümlerini kullanan cihazlarda bağlantı sorunları yaşanmaya devam edebilir. Bu gibi durumları lütfen bize bildirin, size hemen yardımcı olacağız!

Olayın Özeti

Planlı bakım sırasında beklenmedik komplikasyonlar uzun süreli kesintiye yol açtı. Sunucu güncellemeleri cihazlarla bağlantı sorunlarına neden oldu ve yapılan tüm çabalara rağmen bu sorunlar makul bir süre içinde çözülemedi. Sistem eski haline döndürüldü, ancak bağlantı sorunları devam etti ve yaklaşık 24 saatlik bir kesinti yaşandı; cihazlar sonraki 72 saat içinde kademeli olarak yeniden bağlandı.

Ana neden

Asıl sorun, 07.07'den daha eski ürün yazılımı sürümlerini kullanan cihazlardan kaynaklanıyordu; bu cihazlar, RMS sunucusunun yeniden başlatılmasının ardından bağlantı kesilmesini düzgün bir şekilde ele almıyordu. Bu cihazlar, standart yeniden bağlantı protokollerini göz ardı ederek, bunun yerine hızlı ve sürekli yeniden bağlantı girişimleri başlatıyordu.

AWS yük dengeleyici sınırlamaları nedeniyle, başarılı bir şekilde bağlanan cihazlar bile daha sonra bağlantıdan kesildi ve yüz binlerce cihaz arasında bağlantı ve yeniden bağlantı döngüsü oluştu. Bu istek seli, sistemi geçici olarak çalışamaz hale getirdi. Hafta sonu boyunca, aktif yük dengeleyici sayısını artırdık, trafiği yönlendirdik ve hizmeti kademeli olarak geri yüklemek için arka uçta ayarlamalar yaptık.

Alınan Önlemler ve Sonraki Adımlar

Bu olay ekibimiz için önemli bir öğrenme deneyimi oldu ve geliştirilmesi gereken alanları vurguladı. Uzun vadeli eylem planımızı henüz kesinleştirmemiş olsak da, atmaya kararlı olduğumuz birkaç adım şunlardır:

Geliştirilmiş Aşama Testi

Aylar süren hazırlıklarımıza rağmen bu sorun bizi hazırlıksız yakaladı. Test ortamı prosedürlerimizi kapsamlı bir şekilde gözden geçirecek ve güncelleyeceğiz. Özellikle, sistemimizdeki yüksek yük senaryolarını daha iyi simüle etmek için demo test cihazlarının sayısını artıracağız.

Geliştirilmiş Yük Yönetimi

Benzer olayların önüne geçmek için, isteğe bağlı yük dengeleme yeteneklerimizi geliştirecek ve potansiyel olarak büyük trafik akışlarını daha etkili bir şekilde yönetmek üzere bir DNS/Proxy/port yönlendirme alt sistemi uygulayacağız.

RMS Durum Sayfası

Gelecekteki bakım veya arıza sürelerinde iletişimi iyileştirmek için, müşterilerimizi gerçek zamanlı olarak bilgilendirmek amacıyla bir RMS durum sayfası oluşturacağız.

Yardıma mı ihtiyacınız var?

Bu arada yardıma ihtiyacınız olursa, destek ekibimiz size yardımcı olmaya hazır. Yardım Masamız veya Topluluk Forumumuz aracılığıyla bize ulaşın, tüm sorularınızı yanıtlayacağız.

Sistemlerimizin dayanıklılığını artırmak ve gelecekteki aksaklıkları önlemek için çalışırken gösterdiğiniz anlayış ve sabır için teşekkür ederiz!