สรุปการบำรุงรักษา RMS: การแก้ไขและขั้นตอนต่อไป

ระบบจัดการระยะไกล (RMS) ได้รับการกู้คืนอย่างสมบูรณ์กลับสู่ระดับก่อนการบำรุงรักษาแล้ว อย่างไรก็ตาม อุปกรณ์ที่ใช้เฟิร์มแวร์เวอร์ชันเก่ามากอาจยังคงประสบปัญหาการเชื่อมต่อ โปรดแจ้งให้เราทราบหากพบปัญหาดังกล่าว เราจะช่วยเหลือคุณโดยทันที!

สรุปเหตุการณ์

ภาวะแทรกซ้อนที่ไม่คาดคิดระหว่างการบำรุงรักษาตามแผนส่งผลให้ระบบหยุดทำงานเป็นเวลานาน การอัปเดตเซิร์ฟเวอร์ทำให้เกิดปัญหาการเชื่อมต่อกับอุปกรณ์ และถึงแม้จะพยายามแก้ไขแล้ว ก็ไม่สามารถแก้ไขได้ภายในระยะเวลาที่เหมาะสม ระบบจึงถูกย้อนกลับไปใช้เวอร์ชันก่อนหน้า แต่ปัญหาการเชื่อมต่อยังคงอยู่ ส่งผลให้ระบบหยุดทำงานประมาณ 24 ชั่วโมง โดยอุปกรณ์ต่างๆ ค่อยๆ เชื่อมต่อได้อีกครั้งในอีก 72 ชั่วโมงต่อมา

สาเหตุหลัก

ปัญหาหลักเกิดจากอุปกรณ์ที่ใช้เฟิร์มแวร์เวอร์ชันเก่ากว่า 07.07 ซึ่งไม่สามารถจัดการกับการตัดการเชื่อมต่ออย่างราบรื่นหลังจากการรีสตาร์ทเซิร์ฟเวอร์ RMS อุปกรณ์เหล่านี้ไม่สนใจโปรโตคอลการเชื่อมต่อใหม่มาตรฐาน แต่กลับเริ่มพยายามเชื่อมต่อใหม่ซ้ำๆ อย่างรวดเร็ว

เนื่องจากข้อจำกัดของโหลดบาลานเซอร์ของ AWS แม้แต่อุปกรณ์ที่เชื่อมต่อสำเร็จแล้วก็ยังถูกตัดการเชื่อมต่อในภายหลัง ทำให้เกิดวงจรการเชื่อมต่อและการตัดการเชื่อมต่อซ้ำๆ โดยอุปกรณ์หลายแสนเครื่อง ปริมาณคำขอที่มากมายมหาศาลนี้ทำให้ระบบใช้งานไม่ได้ชั่วคราว ในช่วงสุดสัปดาห์ เราได้เพิ่มจำนวนโหลดบาลานเซอร์ที่ใช้งานอยู่ เปลี่ยนเส้นทางการรับส่งข้อมูล และปรับแต่งระบบแบ็กเอนด์เพื่อกู้คืนบริการอย่างค่อยเป็นค่อยไป

การดำเนินการที่ผ่านมาและขั้นตอนต่อไป

เหตุการณ์นี้เป็นบทเรียนสำคัญสำหรับทีมของเราและได้เน้นย้ำถึงจุดที่ต้องปรับปรุง ในขณะที่เรากำลังจัดทำแผนปฏิบัติการระยะยาวให้เสร็จสมบูรณ์ ต่อไปนี้คือขั้นตอนต่างๆ ที่เรามุ่งมั่นที่จะดำเนินการ:

การทดสอบระยะขั้นสูง

แม้จะเตรียมการในสภาพแวดล้อมทดสอบมาหลายเดือนแล้ว ปัญหานี้ก็ยังทำให้เราประหลาดใจอยู่ดี เราจะตรวจสอบและปรับปรุงขั้นตอนการทดสอบของเราอย่างละเอียด โดยเฉพาะอย่างยิ่ง เราจะเพิ่มจำนวนอุปกรณ์ทดสอบเพื่อจำลองสถานการณ์ที่มีภาระงานสูงบนระบบของเราให้ดียิ่งขึ้น

การจัดการโหลดที่ดีขึ้น

เพื่อป้องกันเหตุการณ์ที่คล้ายคลึงกันในอนาคต เราจะปรับปรุงความสามารถในการกระจายโหลดตามความต้องการ และนำระบบย่อย DNS/พร็อกซี/การเปลี่ยนเส้นทางพอร์ตมาใช้เพื่อจัดการปริมาณการรับส่งข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพยิ่งขึ้น

หน้าสถานะ RMS

เพื่อปรับปรุงการสื่อสารระหว่างการบำรุงรักษาหรือการหยุดทำงานในอนาคต เราจะสร้างหน้าสถานะ RMS เพื่อแจ้งให้ลูกค้าทราบแบบเรียลไทม์

ต้องการความช่วยเหลือไหม?

หากคุณต้องการความช่วยเหลือในระหว่างนี้ ทีมสนับสนุนของเราพร้อมให้ความช่วยเหลือ ติดต่อเราได้ทาง ศูนย์ช่วยเหลือ หรือ ฟอรัมชุมชน และเราจะตอบทุกคำถามของคุณ

ขอขอบคุณสำหรับความเข้าใจและความอดทนของคุณในขณะที่เรากำลังดำเนินการเพื่อปรับปรุงความยืดหยุ่นของระบบของเราและป้องกันการหยุดชะงักในอนาคต!