Theo thông tin được Phó Chủ tịch phụ trách Copilot, tác nhân và nền tảng của Microsoft Charles Lamanna công bố trên mạng xã hội X ngày 16/11, sự cố bắt nguồn từ một lỗi phần mềm tiềm ẩn trên các máy chủ cổng mạng, kết hợp với hai vấn đề khác trong hệ thống hạ tầng.
Lỗi phần mềm này được triển khai từ tháng 7 và phân phối trên toàn cầu trong nhiều tuần mà không phát hiện bất thường. Tuy nhiên, lỗi đã gây ra tình trạng tranh chấp khóa (lock contention) bên trong một tiến trình nội bộ khiến máy chủ bị quá tải và ngừng phản hồi.
Theo Microsoft, lỗi có xu hướng xuất hiện rõ hơn trên các máy chủ đời mới có nhiều nhân CPU, trong khi quá trình kiểm thử trước đó chủ yếu sử dụng phần cứng cũ với số nhân xử lý ít hơn.
Bên cạnh lỗi phần mềm, lưu lượng truy cập tăng đột biến cũng góp phần đẩy hệ thống vào tình trạng quá tải. Khoảng 15 giờ trước khi sự cố xảy ra, Microsoft Teams được chuyển từ cổng mạng dự phòng sang cổng chính, vốn đang phục vụ cả Exchange Online.
Đáng chú ý, gần 14% công suất máy chủ cổng mạng đã ngừng hoạt động từ ngày trước đó do một sự cố khác. Khi ba yếu tố cùng xuất hiện vào giờ cao điểm tại Mỹ, lỗi phần mềm tiềm ẩn bị kích hoạt kéo theo tình trạng gián đoạn trên diện rộng.
Khi các máy chủ bắt đầu ngừng phản hồi, hệ thống tự động điều hướng người dùng sang những điểm kết nối còn hoạt động. Cơ chế này lại vô tình kích hoạt lỗi tương tự trên các máy chủ tiếp nhận.
Trong chưa đầy 2 giờ, sự cố nhanh chóng lan rộng. Tại thời điểm nghiêm trọng nhất, khoảng 80% máy chủ cổng mạng rơi vào trạng thái không phản hồi. Một trục trặc khác cũng khiến các phân vùng khoanh vùng sự cố mất tác dụng, làm gián đoạn lan ra phạm vi toàn cầu.
Microsoft cho biết việc khôi phục hệ thống gặp nhiều khó khăn do lỗi phần mềm đã tồn tại hơn 3 tháng. Vì vậy, hãng không thể đơn giản hoàn tác một bản cập nhật gần đây như cách xử lý thông thường.
Thay vào đó, đội ngũ kỹ thuật phải phát triển bản vá mới để đưa nhánh mã nguồn về trạng thái ổn định trước đó, sau đó ngắt kết nối từng nhóm máy chủ để cập nhật và khởi động lại theo từng đợt.
Sự cố bắt đầu ngày 12/11 theo giờ Mỹ, ảnh hưởng nghiêm trọng đến Exchange Online và Outlook. Theo báo cáo sơ bộ, thời gian gián đoạn của Exchange Online kéo dài khoảng 23 giờ 50 phút. Các dịch vụ khác như Teams, OneDrive, SharePoint và bộ ứng dụng Office phần lớn được chuyển sang hạ tầng dự phòng.
Tại Việt Nam, nhiều dịch vụ được khôi phục trong ngày 13/11, song Outlook đến khoảng 19h cùng ngày mới hoạt động trở lại và vẫn trong tình trạng chập chờn.
Trong thời gian gián đoạn, Downdetector ghi nhận khoảng 7,4 triệu báo cáo từ 74 quốc gia và vùng lãnh thổ, có thời điểm lên gần 20.000 báo cáo mỗi phút, cao gấp hơn 1.500 lần mức thông thường.
Không chỉ gây gián đoạn hoạt động của doanh nghiệp, sự cố còn ảnh hưởng đến các lĩnh vực thiết yếu như y tế và giáo dục. Một số cơ sở y tế tại Anh phải quay lại phương thức trao đổi hồ sơ giấy khi không thể sử dụng email, trong khi các phái đoàn tham dự Hội nghị COP31 gặp khó khăn trong việc mở và chia sẻ tài liệu đàm phán.
Theo các chuyên gia, sự cố một lần nữa cho thấy rủi ro khi doanh nghiệp và tổ chức phụ thuộc quá lớn vào một nhà cung cấp công nghệ duy nhất. Khi email, lưu trữ dữ liệu và công cụ làm việc cùng tập trung trên một nền tảng, một trục trặc kỹ thuật cũng có thể khiến nhiều hoạt động thiết yếu đình trệ.
Bên cạnh nguy cơ gián đoạn, các chuyên gia an ninh mạng cũng cảnh báo những sự cố tương tự có thể tạo cơ hội cho tội phạm mạng triển khai các chiêu trò lừa đảo. Kẻ xấu có thể giả danh Microsoft hoặc bộ phận công nghệ thông tin để gửi đường dẫn khôi phục tài khoản, yêu cầu đặt lại mật khẩu hoặc cung cấp mã xác thực đa yếu tố.
Do đó, các tổ chức được khuyến nghị xây dựng kênh thông tin dự phòng, rà soát những hoạt động phụ thuộc vào dịch vụ đám mây và chuẩn bị phương án duy trì các khâu thiết yếu khi hệ thống gặp sự cố.
Microsoft cho biết sẽ tiếp tục công bố báo cáo chính thức với thông tin kỹ thuật chi tiết hơn cùng các biện pháp ngăn ngừa sự cố tái diễn. Theo Charles Lamanna, lỗi phần mềm và bản vá lần này không ảnh hưởng đến các bản triển khai Windows.