Có những hệ thống chỉ được nhắc đến khi xảy ra sự cố. Còn khi mọi thứ vận hành trơn tru, người ta thường xem đó là điều hiển nhiên.

Tôi từng nghĩ như vậy cũng không sao. Làm vận hành hệ thống, đôi khi thành công lớn nhất là không ai phải gọi tên mình.

Nhưng phải đến một cuộc điện thoại lúc 2 giờ sáng, tôi mới thật sự hiểu rằng, phía sau sự “bình thường” của một hệ thống là rất nhiều trách nhiệm. Mỗi phút gián đoạn không chỉ là một cảnh báo kỹ thuật. Đó có thể là một giao dịch đang chờ, một đối tác đang sốt ruột, một khách hàng đang mất dần niềm tin.

photo-6298653382096831416-y — Khi hệ thống thay đổi mà người dùng không nhận ra, nghĩa là đội ngũ vận hành đã làm đúng việc của mình

Những ngày bắt đầu từ con số 0

Tháng 9/2019, tại Giang Văn Minh, phòng Khai thác dịch vụ tiếp nhận nhiệm vụ vận hành hai hệ thống lớn: VTPay và VTPro, nền tảng kết nối các đối tác kênh phân phối. Tôi được giao là người phụ trách chính. Trên giấy tờ, đó là một nhiệm vụ rõ ràng. Nhưng khi bắt tay vào làm, chúng tôi gần như bắt đầu từ những mảnh ghép rời rạc. Đội ngũ khi ấy phần lớn là người mới. Tài liệu chưa đầy đủ. Hệ thống cảnh báo vẫn đang trong quá trình hoàn thiện.

Mỗi lần thêm tính năng, fix bug hay nâng cấp phiên bản, cả team lại ngồi canh màn hình hàng giờ để phát hiện lỗi. Có những đêm công việc kết thúc lúc 2-3 giờ sáng. 6 giờ, mọi người lại quay lại với guồng vận hành thường ngày. Cuối tuần không hẳn là để nghỉ, mà là để anh em ngồi lại đào tạo cho nhau, vá dần những khoảng trống trong hiểu biết và trong hệ thống giám sát. Khi chuyển sang Keangnam năm 2020, áp lực lớn hơn rất nhiều. Hệ thống KPP lúc này đã kết nối với nhiều đối tác lớn như VNPAY, IRIS, NAPAS. Mỗi đối tác là một luồng nghiệp vụ riêng. Mỗi giao dịch đều gắn với tiền. Và mỗi phút hệ thống dừng lại đều có thể kéo theo hệ quả phía sau.

Cuộc gọi lúc 2 giờ sáng

Tôi vẫn nhớ một đêm tháng 3/2022. Điện thoại của tôi đổ chuông lúc 2 giờ sáng. Hệ thống vừa trải qua khoảng hai tiếng downtime trong khung giờ cao điểm do một đợt nâng cấp hạ tầng. Ở đầu dây bên kia là sự căng thẳng. Những câu hỏi dồn dập vang lên: “Các ông SOC up gì lâu thế? Biết giao dịch đối tác nhiều thế nào không? Bao nhiêu người đang chờ đợi không?”. Tôi lắng nghe, ghi chép, xin lỗi và cam kết sẽ cải thiện.

Khi cuộc gọi kết thúc, tôi đứng nhìn ra ngoài cửa sổ Keangnam. Thành phố vẫn sáng đèn. Còn trong đầu tôi chỉ còn lại một câu hỏi: “Tại sao team có nhiều người giỏi, nắm nhiều công nghệ hiện đại, mà hệ thống vẫn phải “ngủ” mỗi khi nâng cấp?”. Sáng hôm sau, tôi mở lại báo cáo vận hành. Các con số hiện ra rất rõ trung bình mỗi tháng có ít nhất hai lần nâng cấp, mỗi lần kéo dài khoảng hai giờ gián đoạn, bốn giờ downtime một tháng, nếu chỉ nhìn như thời gian, tưởng như không quá lớn. Nhưng khi quy đổi sang dòng tiền, mỗi giờ đồng nghĩa với hơn một tỷ đồng giao dịch bị ảnh hưởng. Bốn giờ downtime tương ứng với khoảng 4,3 tỷ đồng giá trị giao dịch bị tác động. Lúc đó, tôi nhận ra vấn đề không còn là “nâng cấp thế nào cho xong”. Vấn đề là chúng tôi có chấp nhận để hệ thống dừng lại như một điều bình thường hay không.

Nghĩ khác từ một câu hỏi đơn giản

Sáng hôm sau, trong phòng họp nhỏ tầng 45, tôi nói với anh em trong team: hệ thống phải được nâng cấp mà không downtime. Tôi không nói điều đó như một mệnh lệnh. Thật lòng, lúc ấy tôi cũng chưa có sẵn câu trả lời. Khi có người hỏi “làm thế nào”, tôi chỉ nói rằng mình chưa biết. Nhưng tôi tin cả đội sẽ tìm ra. Nếu cứ chờ đến khi có câu trả lời hoàn hảo mới bắt đầu, có lẽ chúng tôi sẽ không bao giờ bắt đầu. Thay vì lao ngay vào code, chúng tôi bắt đầu bằng một câu hỏi rất cơ bản: tại sao phải downtime? Cả team rà soát lại toàn bộ kiến trúc, từng luồng xử lý, từng điểm nghẽn có thể phát sinh. Dần dần, vấn đề lộ rõ. Hệ thống khi ấy vận hành theo mô hình tập trung. Mỗi lần triển khai phiên bản mới đều phải dừng phiên bản cũ. Chính khoảng trống đó khiến giao dịch không thể được xử lý liên tục. Ý tưởng được hình thành từ đó: chuyển traffic theo từng cụm, từng bước, thay vì dừng toàn bộ hệ thống. Nghe thì đơn giản. Nhưng áp dụng vào một nền tảng xử lý hàng triệu giao dịch mỗi ngày lại là câu chuyện khác. Chỉ cần sai một nhịp, giao dịch có thể timeout, bị retry không đúng cách, hoặc phát sinh trùng lặp.

Tám tháng để đổi lấy một đêm yên ả

Suốt tám tháng, chúng tôi thiết kế, thử nghiệm, rồi lại sửa. Có lần triển khai phải rollback vì lỗi timeout. Có lần phát sinh giao dịch trùng do cơ chế retry chưa hoàn thiện. Mỗi lần như vậy, cả team lại ngồi lại để tìm nguyên nhân. Có lúc tôi cũng hoài nghi. Không phải hoài nghi về năng lực của anh em, mà hoài nghi liệu mình có đang theo đuổi một việc quá khó, quá tốn công, trong khi ít người thật sự nhìn thấy kết quả hay không. Nhưng rồi tôi lại nhớ cuộc gọi lúc 2 giờ sáng. Nhớ cảm giác nhìn những con số giao dịch bị ảnh hưởng trên báo cáo. Nhớ câu hỏi mình đã tự đặt ra: vì sao một đội ngũ giỏi công nghệ lại phải chấp nhận hệ thống dừng khi nâng cấp? Cuối tháng 10/2022, lần triển khai thứ ba diễn ra. Traffic được chuyển dần sang phiên bản mới. Dashboard vẫn xanh. Không có cảnh báo bất thường. Không có cuộc gọi khẩn. Không có giao dịch bị ảnh hưởng.

Đó là một đêm yên ả đến lạ.

Với người ngoài, có thể đêm ấy chẳng có gì đặc biệt. Nhưng với chúng tôi, chính sự yên ả ấy là câu trả lời. Khi hệ thống thay đổi mà người dùng không nhận ra, nghĩa là đội ngũ vận hành đã làm đúng việc của mình. Từ tháng 11/2022, giải pháp trở thành một phần trong quy trình chuẩn. Các đợt nâng cấp sau đó được thực hiện trơn tru hơn. Downtime bằng 0. Những cuộc gọi lúc nửa đêm dần biến mất. Sự căng thẳng mỗi khi hệ thống thay đổi cũng không còn là điều quen thuộc.

Công việc tốt nhất là công việc không ai nhận ra

Đến hôm nay, công cụ ấy vẫn được sử dụng đều đặn. Nó không phải một sản phẩm được quảng bá rầm rộ. Nó cũng không phải thứ thường được nhắc tên trong các báo cáo thành tích. Nhưng với tôi, đó là một nền móng quan trọng. Một nền móng đủ vững để những người đến sau có thể vận hành hệ thống an tâm hơn. Một nền móng giúp các dòng giao dịch đi qua mà không bị ngắt quãng. Có người từng hỏi tôi có hối hận không khi dành tám tháng cho một công cụ mà ít người biết đến. Tôi cười và nói: “Công việc tốt nhất là công việc không ai nhận ra nó đang hoạt động. Nếu hệ thống chạy mượt mà đến mức mọi người quên mất nó có thể downtime, thì đó là thành công”. Sau hành trình đó, tôi càng tin vào một điều: không có việc gì khó nếu mình thật sự bắt tay vào làm. Thay vì dành thời gian than thở, hãy bắt đầu từ một câu hỏi, một điểm nghẽn, một việc nhỏ có thể cải thiện ngay hôm nay.

Không có bắt đầu thì sẽ không có kết thúc.

Với tôi, câu chuyện “nghĩ khác, làm khác” không phải là nghĩ ra điều gì thật lớn ngay từ đầu. Đôi khi, nó bắt đầu từ việc không chấp nhận một điều vốn được xem là bình thường. Trước đây, downtime khi nâng cấp từng được xem là điều khó tránh. Nhưng khi chúng tôi nhìn nó như một bài toán buộc phải giải, cả team đã tìm được cách để thay đổi. Tôi không cần công việc của mình luôn được nhìn thấy. Tôi chỉ mong mỗi giao dịch được xử lý đúng lúc, mỗi đối tác không phải chờ đợi, mỗi người dùng không phải đặt câu hỏi vì sao hệ thống gián đoạn.

Nếu một ngày nào đó, mọi người quên mất hệ thống từng có thể downtime, tôi nghĩ đó chính là phần thưởng lớn nhất của người làm vận hành.

Viettel Family phát động cuộc thi “Đánh thức sáng tạo” từ nay đến 30/06/2026 dành cho toàn thể CBNV Viettel trên toàn cầu. Cuộc thi là dịp để mỗi người Viettel chia sẻ những kỷ niệm, câu chuyện có thật về khoảnh khắc hoặc tình huống đã khiến bản thân thay đổi tư duy, bật ra suy nghĩ mới, làm khác đi và tìm cách giải quyết mới hiệu quả hơn. Khuyến khích CBNV minh họa bằng video clip, tranh, âm nhạc, infographic hoặc các hình thức sáng tạo khác, CBNV có thể ứng dụng AI và các công cụ số. Mỗi CBNV được gửi nhiều bài dự thi về Ban Tổ chức qua địa chỉ email: viettelfamily@viettel.com.vn hoặc đăng tải trực tiếp bài dự thi trên website Viettel Family TẠI ĐÂY .

Để không ai còn nhớ đến downtime

17:34 - 03.06.2026AI tóm lược

Bài viết cùng chuyên mục

Bài viết cùng chuyên mục

17:34 - 03.06.2026