12 tháng chuyển đổi AI: chỉ số năng suất của đội ngũ thực sự thay đổi ra sao

Sau một năm đưa AI vào quy trình làm việc hằng ngày, câu hỏi mà chúng tôi tự đặt ra không phải là "AI có giúp ích không". Câu hỏi khó hơn nhiều: làm sao biết được điều đó là thật, chứ không phải cảm giác. Bài viết này kể lại cách một đội ngũ phát triển phần mềm thực sự đo lường sự thay đổi trong suốt 12 tháng, những chỉ số chúng tôi tin và những chỉ số chúng tôi đã phải bỏ đi. Đây không phải là một bản báo cáo thành tích với những con số bóng bẩy. Chúng tôi cố ý không khẳng định các số liệu nội bộ cụ thể như sự thật tuyệt đối, vì phần lớn chúng phụ thuộc vào hoàn cảnh từng dự án. Thay vào đó, chúng tôi nói thẳng về việc đo cái gì, đo như thế nào, và hướng dịch chuyển đáng tin đến đâu.

Sau 12 tháng, chúng tôi thực sự đo những chỉ số nào

Sau một năm, chúng tôi tập trung vào bốn nhóm chỉ số: thời gian từ yêu cầu đến bàn giao, tỷ lệ phải làm lại sau bàn giao, tỷ lệ vượt qua khâu kiểm duyệt ngay lần đầu, và mức độ ổn định của chất lượng giữa các thành viên. Đây là những thứ phản ánh giá trị thật chứ không phải hoạt động bề mặt.

Điều quan trọng cần nói trước là cách chúng tôi chọn chỉ số đã thay đổi nhiều hơn cả bản thân các con số. Trong những tháng đầu, chúng tôi đo những thứ dễ đếm. Nhưng càng đo lâu, chúng tôi càng nhận ra rằng một chỉ số dễ đếm chưa chắc đã là một chỉ số đáng tin. Một đội có thể tạo ra rất nhiều hoạt động mà vẫn không tạo ra nhiều giá trị, và AI làm cho điều này còn nguy hiểm hơn, vì nó khiến việc sản xuất ra khối lượng lớn trở nên cực kỳ dễ dàng.

Vì vậy chúng tôi quay lại với một nguyên tắc đơn giản: chỉ đo những thứ mà khách hàng và đội ngũ thực sự cảm nhận được. Khách hàng cảm nhận được thời gian chờ đợi. Họ cảm nhận được khi một sản phẩm bàn giao xong nhưng phải sửa đi sửa lại. Họ cảm nhận được sự ổn định, tức là lần này chất lượng có giống lần trước hay không. Bốn nhóm chỉ số của chúng tôi đều xoay quanh những cảm nhận đó, chứ không xoay quanh việc đội ngũ "bận rộn" đến đâu.

Chúng tôi cũng phân biệt rõ giữa chỉ số dẫn dắt và chỉ số kết quả. Chỉ số kết quả là thứ cho biết một dự án đã đi đến đâu, nhưng nó đến quá muộn để can thiệp. Chỉ số dẫn dắt là những tín hiệu sớm, ví dụ như có bao nhiêu vấn đề được phát hiện ngay trong khâu kiểm duyệt nội bộ trước khi sản phẩm đến tay khách hàng. Một năm qua dạy chúng tôi rằng đầu tư vào chỉ số dẫn dắt đáng giá hơn nhiều, vì nó cho cơ hội sửa sai khi còn kịp.

Tại sao chúng tôi bỏ những chỉ số đơn giản như "số dòng code" hay "giờ công"

Chúng tôi bỏ các chỉ số như số dòng code, số lượng commit hay tổng giờ làm vì chúng đo lượng công sức bỏ ra, không đo giá trị tạo ra. Trong thời đại AI, một người có thể sinh ra hàng nghìn dòng code trong vài phút, nên những con số này không còn nói lên năng lực hay kết quả nữa, thậm chí còn dẫn đến quyết định sai.

Trước đây, ở rất nhiều nơi, "số giờ làm" gần như đồng nghĩa với "đóng góp". Một lập trình viên ngồi lâu, viết nhiều, được xem là làm việc chăm chỉ. Nhưng AI đã phá vỡ mối liên hệ này. Khi công cụ có thể viết bản nháp đầu tiên của một tính năng trong vài phút, thì giá trị của con người không còn nằm ở việc gõ phím, mà nằm ở việc đặt đúng yêu cầu, đánh giá đúng chất lượng, và quyết định cái gì nên giữ lại.

Nếu chúng tôi vẫn tiếp tục thưởng cho "số dòng code", chúng tôi sẽ vô tình khuyến khích đúng những hành vi sai. Một thành viên có thể để AI sinh ra thật nhiều mã, đẩy con số lên cao, nhưng tạo ra một sản phẩm cồng kềnh, khó bảo trì và đầy lỗi tiềm ẩn. Con số đẹp, kết quả tệ. Đây chính là cái bẫy mà nhiều đội ngũ rơi vào trong năm đầu chuyển đổi.

Thay vào đó, chúng tôi chuyển sang đo kết quả. Một tính năng có chạy đúng như khách hàng mong đợi không. Nó có cần sửa lại sau khi bàn giao không. Nó có gây ra sự cố ở những phần khác của hệ thống không. Những câu hỏi này khó đo hơn, đòi hỏi nhiều công sức ghi nhận hơn, nhưng chúng trung thực hơn rất nhiều.

Một bài học khác là về sự cám dỗ của những con số dễ trình bày. Số dòng code rất dễ đưa vào một bảng báo cáo đẹp mắt. Còn "tỷ lệ làm lại" thì khó nói hơn, vì nó thừa nhận rằng có những thứ đã không làm đúng ngay từ đầu. Nhưng chính sự khó chịu đó mới là dấu hiệu của một chỉ số có giá trị. Một chỉ số chỉ để khoe thì không giúp cải thiện điều gì.

Lead time, tỷ lệ làm lại, tỷ lệ qua kiểm duyệt: hướng dịch chuyển ra sao

Theo hướng quan sát của chúng tôi, lead time có xu hướng giảm rõ rệt ở khâu tạo bản nháp đầu tiên, tỷ lệ làm lại giảm dần khi quy trình kiểm duyệt được siết chặt, và tỷ lệ qua kiểm duyệt ngay lần đầu cải thiện chậm nhưng đều. Chúng tôi mô tả hướng đi, không công bố con số tuyệt đối, vì biên độ phụ thuộc nhiều vào loại dự án.

Hãy nói rõ về từng chỉ số. Lead time, tức thời gian từ lúc nhận yêu cầu đến lúc bàn giao, là nơi AI tạo ra thay đổi dễ thấy nhất. Phần tạo bản nháp ban đầu, vốn trước đây tốn nhiều ngày, được rút ngắn đáng kể. Nhưng điều thú vị là tổng lead time không giảm theo cùng tỷ lệ. Lý do là khâu tạo mã nhanh hơn lại đẩy nhiều áp lực hơn sang khâu kiểm duyệt và tinh chỉnh. Nói cách khác, AI dịch chuyển nút thắt cổ chai, chứ không xóa bỏ nó. Nếu chỉ nhìn vào tốc độ viết mã, người ta dễ kết luận sai về mức cải thiện thật.

Tỷ lệ làm lại là chỉ số mà chúng tôi quan tâm nhất, vì nó cho biết chất lượng thật. Trong giai đoạn đầu, khi đội ngũ còn quá tin vào kết quả AI sinh ra, tỷ lệ làm lại thực ra có lúc tăng lên. Đây là một sự thật khó chịu nhưng quan trọng. AI viết nhanh không có nghĩa là viết đúng, và một bản nháp trông hoàn chỉnh có thể che giấu những sai sót tinh vi. Chỉ khi chúng tôi xây dựng thói quen kiểm duyệt kỹ hơn, tỷ lệ làm lại mới bắt đầu giảm theo hướng bền vững.

Tỷ lệ qua kiểm duyệt ngay lần đầu là chỉ số dẫn dắt yêu thích của chúng tôi. Nó trả lời câu hỏi: một sản phẩm có đạt chuẩn ngay từ lần nộp đầu tiên không, hay phải qua nhiều vòng sửa. Chỉ số này cải thiện chậm hơn lead time rất nhiều, bởi vì nó phản ánh năng lực thực sự chứ không phải tốc độ công cụ. Nó phụ thuộc vào việc thành viên hiểu rõ tiêu chuẩn, biết tự kiểm tra trước khi nộp, và biết khi nào nên tin AI, khi nào không. Sự cải thiện chậm nhưng đều của chỉ số này, theo chúng tôi, là dấu hiệu đáng tin cậy nhất cho thấy đội ngũ đang thực sự trưởng thành, chứ không chỉ chạy nhanh hơn nhờ công cụ.

Khi chỉ số nói dối: cái bẫy của việc đo lường và những hiểu lầm chúng tôi từng mắc

Chỉ số nói dối khi chúng ta đo sai thứ, đo trong thời gian quá ngắn, hoặc để con số định nghĩa thành công thay vì phản ánh nó. Cái bẫy lớn nhất của chúng tôi là tin vào những cải thiện ngắn hạn ở tốc độ mà bỏ qua chi phí chất lượng ẩn xuất hiện vài tháng sau đó.

Bài học đầu tiên về cái bẫy này là vấn đề thời gian quan sát. Trong những tuần đầu, mọi chỉ số tốc độ đều trông tuyệt vời. Nếu chúng tôi dừng lại và tuyên bố thắng lợi ở thời điểm đó, chúng tôi đã kể một câu chuyện sai. Phải đến vài tháng sau, khi những sản phẩm vội vàng bắt đầu cần bảo trì và sửa lỗi, chi phí thật mới lộ ra. Một chỉ số chỉ trở nên đáng tin khi nó được quan sát đủ lâu để chứa cả hậu quả về sau, chứ không chỉ lợi ích trước mắt.

Bài học thứ hai là về định luật Goodhart, ý tưởng rằng khi một thước đo trở thành mục tiêu, nó sẽ không còn là thước đo tốt nữa. Khi chúng tôi bắt đầu công khai theo dõi một chỉ số, hành vi của đội ngũ thay đổi để làm đẹp chỉ số đó, đôi khi theo cách không lành mạnh. Đây là lý do chúng tôi cố tình không gắn các chỉ số này trực tiếp với đánh giá cá nhân theo cách máy móc. Chỉ số dùng để hiểu hệ thống, không phải để xếp hạng con người một cách đơn giản.

Bài học thứ ba, và có lẽ quan trọng nhất, là hiểu lầm giữa hoạt động và tiến độ. AI tạo ra cảm giác bận rộn rất mạnh. Màn hình luôn đầy mã mới, mọi thứ chuyển động liên tục. Nhưng chuyển động không phải là tiến về phía trước. Có những giai đoạn đội ngũ rất bận mà giá trị giao cho khách hàng lại không tăng tương ứng. Chỉ khi tách bạch rõ ràng giữa "đang làm nhiều" và "đang hoàn thành đúng", chúng tôi mới nhìn được bức tranh thật.

Cuối cùng, chúng tôi học cách trung thực với chính mình về những gì không thể đo. Một số giá trị quan trọng nhất, như sự rõ ràng trong tư duy hay khả năng đặt câu hỏi đúng, gần như không thể quy thành con số. Sai lầm sẽ là giả vờ rằng mọi thứ đều đo được. Đo lường là một công cụ mạnh, nhưng nó cần đi kèm với sự khiêm tốn về giới hạn của chính nó.

Những quyết định vận hành rút ra từ 12 tháng dữ liệu và kế hoạch đo lường tiếp theo

Từ một năm dữ liệu, chúng tôi rút ra ba quyết định: đầu tư mạnh vào khâu kiểm duyệt thay vì khâu tạo mã, đào tạo con người trước khi mở rộng công cụ, và đo lường theo dự án thay vì theo cá nhân. Kế hoạch tiếp theo là theo dõi chất lượng dài hạn sau bàn giao, không chỉ tốc độ tại thời điểm giao.

Quyết định đầu tiên đến trực tiếp từ việc quan sát nút thắt cổ chai dịch chuyển. Khi tốc độ tạo mã không còn là vấn đề, đầu tư thêm vào việc viết nhanh hơn mang lại rất ít giá trị. Giá trị nằm ở khâu kiểm duyệt, nơi con người quyết định cái gì đủ tốt để giao. Vì vậy chúng tôi chuyển nguồn lực, sự chú ý và đào tạo sang khâu này. Đây là một thay đổi tư duy lớn: trong một đội ngũ dùng AI tốt, người đánh giá quan trọng không kém người tạo ra.

Quyết định thứ hai củng cố một điều chúng tôi luôn tin: công cụ không tự tạo ra năng suất, con người mới tạo ra. Dữ liệu cho thấy khoảng cách lớn nhất về kết quả không nằm giữa người dùng công cụ và người không dùng, mà giữa người được đào tạo để dùng tốt và người chỉ dùng qua loa. Vì vậy chúng tôi đặt việc đào tạo lên trước việc mở rộng. Mở rộng một quy trình chưa được hiểu rõ chỉ là nhân rộng sự lộn xộn.

Quyết định thứ ba là đo lường theo dự án thay vì theo cá nhân ở những nơi có thể. Một dự án là một kết quả trọn vẹn mà khách hàng nhận được, và nó khó bị thao túng hơn các chỉ số cá nhân. Cách tiếp cận này cũng khuyến khích hợp tác thay vì cạnh tranh nội bộ không lành mạnh.

Về phía trước, kế hoạch đo lường của chúng tôi nghiêng hẳn về dài hạn. Chúng tôi muốn theo dõi một sản phẩm sống ra sao sau khi bàn giao sáu tháng, một năm: nó cần bao nhiêu bảo trì, có dễ mở rộng không, có gây ra nợ kỹ thuật âm thầm không. Đây là những chỉ số khó nhất, đến chậm nhất, nhưng cũng trung thực nhất về chất lượng thật. Một năm vừa qua dạy chúng tôi rằng câu hỏi đúng không phải là "AI giúp chúng ta nhanh đến đâu", mà là "chúng ta có đang tạo ra thứ bền vững và đáng tin hơn không". Đó là chỉ số mà chúng tôi sẽ tiếp tục theo đuổi.