Số liệu do AI phân tích: kiểm tra gì trước khi báo cáo

Con số trông rất đẹp

Đây là tình huống minh họa. Bạn là PO của Gốm Mộc (tên hư cấu), một shop bán đồ gốm online. Sáng mai bạn phải gửi báo cáo về chiến dịch “Tuần lễ gốm” vừa chạy từ 12 đến 18/10/2026. Bạn có hai file: file xuất đơn hàng của tuần đó và file số phiên truy cập. Công ty cho phép dùng công cụ AI với dữ liệu đã bỏ thông tin khách hàng, nên bạn đưa hai file vào và nhờ công cụ tóm tắt kết quả.

Vài giây sau, bạn có một đoạn tóm tắt gọn gàng: “Chiến dịch có 362 đơn, doanh thu 181 triệu đồng, tỷ lệ chuyển đổi 36,2%, gấp hơn 10 lần tháng 9 nhờ chương trình khuyến mãi.” Câu chữ rõ ràng, số có lẻ thập phân, nghe rất chuyên nghiệp. Bạn suýt dán nguyên đoạn đó vào báo cáo gửi trưởng nhóm kinh doanh.

Trong bốn con số đó, không con số nào dùng được nguyên trạng. Có đơn thử của nội bộ bị tính vào, tỷ lệ chuyển đổi dùng sai mẫu số, và câu “nhờ chương trình khuyến mãi” là một kết luận dữ liệu chưa chứng minh được. Bài này đi qua cách kiểm tra số liệu do AI phân tích trước khi bạn đặt tên mình dưới bản báo cáo.

Vì sao số liệu AI phân tích khó kiểm?

Lỗi trong văn bản còn dễ thấy vì bạn đọc là hiểu. Lỗi trong con số thì khác: 36,2% và 4,4% trông đều hợp lý nếu bạn không biết chúng được tính ra sao. Một con số có lẻ thập phân còn tạo cảm giác đã được tính rất cẩn thận.

Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) gọi hiện tượng AI tự tin đưa ra nội dung sai là “confabulation”, cách gọi khác của “hallucination” hay “ảo giác”. NIST còn ghi nhận một điểm rất đáng nhớ với người làm số: mô hình AI đôi khi trình bày các bước lập luận dẫn tới đáp án, kể cả khi đáp án đó sai. Nghĩa là một lời giải thích trông mạch lạc chưa chứng minh được con số là đúng.

Nielsen Norman Group (NN/g) giải thích gốc rễ của vấn đề: công cụ AI tạo ra thứ có khả năng xuất hiện cao về mặt thống kê, chứ không kiểm chứng được điều nó viết ra là đúng. Giọng văn chắc chắn không phải là bằng chứng.

Còn một lý do nằm ở phía người dùng. NIST xếp việc con người tin quá mức vào kết quả của máy (over-reliance, automation bias) vào nhóm rủi ro riêng. Khi đang gấp và con số lại đẹp, ai cũng dễ muốn tin. Báo cáo có tên bạn, nên trách nhiệm với từng con số cũng là của bạn, không phải của công cụ.

AI dễ sai số liệu ở những chỗ nào?

Bảng dưới gom các kiểu lỗi đáng soi khi đọc một bản phân tích do AI làm. Ví dụ trong bảng đều là minh họa. Cột “Kiểm tra nhanh” là việc bạn làm được trong vài phút với bảng tính.

Tính sai là lỗi của phép tính. Sai mẫu số, đếm trùng và lẫn kỳ là lỗi định nghĩa: phép tính có thể đúng, nhưng đếm sai thứ cần đếm. Âm thầm bỏ dòng và đọc sai cột là lỗi dữ liệu đầu vào: tính đúng nhưng trên tập dữ liệu sai. Hai lỗi cuối là lỗi về sự thật và về cách diễn giải. Lỗi bịa số là thứ NIST gọi là confabulation rõ nhất, và khó phát hiện nếu bạn không hỏi “số này lấy từ đâu”.

Nhiều lỗi trong bảng không riêng gì AI. Người viết SQL hay người làm bảng tính cũng gặp đúng những lỗi này, ví dụ JOIN làm nhân đôi dòng. Điểm khác là khi tự làm, bạn thấy từng bước. Khi AI làm, bạn chỉ thấy kết quả cuối.

• SQL cho Product Owner mới bắt đầu

Kiểm tra số liệu AI phân tích thế nào?

Một cách làm dễ áp dụng là đi qua bốn bước theo thứ tự, trước khi bất kỳ con số nào rời khỏi máy của bạn. Bạn chỉ cần bảng tính và quyền xem hệ thống gốc.

Bước 1, đối chiếu tổng. Mở hệ thống gốc, ví dụ trang quản trị đơn hàng, và lấy số đơn, tổng doanh thu cho đúng khoảng thời gian đó. So với con số AI đưa ra. Đồng thời ghi lại số dòng của file trước khi lọc và sau mỗi bước lọc. Nếu số dòng giảm, bạn phải nói được vì sao giảm: bỏ đơn hủy, bỏ đơn thử, hay có dòng bị loại mà không ai chủ ý.

Bước 2, kiểm định nghĩa. Với mỗi tỷ lệ, viết ra hai dòng: tử số là gì, mẫu số là gì. Rồi so với định nghĩa team đang dùng. “Tỷ lệ chuyển đổi” ở team này có thể là đơn hoàn tất chia cho phiên truy cập, ở team khác là người mua chia cho người truy cập. Kiểm luôn kỳ: từ ngày nào tới ngày nào, tính theo ngày đặt hay ngày giao, và kỳ đem ra so có cùng độ dài không. Nếu team chưa có định nghĩa chung, bài về đo lường tính năng sau khi ra mắt có phần bàn cách chọn chỉ số.

Bước 3, tự tính lại. Bạn không cần tính lại mọi thứ. Chọn 2 đến 3 con số sẽ dẫn tới quyết định hoặc sẽ được trích lại nhiều nhất, rồi tự tính trong bảng tính. Bạn có thể yêu cầu công cụ AI trình bày cách tính, nhưng hãy coi đó là danh sách để kiểm, không phải bằng chứng: lấy từng bước, áp vào dữ liệu thật và xem có ra cùng kết quả không. Cuối bước này, đặt con số cạnh những gì bạn biết về sản phẩm. Một shop nhỏ có tỷ lệ chuyển đổi 36% thì cần một lời giải thích rất thuyết phục.

Bước 4, ghi rõ khi báo cáo. Mỗi con số quan trọng nên đi kèm nguồn, kỳ và cách tính trong một dòng ngắn. Phần nào chưa chắc, hãy viết thẳng ra: “số phiên lấy từ công cụ đo lường, chưa trừ lượt truy cập của nội bộ”. Người đọc báo cáo cần biết mức tin cậy để quyết định, và việc ghi rõ giúp bạn không phải đính chính sau.

• Đo lường tính năng sau khi ra mắt

Số này đã đủ tin để đưa vào báo cáo chưa?

Khi đang gấp, bạn có thể dùng bộ câu hỏi dưới đây cho từng con số. Trả lời “có” thì đi tiếp, trả lời “chưa” thì làm việc ghi bên cạnh trước.

Câu cuối dễ bị bỏ qua vì nó không phải câu hỏi về con số. Nhưng câu “tăng nhờ khuyến mãi” mới là thứ người đọc nhớ và dùng để quyết định ngân sách. Dữ liệu cho thấy hai thứ xảy ra cùng lúc không có nghĩa là thứ này gây ra thứ kia.

Ví dụ: tỷ lệ chuyển đổi 36,2% hay 4,4%?

Quay lại Gốm Mộc. Mọi con số ở đây là số minh họa của một shop hư cấu. Sau khi đi qua bốn bước, bạn tìm ra các dữ kiện sau:

• File đơn hàng có 362 dòng, mỗi dòng là một đơn. Trong đó 12 dòng là đơn thử của nội bộ, có đánh dấu ở cột ghi chú. Tuần này không có đơn hủy. Số đơn hoàn tất: 362 trừ 12 bằng 350.
• Tổng tiền của cả 362 dòng là 181 triệu đồng. 12 đơn thử, mỗi đơn 500 nghìn đồng, cộng lại 6 triệu đồng. Doanh thu thật: 175 triệu đồng, khớp với trang quản trị đơn hàng.
• File truy cập có 8.000 phiên trong tuần, trong đó 1.000 phiên có thêm sản phẩm vào giỏ. Để tính tỷ lệ từ giỏ hàng sang đơn, ví dụ này giả định mỗi đơn đến từ một phiên riêng có thêm vào giỏ.
• Team định nghĩa tỷ lệ chuyển đổi là số đơn hoàn tất chia cho số phiên truy cập. Tháng 9, theo cùng định nghĩa, tỷ lệ này là 3,5%.

Lỗi lớn nhất nằm ở mẫu số. Con số 36,2% thật ra là phép chia 362 cho 1.000, gần với một chỉ số khác: tỷ lệ từ giỏ hàng sang đơn. Chỉ số đó có ích, nhưng nó không phải tỷ lệ chuyển đổi theo định nghĩa của team. Nếu báo cáo ghi 36,2%, người đọc sẽ so nó với 3,5% của tháng 9 và nghĩ tỷ lệ tăng hơn 10 lần, trong khi số đúng là 4,4%, và cả con số này cũng chưa so ngang được với cả tháng 9.

Đoạn tóm tắt sau khi sửa: “Tuần lễ gốm (12 đến 18/10/2026): 350 đơn hoàn tất, doanh thu 175 triệu đồng, khớp trang quản trị. Tỷ lệ chuyển đổi 4,4% (350 đơn trên 8.000 phiên). Tỷ lệ từ giỏ hàng sang đơn 35%, giả định mỗi đơn đến từ một phiên. Tháng 9 có tỷ lệ chuyển đổi 3,5%, nhưng tuần này có khuyến mãi và độ dài khác nên chưa so ngang được; cần so với một tuần thường cùng độ dài. Số phiên chưa trừ lượt truy cập của nội bộ.” Đoạn này kém ấn tượng hơn, nhưng mỗi con số đều truy được về dữ liệu nguồn.

Mẫu checklist kiểm tra số liệu trước khi báo cáo

Đây là checklist để dùng cho mỗi bản báo cáo có số do công cụ AI tính, hoặc do bất kỳ ai tính mà bạn chưa tự kiểm. Bạn copy về, dán vào cuối file báo cáo nháp, đánh dấu từng mục trước khi gửi.

Báo cáo: ...
Nguồn dữ liệu (file, hệ thống, ngày xuất): ...
Kỳ: từ ... đến ..., tính theo ngày ...

Đối chiếu
[ ] Số dòng trước khi lọc: ... / sau khi lọc: ... / đã biết vì sao bớt.
[ ] Tổng chính (số đơn, doanh thu...) khớp với hệ thống gốc. Chênh lệch nếu có: ...
[ ] Đã loại dữ liệu thử, dữ liệu nội bộ, dòng trùng.

Định nghĩa
[ ] Mỗi tỷ lệ ghi rõ tử số và mẫu số.
[ ] Định nghĩa khớp với cách team đang dùng.
[ ] Kỳ đem ra so có cùng độ dài, cùng định nghĩa.

Tự tính lại
[ ] Đã tự tính lại 2 đến 3 số quan trọng nhất trong bảng tính và ra cùng kết quả.
[ ] Đã kiểm từng bước của cách tính trên dữ liệu thật, không chỉ đọc lời giải thích.
[ ] Con số hợp lý so với những gì mình biết về sản phẩm. Nếu bất thường, đã tìm ra lý do.
[ ] Không có con số nào mà mình không chỉ ra được dòng, cột nguồn.

Khi viết báo cáo
[ ] Câu kết luận tách rõ quan sát và giả thuyết về nguyên nhân.
[ ] Đã ghi nguồn, kỳ, cách tính cho mỗi số quan trọng.
[ ] Đã ghi chú phần còn chưa chắc.
[ ] Dữ liệu đưa vào công cụ AI nằm trong phạm vi công ty cho phép.

Mục “không có con số nào mà mình không chỉ ra được dòng, cột nguồn” là mục bắt được lỗi bịa số. Nếu một con số chỉ có trong bản tóm tắt mà không có trong dữ liệu, nó chưa được vào báo cáo.

Mục cuối liên quan tới bước trước khi phân tích: dữ liệu nào được phép đưa vào công cụ AI. Bài về dữ liệu không nên đưa vào công cụ AI đi qua phần này chi tiết hơn.

• Dữ liệu nào không nên đưa vào công cụ AI

Những lỗi người mới dễ mắc khi kiểm số liệu AI

• Chỉ kiểm phép tính, không kiểm dữ liệu đầu vào. Phép chia đúng trên tập dữ liệu có đơn thử vẫn cho ra số sai.
• Tin lời giải thích thay vì tự tính lại. Một chuỗi bước trông hợp lý không chứng minh đáp án đúng.
• Hỏi lại công cụ AI rằng số đó đúng chưa, rồi coi câu “đúng rồi” là xác nhận. Xác nhận phải đến từ hệ thống gốc hoặc từ người sở hữu dữ liệu.
• Khi hai nguồn lệch, chọn con số đẹp hơn. Khoảng lệch cho bạn biết nhiều điều về dữ liệu của công ty, hãy tìm hiểu vì sao lệch.
• Bỏ phần ghi chú chưa chắc vì sợ báo cáo trông yếu. Người đọc cần biết mức tin cậy để quyết định đúng.
• Kiểm số rất kỹ nhưng để nguyên câu kết luận về nguyên nhân. Câu đó mới là thứ người đọc mang đi dùng.

Cách kiểm này cũng áp dụng được khi AI tóm tắt phản hồi khách hàng thành các chủ đề kèm số lượng. Con số “22 khách phàn nàn về giao hàng” cũng cần truy được về các phản hồi gốc.

• Dùng AI tóm tắt phản hồi khách hàng

Tóm tắt

• Công cụ AI có thể đưa ra số sai bằng giọng rất chắc chắn, kèm cả lời giải thích trông hợp lý. Giọng văn không phải bằng chứng.
• Bốn bước: đối chiếu tổng với hệ thống gốc, kiểm định nghĩa (tử số, mẫu số, kỳ), tự tính lại 2 đến 3 số quan trọng, ghi rõ nguồn và phần chưa chắc khi báo cáo.
• Với mỗi tỷ lệ, hỏi trước: chia cho cái gì? Sai mẫu số có thể biến 4,4% thành 36,2%.
• Con số nào không truy được về dòng, cột nguồn thì chưa đưa vào báo cáo.
• Tách quan sát với nguyên nhân. Hai việc xảy ra cùng lúc chưa chứng minh việc này gây ra việc kia.

Mình đang soạn thêm các tình huống PO khác theo cùng khung này, kèm mẫu dùng ngay. Nếu bạn muốn nhận khi có bài mới, đăng ký bản tin bên dưới.

• Nhận bài mới qua email

Câu hỏi thường gặp

Có nên tin số liệu do AI phân tích không?

Chỉ dùng sau khi đã kiểm. Công cụ AI có thể đưa ra con số sai bằng giọng rất chắc chắn, nên hãy đối chiếu tổng với hệ thống gốc và tự tính lại vài số quan trọng trước khi đưa vào báo cáo.

Làm sao kiểm tra nhanh một tỷ lệ phần trăm do AI tính?

Xác định tử số là gì, mẫu số là gì, trong kỳ nào, rồi tự chia lại trong bảng tính. Nếu mẫu số không đúng định nghĩa team đang dùng, tỷ lệ đó chưa dùng được.

AI đã giải thích cách tính thì có cần kiểm lại không?

Vẫn cần. NIST ghi nhận mô hình AI đôi khi đưa ra các bước lập luận trông hợp lý dù đáp án sai, nên hãy đối chiếu từng bước với dữ liệu thật.

Nguồn kiểm tra

• NIST AI 600-1: Generative AI Profile
• NN/g: AI Hallucinations, What Designers Need to Know

Bài liên quan

• Dùng Claude cho PO: việc nào giúp được, việc nào phải tự làm: AI soạn nháp rất nhanh. Bài này chỉ ra bốn lỗi cần soi và một checklist để kiểm tra trước khi tài liệu tới tay team.
• AI có thay được Product Owner không? Việc nào vẫn cần PO: Một câu trả lời cân bằng cho người mới làm PO: AI giúp phần soạn, tóm tắt và gợi ý, còn trách nhiệm với giá trị sản phẩm và các quyết định vẫn thuộc về một con người.
• Dữ liệu nào không nên đưa vào công cụ AI ở công ty?: Sáu nhóm dữ liệu PO nên giữ ngoài công cụ AI, cách lọc từng đoạn trước khi dán, ví dụ ẩn danh một khiếu nại và checklist dùng ngay.
• Dùng AI tóm tắt phản hồi khách hàng: chỗ dễ sai và cách kiểm: Công cụ AI gom và gọi tên chủ đề rất nhanh, nhưng có thể bịa trích dẫn, làm mất tần suất và bỏ sót nhóm khách nhỏ. Bài này chỉ ra từng chỗ dễ sai và cách PO kiểm trước khi dùng bản tóm tắt để quyết định.