Dùng AI tóm tắt phản hồi khách hàng: chỗ dễ sai và cách kiểm

Bản tóm tắt nói khách đang đòi thêm ví điện tử

Đây là tình huống minh họa. Bạn là PO của một app đặt bánh online tên Mầm Ngọt (tên hư cấu). Sau hai tuần, phản hồi của khách nằm rải rác ở nhiều nơi: đánh giá trên kho ứng dụng, tin nhắn fanpage, phiếu hỗ trợ của chăm sóc khách hàng và vài email từ khách đặt đơn công ty. Tổng cộng khoảng 120 dòng. Bạn gom lại vào một bảng tính, nhờ một công cụ AI tóm tắt, và trong vài phút có một bản báo cáo gọn gàng.

Bản tóm tắt nói bốn điều. Chủ đề lớn nhất là giao hàng trễ, với 48 lượt nhắc. Khách đang muốn thanh toán bằng ví điện tử, kèm một câu trích nghe rất thật: “App cần thêm ví điện tử ngay, không thì mình bỏ”. Có 25 khách gặp vấn đề với ứng dụng. Và cảm xúc chung của khách là tích cực. Bản tóm tắt không cho biết chủ đề nào đến từ những dòng nào. Quản lý đọc xong, đề nghị đưa tính năng ví điện tử vào backlog (danh sách việc team có thể làm, đã sắp theo thứ tự ưu tiên) cho sprint tới.

Trước khi đồng ý, bạn tìm lại câu trích trong bảng tính. Không có dòng nào như vậy. Những dòng nói về thanh toán lại kể chuyện khác: chuyển khoản xong mà đơn vẫn báo “chờ thanh toán”. Bài này đi qua những chỗ một bản tóm tắt phản hồi do AI làm dễ sai, và cách bạn kiểm trước khi để nó dẫn tới một quyết định.

Vì sao bản tóm tắt phản hồi bằng AI dễ sai?

Tóm tắt phản hồi là việc AI làm nhanh thật. Nó đọc hết 120 dòng trong vài giây, gom những câu giống nhau và đặt cho mỗi nhóm một cái tên dễ hiểu. Cái khó là bản tóm tắt trình bày rất gọn, nên người đọc khó thấy chỗ nào nó đã đoán, đã gộp hay đã bỏ qua.

• AI có thể tự tạo nội dung. NIST, Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ, gọi rủi ro này là “confabulation”: nội dung sai hoặc bịa nhưng được nói một cách tự tin. Với phản hồi khách hàng, nó có thể là một chủ đề không ai nhắc, hoặc một câu trích không ai viết.
• AI có thể bỏ sót và hiểu sai. NN/g, nhóm nghiên cứu trải nghiệm người dùng, viết rằng AI có thể bỏ sót, hiểu sai, thậm chí tự tạo ra insight khi phân tích dữ liệu nghiên cứu, và khuyên xem kết quả gom nhóm của AI là bước làm đầu tiên, không phải bản phân tích cuối.
• Kỹ thuật chỉ giảm được lỗi. Anthropic, công ty làm ra công cụ AI Claude, ghi trong tài liệu của họ rằng các cách giảm “hallucination” không loại bỏ hoàn toàn lỗi, và khuyên luôn kiểm thông tin quan trọng.
• Người đọc dễ tin quá mức. NIST cũng nêu rủi ro con người dựa quá nhiều vào kết quả của máy. Một bảng tóm tắt có số liệu và câu trích trông chắc chắn hơn một bảng tính 120 dòng lộn xộn, dù nó có thể kém đúng hơn.

Với PO, cái giá không nằm ở bản báo cáo. Nó nằm ở chỗ một chủ đề trong bản tóm tắt có thể đi thẳng vào backlog, thành vài tuần làm việc của team. Vì vậy phần cần kiểm kỹ nhất là những chủ đề sẽ dẫn tới quyết định.

AI tóm tắt phản hồi khách hàng dễ sai ở những chỗ nào?

Bảng dưới gom sáu chỗ dễ sai, dấu hiệu để nhận ra và cách kiểm. Bạn không cần kiểm cả sáu cho mọi chủ đề. Hãy dùng nó cho những chủ đề sắp được đem ra bàn ưu tiên.

Dòng cuối là một rủi ro cần để ý, chưa phải một kết quả đã đo. Bài này không có số liệu về việc AI đọc tiếng Việt đời thường đúng hay sai bao nhiêu. NIST có nêu rủi ro chất lượng của mô hình chênh lệch giữa các nhóm và các ngôn ngữ. Với những câu như “ship nhanh ghê, đặt sáng tới chiều mới có”, ý mỉa mai nằm ở bối cảnh, nên người đọc tay dễ nhận ra hơn một nhãn tự động.

Cách kiểm tra bản tóm tắt phản hồi do AI làm

Một cách làm là đi qua bốn bước. AI giúp nhanh ở bước 2. Ba bước còn lại là việc của PO, và bước 1 quyết định bạn có kiểm được hay không.

Bước 1, chuẩn bị dữ liệu. Đây là bước dễ bị bỏ qua vì nó không có gì thú vị. Mỗi dòng phản hồi cần một mã dòng để truy lại, một mã khách để đếm số người, cột kênh (kho ứng dụng, fanpage, phiếu hỗ trợ, email) và cột nhóm khách nếu có (khách mới, khách quen, khách đặt đơn công ty). Đồng thời ẩn danh: bỏ tên, số điện thoại, email, địa chỉ, mã đơn. Mã khách là một bí danh: bảng đối chiếu mã với người thật nằm lại trong hệ thống của công ty, không đi cùng dữ liệu vào công cụ AI. Nhờ vậy chăm sóc khách hàng vẫn liên hệ lại được khi cần. Với kênh không có mã khách nội bộ, như đánh giá trên kho ứng dụng hay tin nhắn fanpage, có thể đếm theo tài khoản người viết và ghi rõ giới hạn: một người có thể dùng nhiều tài khoản. Và chỉ đưa dữ liệu vào công cụ AI khi quy định của công ty cho phép.

Bước 2, để AI gom nháp. Một bản tóm tắt dùng được phải cho biết mỗi chủ đề đến từ những dòng nào, qua mã dòng. Tài liệu của Anthropic cũng gợi ý hướng này ở mức nguyên tắc: bám vào trích dẫn nguyên văn từ tài liệu gốc và rút lại những ý không tìm được trích dẫn hỗ trợ. Một chủ đề không kèm mã dòng là một chủ đề bạn không kiểm được.

Bước 3, kiểm từng chủ đề sẽ dẫn tới quyết định. Mở các dòng gốc theo mã, đọc một mẫu. Với chủ đề nhỏ thì đọc hết. Hỏi ba câu: các dòng này có thật sự nói cùng một vấn đề không, có bao nhiêu người chứ không phải bao nhiêu lượt, và họ là ai, qua kênh nào. Câu trích nào được dùng trong báo cáo thì tìm đúng nguyên văn trong dữ liệu.

Bước 4, so với một lần đọc tay. Tự đọc một mẫu nhỏ chọn ngẫu nhiên, ví dụ vài chục dòng, và ghi chủ đề theo cách hiểu của bạn trước khi nhìn lại bản tóm tắt. Nếu lần đọc tay thấy một chủ đề mà AI không nêu, hoặc nhãn cảm xúc lệch nhiều, đó là tín hiệu cần đọc kỹ hơn ở phần đó. Số dòng cụ thể không có chuẩn chung. Hãy chọn sao cho mỗi kênh đều có vài dòng trong mẫu.

Cách đếm số người ở bước 3 giống cách tổng hợp phỏng vấn người dùng: gom các dòng giống nhau, đếm người kể, không đếm số lần nhắc. Nếu bản tóm tắt có con số phần trăm hay xu hướng theo thời gian, hãy kiểm thêm cách tính như với mọi số liệu do AI phân tích.

• Phỏng vấn người dùng nên hỏi gì
• Kiểm tra số liệu do AI phân tích

Chủ đề nào đủ chắc để đưa vào quyết định?

Bộ lọc dưới đây dùng cho từng chủ đề trong bản tóm tắt. Trả lời “có” thì đi tiếp. Trả lời “không” thì làm việc ghi bên cạnh trước.

Đi hết bộ lọc chưa có nghĩa là phải làm ngay. Nó chỉ có nghĩa chủ đề đó đủ đáng tin để đem ra so với những việc khác trong backlog. Quyết định làm hay không vẫn dựa vào mục tiêu, chi phí và những việc đang chờ.

• Ưu tiên backlog khi việc nào cũng gấp

Ví dụ: kiểm lại bản tóm tắt của Mầm Ngọt

Quay lại tình huống đầu bài. Bản tóm tắt ban đầu không có mã dòng nguồn, nên theo bộ lọc ở trên chưa chủ đề nào dùng được để quyết định. PO làm lại từ bước 1: thêm mã dòng, mã khách, cột kênh và nhóm khách, ẩn danh, rồi cho gom nhóm lại để mỗi chủ đề có mã các dòng nguồn. Sau đó PO kiểm từng chủ đề và đọc tay một mẫu. Bảng dưới đặt bản tóm tắt ban đầu cạnh những gì PO thấy sau bốn bước đó. Dữ liệu là bộ phản hồi hư cấu của app Mầm Ngọt, mọi con số đều là số liệu minh họa.

Sau khi kiểm, câu chuyện khác hẳn. Không có bằng chứng nào cho tính năng ví điện tử. Thứ đáng đem ra bàn là lỗi trạng thái thanh toán, lỗi nhận mã OTP và chuyện giao trễ, mỗi cái có số người, bối cảnh và mã dòng để ai cũng mở lại được. Nhóm khách đặt đơn công ty tuy nhỏ nhưng được ghi lại thay vì biến mất.

Để ý rằng mỗi ô ở phần “Bản đã kiểm” đều theo đúng các bước của bài: có số người, có bối cảnh khi cần, có mã dòng nguồn. Không ô nào dựa vào một câu trích chưa đối chiếu. Sau khi team sửa những lỗi này, bạn vẫn nên đo xem số phản hồi cùng loại có giảm thật không, thay vì chỉ dựa vào cảm giác.

• Đo lường tính năng sau khi ra mắt

Dữ liệu phản hồi nào không nên đưa vào công cụ AI?

Phản hồi khách hàng chứa nhiều thông tin cá nhân hơn bạn nghĩ: tên, số điện thoại trong tin nhắn, địa chỉ giao hàng, mã đơn, đôi khi cả ảnh chụp màn hình có thông tin tài khoản. NIST xếp quyền riêng tư dữ liệu vào nhóm rủi ro của AI tạo sinh, bao gồm cả việc thông tin bị lộ hoặc bị nhận diện ngược lại.

• Hỏi quy định của công ty trước. Công cụ nào được dùng, loại dữ liệu nào được đưa vào, ai duyệt. Chưa rõ thì hỏi quản lý trực tiếp, bộ phận pháp chế hoặc IT.
• Ẩn danh trước khi tóm tắt, không phải sau. Thay tên và thông tin liên lạc bằng mã khách, bỏ mã đơn và địa chỉ.
• Đừng tự suy ra công cụ AI lưu hay dùng dữ liệu thế nào. Điều khoản của nhà cung cấp có thể thay đổi, nên hãy xem quy định của công ty và điều khoản hiện hành của nhà cung cấp.
• Tuân theo quy định về bảo vệ dữ liệu cá nhân mà công ty đang áp dụng. Bài này không phải tư vấn pháp lý.

• Dữ liệu nào không nên đưa vào công cụ AI

Mẫu phiếu kiểm tra bản tóm tắt phản hồi do AI làm

Phiếu dưới đây dùng khi bạn nhận một bản tóm tắt phản hồi có AI tham gia, của chính bạn hoặc của người khác gửi sang. Phần đầu điền một lần cho cả bộ dữ liệu. Phần giữa lặp lại cho mỗi chủ đề sẽ dẫn tới quyết định. Copy về, thay phần trong ngoặc vuông bằng nội dung của bạn.

BỘ DỮ LIỆU
Nguồn và kênh: [kho ứng dụng / fanpage / phiếu hỗ trợ / email / khác]
Khoảng thời gian: [từ ngày] đến [ngày]
Số dòng phản hồi: [số]  |  Số khách khác nhau: [số]
[ ] Đã ẩn danh: không còn tên, số điện thoại, email, địa chỉ, mã đơn
[ ] Quy định của công ty cho phép đưa loại dữ liệu này vào công cụ đã dùng
[ ] Mỗi dòng có mã dòng, mã khách, kênh và nhóm khách (nếu có)

TỪNG CHỦ ĐỀ (lặp lại cho mỗi chủ đề sẽ dẫn tới quyết định)
Tên chủ đề: [tên]
Số khách: [số]  |  Số lượt nhắc: [số]
Kênh và nhóm khách: [ví dụ: khách quen, qua phiếu hỗ trợ]
Mã các dòng nguồn: [danh sách mã]
Số dòng gốc đã tự đọc: [số] trên [tổng số dòng của chủ đề]
[ ] Các dòng đã đọc nói cùng một vấn đề, không cần tách
[ ] Mỗi câu trích dùng trong báo cáo đã tìm thấy nguyên văn trong dữ liệu
[ ] Đã xem số lượt nhắc của từng khách; khách nhắn nhiều lần được ghi riêng
Kết luận: [dùng / tách / bỏ / chưa xác minh]

TOÀN BẢN TÓM TẮT
[ ] Đã tự đọc tay một mẫu ngẫu nhiên có đủ các kênh: [số] dòng
[ ] Lần đọc tay không thấy chủ đề quan trọng nào bị thiếu (nếu có, ghi ở đây: [chủ đề])
[ ] Đã đọc lướt các dòng không thuộc chủ đề nào và các kênh ít dòng
[ ] Nhãn cảm xúc đã đối chiếu với mẫu đọc tay; số dòng bị gắn sai: [số]
[ ] Nhóm khách nhỏ hoặc ý kiến trái chiều được ghi lại, kể cả khi ít người
[ ] Con số phần trăm và xu hướng (nếu có) đã kiểm cách tính

Người kiểm: [tên]  |  Ngày kiểm: [ngày]

Ô “số lượt nhắc của từng khách” bắt đúng lỗi giao hàng trễ trong ví dụ: một người nhắn nhiều lần có thể làm một chủ đề trông lớn hơn thực tế. Ô “chưa xác minh” cũng là một kết luận hợp lệ. Nó nói rõ cho người đọc báo cáo biết đâu là chỗ chưa nên dựa vào.

Những lỗi dễ mắc khi dùng AI tóm tắt phản hồi

• Dùng câu trích trong bản tóm tắt mà không tìm lại nguyên văn. Một câu trích sai có thể thuyết phục hơn mười dòng phản hồi đúng.
• Đếm lượt nhắc thay vì số người. Một khách bực bội nhắn nhiều lần có thể biến một sự cố thành “xu hướng”.
• Chấp nhận nhãn quá rộng. “Trải nghiệm chưa tốt” không cho team biết phải sửa gì.
• Chỉ đọc những chủ đề lớn. Nhóm khách nhỏ, kênh ít dòng và ý kiến trái chiều dễ biến mất trong bản tóm tắt.
• Tin tỷ lệ cảm xúc tự động. Mỉa mai, viết tắt và tiếng lóng có thể bị đọc ngược nghĩa.
• Đưa dữ liệu chưa ẩn danh vào công cụ AI, hoặc dùng công cụ mà công ty chưa cho phép.
• Bỏ qua việc tự đọc. Nếu bạn chưa từng đọc một dòng phản hồi gốc nào, bạn chưa thật sự biết khách đang nói gì.

Tóm tắt

• AI gom nhóm và gọi tên chủ đề nhanh, nhưng có thể bịa chủ đề hoặc câu trích, làm mất tần suất, gộp nhiều vấn đề, bỏ sót nhóm nhỏ, mất bối cảnh và đọc sai cảm xúc.
• Chuẩn bị dữ liệu trước: ẩn danh, mỗi dòng có mã dòng, mã khách, kênh và nhóm khách.
• Mỗi chủ đề sẽ dẫn tới quyết định phải truy được về dòng gốc, đã đọc mẫu bản gốc, đã đếm số người và khớp với một lần đọc tay nhỏ.
• Chủ đề không truy được về dữ liệu thì bỏ hoặc ghi là chưa xác minh. Quyết định cuối vẫn là của PO.

Bài viết không liên kết với Anthropic. Claude là nhãn hiệu của Anthropic, PBC.

Mình đang soạn thêm các tình huống PO khác theo cùng khung này, kèm mẫu dùng ngay. Nếu bạn muốn nhận khi có bài mới, đăng ký bản tin bên dưới.

• Nhận bài mới qua email

Câu hỏi thường gặp

AI có tóm tắt phản hồi khách hàng chính xác không?

AI gom nhóm và gọi tên chủ đề nhanh, nhưng có thể bỏ sót, hiểu sai hoặc tự tạo ra chủ đề và câu trích không có trong dữ liệu. Bản tóm tắt của AI nên được xem là bản nháp đầu tiên, chưa phải kết luận.

Làm sao kiểm tra bản tóm tắt phản hồi do AI làm?

Với mỗi chủ đề sẽ dẫn tới quyết định, hãy truy về các dòng phản hồi gốc, đọc một mẫu bản gốc, đếm số người thay vì số lượt nhắc, và so với một lần tự đọc tay một mẫu nhỏ. Chủ đề nào không truy được về dữ liệu gốc thì bỏ hoặc ghi là chưa xác minh.

Có nên đưa phản hồi khách hàng vào công cụ AI không?

Chỉ khi quy định của công ty cho phép, và nên ẩn danh trước: bỏ tên, số điện thoại, email, mã đơn và mọi thông tin nhận diện được khách. Chưa rõ quy định thì hỏi bộ phận pháp chế hoặc IT trước.

Nguồn kiểm tra

• NIST AI 600-1: Generative AI Profile
• Anthropic: Reduce hallucinations
• NN/g: Accelerating Research with AI

Bài liên quan

• Dùng Claude cho PO: việc nào giúp được, việc nào phải tự làm: AI soạn nháp rất nhanh. Bài này chỉ ra bốn lỗi cần soi và một checklist để kiểm tra trước khi tài liệu tới tay team.
• AI có thay được Product Owner không? Việc nào vẫn cần PO: Một câu trả lời cân bằng cho người mới làm PO: AI giúp phần soạn, tóm tắt và gợi ý, còn trách nhiệm với giá trị sản phẩm và các quyết định vẫn thuộc về một con người.
• Dữ liệu nào không nên đưa vào công cụ AI ở công ty?: Sáu nhóm dữ liệu PO nên giữ ngoài công cụ AI, cách lọc từng đoạn trước khi dán, ví dụ ẩn danh một khiếu nại và checklist dùng ngay.
• Số liệu do AI phân tích: kiểm tra gì trước khi báo cáo: Cách PO kiểm tra con số do công cụ AI tính ra: đối chiếu tổng, soi mẫu số và kỳ, tự tính lại vài số quan trọng, rồi ghi rõ phần chưa chắc trong báo cáo.