A/A Testing

Tôi chụp bức ảnh này trong một bãi đỗ xe. Hai chiếc xe giống nhau. Không có gì để so sánh.

Đứng cạnh nhau, chúng không gợi ra câu hỏi nào. Nhưng tôi vẫn nhìn. Vẫn tìm. Phản xạ đó rất quen: như game đi tìm khác biệt.

Trong product, người ta gọi phản xạ này là A/A testing. Hai nhóm user nhận chính xác cùng một trải nghiệm, rồi đo xem có gì khác nhau không.

Kết quả thường là: không. Không uplift. Không insight. Không câu chuyện, không tranh luận.

Nó không giúp chọn hướng đi. Không giúp thuyết phục ai. Nhưng nó đang nói một điều rất cụ thể: hệ thống đo không tự tạo ra vấn đề.

Hồi ở Tiki, có lần tôi nhìn dashboard A/B thấy CR cứ tăng đều. Mừng lắm. CR tốt quá. Team cũng phấn khởi. Nhưng too good to be true. Tôi đào sâu hơn thì phát hiện hệ thống tracking đang đếm sai, event bị bắn trùng. Số đẹp, nhưng không thật.

Nếu trước đó chạy A/A test, sẽ thấy ngay: hai nhóm giống nhau mà metric đã khác, nghĩa là hệ thống đo có vấn đề. Không cần đợi đến lúc number “quá đẹp” mới nghi ngờ.

Đó là cái nguy hiểm nhất trong product: sai mà tự tin. Nhìn đâu cũng thấy pattern, kể cả khi không có pattern nào. Team nhìn data, thấy số nhúc nhích, kết luận ngay, ship luôn. A/A testing là cách chống lại phản xạ đó. Không phải tìm thứ mới. Mà ngăn mình tự lừa mình.

Hai chiếc xe này không giúp tôi chọn chiếc nào. Chúng chỉ đứng đó, giống nhau, và không yêu cầu được giải thích. Với nhiều hệ thống, chừng đó là đủ.