Hướng dẫn của nhà tiếp thị để hiểu ý nghĩa thống kê

Bạn đã bao giờ trình bày kết quả từ một chiến dịch tiếp thị và được hỏi hay Nhưng những kết quả này có ý nghĩa thống kê không? Nếu bạn cảm thấy lén lút, bạn có thể đã trả lời trên Chà, kết quả khác với những gì chúng ta thấy trước đây. Điều đó có đáng kể không?

Bỏ qua một bên, với tư cách là nhà tiếp thị dựa trên dữ liệu, chúng tôi không chỉ được yêu cầu đo lường kết quả của các chiến dịch tiếp thị mà còn để chứng minh tính hợp lệ của dữ liệu.

Mới gần đây, tôi có một cuộc gọi với một khách hàng hỏi điều đó chính xác. Hai nhà tiếp thị đã tạo ra một phiên bản của trang đích và sử dụng chức năng thử nghiệm A / B của SeoAnnuaire để thu thập kết quả. Họ đã có một cuộc cá cược thân thiện về việc ai sẽ thắng. Sau vài ngày, họ đã có kết quả; một người có tỷ lệ chuyển đổi cao hơn một chút, nhưng họ không biết liệu kết quả có ý nghĩa thống kê hay không. (Tôi sẽ đoán rằng đó là người có tỷ lệ chuyển đổi thấp hơn đã hỏi câu hỏi này.) Tôi yêu một cuộc thi thân thiện - gia đình tôi vẫn kể câu chuyện về cách tôi thách thức anh trai tôi tham gia một cuộc thi lột táo để làm cho mọi thứ thú vị, một trong những Lễ Tạ ơn. Không cần phải nói, tôi rất vui khi giúp giải quyết vụ cá cược này.

Mặc dù có một số công cụ miễn phí ngoài kia để tính toán ý nghĩa thống kê cho bạn (SeoAnnuaire thậm chí còn có một công cụ ở đây), để thực sự hiểu những công cụ này đang nói với bạn, thật hữu ích khi hiểu những gì họ đang tính toán và ý nghĩa của nó. Chúng tôi sẽ tìm hiểu về các con số bằng cách sử dụng một ví dụ cụ thể dưới đây để giúp bạn hiểu ý nghĩa thống kê.

Cách tính ý nghĩa thống kê

1. Xác định những gì bạn muốn kiểm tra

Đầu tiên, quyết định những gì bạn muốn kiểm tra. Điều này có thể là so sánh tỷ lệ chuyển đổi trên hai trang đích với các hình ảnh khác nhau, tỷ lệ nhấp qua email với các dòng chủ đề khác nhau hoặc tỷ lệ chuyển đổi trên các nút kêu gọi hành động khác nhau ở cuối bài đăng trên blog. Số lượng lựa chọn là vô tận. Lời khuyên của tôi sẽ là giữ cho nó đơn giản; chọn một phần nội dung mà bạn muốn tạo hai biến thể khác nhau và quyết định mục tiêu của bạn là gì - tỷ lệ chuyển đổi tốt hơn hoặc nhiều lượt xem là nơi tốt để bắt đầu.

Bạn chắc chắn có thể kiểm tra các biến thể bổ sung hoặc thậm chí tạo thử nghiệm đa biến, nhưng với mục đích của ví dụ này, chúng tôi sẽ sử dụng hai biến thể của trang đích với mục tiêu là tăng tỷ lệ chuyển đổi. Nếu bạn muốn tìm hiểu thêm về thử nghiệm A / B và thử nghiệm đa biến, hãy xem "Sự khác biệt quan trọng giữa thử nghiệm A / B và thử nghiệm đa biến".

2. Bắt đầu thu thập dữ liệu của bạn

Bây giờ bạn đã xác định những gì bạn muốn kiểm tra, đã đến lúc bắt đầu thu thập dữ liệu của bạn. Vì bạn có thể đang chạy thử nghiệm này để xác định phần nội dung nào là tốt nhất để sử dụng trong tương lai, bạn sẽ muốn kéo một cỡ mẫu. Đối với trang đích, điều đó có thể có nghĩa là chọn một lượng thời gian nhất định để chạy thử nghiệm của bạn (ví dụ: làm cho trang của bạn tồn tại trong 3 ngày). Đối với một cái gì đó như email, bạn có thể chọn một mẫu ngẫu nhiên trong danh sách của mình để gửi ngẫu nhiên các biến thể của email đến. Xác định kích thước mẫu phù hợp có thể khó khăn và kích thước mẫu phù hợp sẽ khác nhau giữa mỗi thử nghiệm. Theo nguyên tắc chung, bạn muốn giá trị mong đợi cho mỗi biến thể lớn hơn 5. (Chúng tôi sẽ bao gồm các giá trị dự kiến ​​tiếp theo.)

3. Tính kết quả Chi-Squared

Có một số bài kiểm tra thống kê khác nhau mà bạn có thể chạy để đo lường mức độ quan trọng dựa trên dữ liệu của bạn. Việc xác định loại nào tốt nhất để sử dụng tùy thuộc vào những gì bạn đang cố kiểm tra và loại dữ liệu bạn đang thu thập. Trong hầu hết các trường hợp, bạn sẽ sử dụng kiểm tra Chi-Squared vì dữ liệu rời rạc. Rời rạc là một cách thú vị để nói rằng có một số lượng hữu hạn các kết quả có thể được tạo ra. Ví dụ: khách truy cập sẽ chuyển đổi hoặc không chuyển đổi; không có mức độ chuyển đổi khác nhau cho một khách truy cập.

Trước khi tôi bắt đầu thu thập dữ liệu, tôi thấy hữu ích khi nêu giả thuyết của mình khi bắt đầu thử nghiệm và xác định mức độ tự tin mà tôi muốn kiểm tra. Vì tôi đang thử nghiệm trang đích và muốn xem liệu trang nào hoạt động tốt hơn, giả thuyết của tôi là có mối quan hệ giữa trang đích mà khách truy cập nhận được và tỷ lệ chuyển đổi của họ . Bạn có thể kiểm tra dựa trên mức độ tự tin khác nhau (đôi khi được gọi là alpha của bài kiểm tra). Nếu bạn muốn yêu cầu đạt được ý nghĩa thống kê cao, thì alpha của bạn sẽ càng thấp. Bạn có thể đã thấy ý nghĩa thống kê được báo cáo về độ tin cậy. Ví dụ: "Kết quả có ý nghĩa thống kê với độ tin cậy 95%." Trong kịch bản này, alpha là 0, 05 (độ tin cậy được tính bằng 1 trừ alpha), nghĩa là có một trong 20 khả năng xảy ra lỗi trong mối quan hệ đã nêu.

Sau khi tôi thu thập dữ liệu, tôi đặt nó vào một biểu đồ để dễ tổ chức. Vì tôi đang thử nghiệm 2 biến thể khác nhau (A và B) và có 2 kết quả có thể xảy ra (đã chuyển đổi, không chuyển đổi), tôi sẽ có biểu đồ 2x2. Tôi sẽ tổng cộng từng cột và hàng để tôi có thể dễ dàng xem kết quả tổng hợp.

Bây giờ, tôi sẽ tính toán các giá trị dự kiến ​​là gì. Trong ví dụ trên, nếu không có mối quan hệ nào giữa những gì khách truy cập trang đích nhìn thấy và tỷ lệ chuyển đổi của họ, chúng tôi sẽ thấy tỷ lệ chuyển đổi giống nhau với cả phiên bản A và phiên bản B. trong tổng số 4.935 khách, tương đương 39% khách. Để tính tần suất dự kiến ​​cho từng phiên bản của trang đích giả sử không có sự khác biệt, chúng ta có thể nhân tổng hàng cho ô đó với tổng cột cho ô đó và chia cho tổng số khách truy cập. Trong ví dụ này, để tìm giá trị chuyển đổi dự kiến ​​trên phiên bản A, tôi sẽ sử dụng phương trình sau: (1945 * 2401) / 4935 = 946

Để tính Chi-Square, tôi so sánh các tần số quan sát được với các tần số dự kiến. So sánh này được thực hiện bằng cách trừ đi quan sát từ dự kiến, bình phương kết quả, và sau đó chia nó cho giá trị của tần số dự kiến. Về cơ bản, tôi đang cố gắng xem kết quả thực tế của tôi khác với những gì chúng ta có thể mong đợi. Bình phương sự khác biệt khuếch đại tác động của sự khác biệt và chia cho những gì được mong đợi sẽ bình thường hóa kết quả. Phương trình trông như thế này: (dự kiến ​​- quan sát) ^ 2) / dự kiến

Sau đó tôi tổng hợp bốn kết quả để có được số Chi-Square. Trong trường hợp này, nó là 0, 9. Để xem tỷ lệ chuyển đổi cho các trang đích của tôi có khác biệt với ý nghĩa thống kê hay không, tôi so sánh giá trị này với giá trị từ bảng phân phối Chi-Squared dựa trên alpha của tôi (trong trường hợp này là 0, 05) và mức độ tự do. Độ tự do dựa trên số lượng biến bạn có. Với bảng 2x2 như trong ví dụ này, mức độ tự do là 1.

Trong trường hợp này, giá trị Chi-Square sẽ cần phải bằng hoặc vượt quá 3, 84 để kết quả có ý nghĩa thống kê. Vì 0, 95 nhỏ hơn 3, 84, kết quả của tôi không khác biệt về mặt thống kê. Điều này có nghĩa là không có mối quan hệ giữa phiên bản trang đích mà khách truy cập nhận được và tỷ lệ chuyển đổi có ý nghĩa thống kê.

Tại sao ý nghĩa thống kê là đáng kể

Bạn có thể tự hỏi tại sao điều này lại quan trọng nếu bạn chỉ có thể sử dụng một công cụ miễn phí để chạy phép tính. Hiểu cách tính ý nghĩa thống kê có thể giúp bạn xác định cách kiểm tra kết quả tốt nhất từ ​​các thử nghiệm của riêng bạn. Nhiều công cụ sử dụng tỷ lệ tin cậy 95%, nhưng đối với các thử nghiệm của bạn, có thể sử dụng tỷ lệ tin cậy thấp hơn nếu bạn không cần thử nghiệm nghiêm ngặt như vậy. Hiểu các tính toán cơ bản cũng giúp bạn giải thích lý do tại sao kết quả của bạn có thể có ý nghĩa đối với những người chưa quen với thống kê.

Nếu bạn muốn tải xuống bảng tính mà tôi đã sử dụng trong ví dụ này để bạn có thể tự mình xem các phép tính, bấm vào đây.

Tín dụng hình ảnh: Caitlinator

Bài TrướC «
TiếP Theo Bài ViếT