ธุรกิจมักพบสถานการณ์แบบนี้:
Survey บอกว่าลูกค้าพอใจ แต่ Complaint เพิ่มขึ้น

ทีม Sales บอกว่าลูกค้าสนใจ Product ใหม่ แต่ Conversion ต่ำ
Google Analytics บอก Traffic โต แต่ยอดขายไม่โต

Interview บอกว่า Price เป็น Pain Point แต่ Survey พบว่าคนให้ความสำคัญกับ Service มากกว่า
เมื่อข้อมูลไม่ตรงกัน ปฏิกิริยาที่เกิดขึ้นง่ายคือเลือกเชื่อข้อมูลชุดที่ดู “แข็งกว่า” หรือข้อมูลที่ตรงกับสิ่งที่เราเชื่ออยู่แล้ว
แต่ความขัดแย้งของข้อมูลอาจเป็น Insight ในตัวมันเอง
ก่อนตัดสินว่าข้อมูลชุดใดผิด ควรถามก่อนว่า Definition, Population, Time Period, Measurement และ Context ของสองชุดเหมือนกันจริงหรือไม่ เพราะ Evidence ที่ดูเหมือนขัดกันจำนวนมากเกิดจากการเปรียบเทียบคนละฐาน มากกว่าการที่ข้อมูลชุดหนึ่งผิดทั้งหมด

ข้อมูลที่ขัดกันอาจไม่ได้มีชุดหนึ่งผิด แต่อาจกำลังตอบคนละคำถาม
เมื่อข้อมูลสองชุดให้คำตอบไม่ตรงกัน สิ่งแรกที่ควรทำไม่ใช่เลือกชุดที่มี Sample ใหญ่กว่า หรือเลือกข้อมูลที่ตรงกับประสบการณ์ของผู้บริหาร แต่ควรตรวจว่าเปรียบเทียบสิ่งเดียวกันหรือไม่
ตัวอย่างเช่น Survey อาจบอกว่า 80% ของลูกค้า “ตั้งใจซื้อซ้ำ” ขณะที่ Transaction Data พบเพียง 45% กลับมาซื้อภายใน 90 วัน ตัวเลขนี้ไม่จำเป็นต้องขัดแย้งกัน เพราะ Purchase Intention กับ Actual Repeat Purchase เป็นคนละ Outcome และช่วงเวลาที่ใช้วัดก็อาจต่างกัน
ในงาน Survey แม้ใช้ Sample ที่ดี ผลยังได้รับอิทธิพลจาก Question Wording, Question Order และ Survey Mode ได้ Pew Research Center ระบุว่าการเปลี่ยนถ้อยคำหรือวิธีเก็บข้อมูลสามารถทำให้คำตอบแตกต่างกันได้อย่างมีนัยสำคัญในบางคำถาม.
หลักที่ใช้ได้คือ: Compare → Diagnose → Weight → Explain → Decide

ขั้นแรก ตรวจว่าข้อมูลสองชุดกำลังตอบคำถามเดียวกันหรือไม่

สมมติ Survey บอกว่า: 80% ของลูกค้า “พอใจกับบริการ”
ขณะที่ CRM บอกว่า: Retention = 60%
เรายังไม่ควรสรุปว่า Survey ผิด
เพราะ: Satisfaction ≠ Retention

Satisfaction เป็น Evaluation หรือ Attitude ต่อ Experience
Retention เป็น Behavior ที่เกิดขึ้นจริงในช่วงเวลาหนึ่ง
ลูกค้าสามารถพอใจและยังเลิกใช้ได้จาก Price, Competitor, Changing Need, Convenience หรือเหตุผลอื่น

ดังนั้นก่อนเปรียบเทียบตัวเลข ให้เขียนสิ่งที่แต่ละ Metric วัดออกมาเป็นประโยค
Data A measures: ______
Data B measures: ______
ถ้าเติมแล้วความหมายต่างกัน ปัญหาอาจไม่ใช่ Evidence Conflict แต่เป็น Construct Mismatch

ตรวจ Definition ก่อนตรวจตัวเลข

คำเดียวกันในสองระบบอาจหมายถึงคนละอย่าง
ตัวอย่าง:
ระบบ A กำหนด Active Customer = ซื้ออย่างน้อย 1 ครั้งใน 30 วัน
ระบบ B กำหนด Active Customer = Login อย่างน้อย 1 ครั้งใน 30 วัน

ทั้งสองรายงาน: Active Customers = 10,000 และ 18,000
ตัวเลขไม่ตรงกันไม่ใช่เรื่องน่าแปลก เพราะ Definition ต่างกัน

ตัวอย่างอื่น:
Revenue รวม VAT หรือไม่?
Customer นับเป็น Person หรือ Account?
Churn หมายถึง Cancel Subscription หรือไม่มี Transaction 90 วัน?
New Customer หมายถึง First Purchase หรือ First Registration?
Conversion ใช้ Visitors, Sessions หรือ Leads เป็น Denominator?
ก่อน Reconcile Data ควรทำ Definition Check เสมอ

ตรวจ Denominator เพราะเปอร์เซ็นต์เดียวกันอาจสร้างภาพต่างกันมาก

สมมติทีมหนึ่งรายงาน: Complaint Rate = 10%
แต่ข้อมูลอีกชุดรายงาน: Complaint Rate = 2%
ก่อนถามว่าใครผิด ให้ถามว่าหารด้วยอะไร

10% อาจหมายถึง: Complaints / Customers who contacted Support
ขณะที่ 2% อาจหมายถึง: Complaints / All Transactions

ทั้งสองตัวเลขสามารถถูกพร้อมกันได้ เปอร์เซ็นต์ไม่มีความหมายครบถ้วนถ้าไม่รู้ Base
ดังนั้นทุก Percentage สำคัญควรถามต่อว่า:
Numerator คืออะไร?
Denominator คืออะไร?
Population ไหน?
Time Period ไหน?

ตรวจ Population ว่ากำลังพูดถึงคนกลุ่มเดียวกันหรือไม่

สมมติ Online Survey พบ: 70% ให้คะแนน Brand สูง
แต่ In-store Interview พบ: 45%
อาจไม่ได้หมายความว่า Method หนึ่งผิด

Online Sample อาจมี:
Existing Digital Customers มากกว่า
ลูกค้าอายุน้อยกว่า
สมาชิก Loyalty Program มากกว่า
ขณะที่ In-store Sample อาจมาจาก:
Walk-in Customers
บาง Location
บางช่วงเวลา

การสรุปผลจึงต้องเริ่มจาก: “ข้อมูลนี้สะท้อนใคร?”
ไม่ใช่เพียง: “Sample Size เท่าไร?”
Sample ใหญ่แต่ผิด Target Population ก็ไม่ได้แก้ปัญหา Representativeness

ตรวจ Time Period ก่อนสรุปว่าข้อมูลขัดกัน

ข้อมูลสองชุดอาจถูกต้องในคนละช่วงเวลา
ตัวอย่าง:
Survey เดือนมกราคม:
ลูกค้าพอใจกับ Delivery
‍
Operational Data เดือนเมษายน:
Delivery Delay เพิ่มสูงขึ้น
‍
ถ้าช่วงกุมภาพันธ์มีการเปลี่ยน Logistics Partner การเปรียบเทียบสองชุดโดยไม่ดู Event Timeline จะสร้างข้อสรุปผิดได้
ควรตรวจอย่างน้อย:

• Data Collection Date
• Fieldwork Period
• Transaction Period
• Campaign Period
• Product / Price Changes
• Seasonality
• Operational Changes
• External Events

Event Date กับ Publication Date ก็ไม่ใช่สิ่งเดียวกัน
รายงานที่เผยแพร่ล่าสุดอาจใช้ข้อมูลจากปีที่แล้ว

ถ้าเป็น Survey ให้ตรวจ Question Wording และ Survey Mode

สอง Survey สามารถถามเรื่องเดียวกันแล้วได้คำตอบต่างกัน เพราะวิธีถามต่างกัน
ตัวอย่าง:
“คุณพอใจกับบริการของเราหรือไม่?” ไม่เหมือนกับ: “เมื่อพิจารณา Waiting Time, Staff และ Value for Money โดยรวมแล้ว คุณพอใจกับบริการเพียงใด?”

บริบทที่ให้ก่อนถามสามารถเปลี่ยนสิ่งที่ Respondent ใช้ในการประเมิน
Pew Research Center ระบุว่าแม้ความแตกต่างของ Question Wording เพียงเล็กน้อยก็สามารถส่งผลต่อคำตอบ และ Question Order ก็สามารถมีอิทธิพลต่อคำตอบภายหลังได้.
Survey Mode ก็สำคัญ
ผู้ตอบอาจตอบเรื่อง Sensitive Topics ต่างกันเมื่อพูดกับ Interviewer เทียบกับการตอบ Online ด้วยตัวเอง Pew พบ Mode Effects ในการทดลองเปรียบเทียบ Phone กับ Web โดยความแตกต่างขึ้นกับประเภทคำถามและ Context.
ดังนั้น: Same Topic ≠ Same Measurement

แยก Stated Data ออกจาก Behavioral Data

ลูกค้าบอกว่า: “Promotion ไม่มีผลต่อการตัดสินใจ”
แต่ Transaction Data พบว่าการซื้อของลูกค้ารายนี้กระจุกในช่วง Promotion
ข้อมูลสองชุดนี้ไม่ควรถูกบังคับให้เลือกว่าชุดใด “จริง”

Survey หรือ Interview อาจสะท้อน:
Perception
Memory
Motivation ที่ลูกค้ารับรู้
สิ่งที่ลูกค้าพร้อมจะบอก

Behavioral Data สะท้อน:
สิ่งที่เกิดขึ้นจริงในระบบ
แต่ก็ไม่ได้บอก Motivation โดยตรง

Transaction Data บอกได้ว่า: ลูกค้าซื้อตอนไหน
แต่ยังไม่พิสูจน์ว่า: Promotion เป็น Cause ของการซื้อ

ลูกค้าอาจซื้อช่วงเดียวกันเพราะ Payday, Seasonality หรือ Demand ที่เกิดอยู่แล้ว
ข้อมูลสองแบบจึงมี Strength คนละด้าน

ข้อมูลจาก Interview กับ Survey ไม่จำเป็นต้องให้คำตอบเหมือนกัน

สมมติ Interview 15 คนพบ Theme สำคัญคือ: “ลูกค้าไม่มั่นใจเรื่องคุณภาพ”
แต่ Survey 1,000 คนพบเพียง 12% เลือก Quality เป็น Barrier
เป็นไปได้หลายแบบ:

• Interview Sample มี Customer Segment ที่ต่างออกไป
• Theme มีความลึกสูงแต่เกิดกับคนกลุ่มเล็ก
• Survey Response Options วัด Theme ไม่ตรงกับสิ่งที่ Interview พบ
• คนพูดเรื่อง Quality เมื่อ Probe แต่ไม่เลือกเป็น Top Barrier เมื่อถูกบังคับให้ Prioritize
• Interview และ Survey เกิดคนละช่วงเวลา

Mixed Methods ไม่ได้มีคุณค่าเพียงเมื่อผลสองชุด “ยืนยันกัน” ความแตกต่างระหว่าง Data Sources สามารถเปิดเผย Context หรือคำถามใหม่ที่ Method เดียวมองไม่เห็น และบางกรณีอาจต้องเก็บข้อมูลเพิ่มเพื่ออธิบาย Divergence.

ตรวจ Data Quality ก่อนให้น้ำหนัก Evidence

ถ้าสองชุดวัดเรื่องเดียวกันจริง ขั้นต่อไปคือตรวจ Quality
ถามแต่ละชุดว่า:

• Data Source คืออะไร?
• Missing Data มากแค่ไหน?
• Duplicate มีหรือไม่?
• Definition เปลี่ยนระหว่างทางหรือไม่?
• Tracking ทำงานครบหรือไม่?
• Sample เข้า Target หรือไม่?
• Response Rate หรือ Nonresponse มีผลหรือไม่?
• Questionnaire Valid แค่ไหน?
• Coding สม่ำเสมอหรือไม่?
• Data Processing มี Error หรือไม่?

สำหรับ Survey การมี Sampling Error ต่ำอย่างเดียวไม่เพียงพอ เพราะ Error ยังเกิดจาก Question Wording, Coverage, Nonresponse, Measurement และกระบวนการอื่นได้ แนวคิด Total Survey Error จึงมองคุณภาพ Survey จากหลายแหล่งของ Error ไม่ใช่เฉพาะ Margin of Error.

Sample ใหญ่กว่าไม่ได้แปลว่าต้องเชื่อมากกว่าเสมอไป

สมมติ:
Dataset A = 50,000 Transactions
Dataset B = Survey ลูกค้า 800 คน

ถ้าคำถามคือ: “ลูกค้าซื้อซ้ำจริงหรือไม่?”
Transaction Data มี Directness สูงกว่า

ถ้าคำถามคือ: “ลูกค้าไม่กลับมาเพราะอะไร?”
Transaction Data เพียงอย่างเดียวอาจตอบไม่ได้
‍

Survey หรือ Interview อาจตรงกับ Construct มากกว่า
ดังนั้น Evidence Strength ไม่ควรวัดด้วย N อย่างเดียว
ควรดู:
Relevance to Question
Directness
Measurement Validity
Population Fit
Data Quality
Timeliness
Method Strength

ข้อมูลจากระบบก็ไม่ได้เป็น Ground Truth เสมอไป

ธุรกิจมักเชื่อ Behavioral Data มากกว่า Survey เพราะคิดว่า: “ระบบไม่โกหก”
แต่ระบบสามารถบันทึกผิดได้ ตัวอย่าง:
- POS แยกลูกค้าคนเดียวเป็นหลาย Customer IDs
- Website Tracking หายหลัง Consent Setting เปลี่ยน
- Offline Sales ไม่ถูกส่งเข้า Dashboard
- Refund ถูกนับเป็น Revenue
- Bot Traffic ถูกนับเป็น User
- Order Date ถูกใช้แทน Payment Date
Behavioral Data เป็น Observation จากระบบ ไม่ใช่ Truth ที่ปราศจาก Measurement Error
ก่อนเชื่อ Dashboard ควรถามว่า Metric ถูกสร้างขึ้นอย่างไร

ระวัง Aggregation เพราะภาพรวมอาจซ่อนคำตอบที่ต่างกันในแต่ละ Segment

สมมติยอด Conversion: Overall เพิ่ม
ทีมจึงสรุปว่า Performance ดีขึ้น

แต่เมื่อแยก:
New Customers → ลด
Returning Customers → ลด
แล้ว Overall เพิ่มได้อย่างไร?

เป็นไปได้ว่า Mix ของ Traffic เปลี่ยนไปสู่ Segment ที่มี Conversion สูงกว่าเดิม
ดังนั้นเมื่อข้อมูลสองรายงานขัดกัน เช่น Overall Dashboard ดีขึ้น แต่ Segment Report แย่ลง อย่ารีบตัดสินว่า Report หนึ่งผิด
ตรวจ:
Segment Mix
Channel Mix
Product Mix
Geography
Customer Type
Time Period
Aggregation สามารถซ่อน Pattern ที่อยู่ข้างใต้ได้

ถ้าสองชุดยังขัดกันจริง ให้เขียนสิ่งที่ “แต่ละชุดสนับสนุน” แทนการเลือก Winner

สมมติ: Survey: 72% บอกว่า Price สมเหตุสมผล
Sales Interview: Sales Team รายงานว่า Price เป็น Objection ที่พบบ่อย

แทนที่จะสรุปว่า: Survey ถูก หรือ Sales ถูก

ให้เขียน:
FACT 1: ใน Survey Sample 72% ประเมิน Price ว่าอยู่ในระดับยอมรับได้ตามคำถามที่ใช้
FACT 2: Sales Team รายงานว่า Price เป็น Objection ที่พบซ้ำใน Sales Conversations

BEE INTERPRETATION: Price อาจไม่ใช่ปัญหาสำหรับ Customer Base โดยรวม แต่สามารถเป็น Barrier สำคัญในกลุ่ม Prospects ที่ยังไม่ Convert
HYPOTHESIS: Price Objection กระจุกใน New Prospects หรือบาง Segment มากกว่าลูกค้าปัจจุบัน
NEXT TEST: เปรียบเทียบ Price Perception ระหว่าง Converted Customers กับ Lost Prospects
ตอนนี้ Conflict กลายเป็น Research Question ใหม่

ให้น้ำหนัก Evidence ตาม Business Question ไม่ใช่ตามตำแหน่งของคนที่นำเสนอข้อมูล

ถ้า CEO บอก: “ลูกค้าชอบ Product นี้”
นั่นเป็น Perspective

ถ้า Sales Team บอก: “ทุกคนถามหา Feature นี้”
นั่นเป็น Signal จาก Frontline

ถ้า Survey บอก: “35% เลือก Feature นี้”
นั่นเป็น Measurement ภายใต้ Sample และ Questionnaire ที่กำหนด

ถ้า Usage Data บอก: “8% ใช้ Feature นี้ทุกเดือน”
นั่นเป็น Observed Behavior ภายใต้ Tracking Definition

ทั้งสี่อย่างมี Value
แต่ไม่ควรถูกทำให้เป็น Evidence ระดับเดียวกันสำหรับทุก Claim
คำถามที่ควรถามคือ: Evidence ชุดไหนใกล้กับ Claim ที่เรากำลังจะสรุปที่สุด?

ตัวอย่าง: Survey บอกลูกค้าชอบ แต่ยอดขายไม่ดี

Survey: Concept Appeal = สูง
Sales: ต่ำกว่า Target
ข้อมูลไม่ได้จำเป็นต้องขัดกัน
เพราะ: Liking ≠ Purchase

ต้องตรวจต่อ:
Need
Purchase Intent
Price
Availability
Competition
Distribution
Communication
Actual Trial
Repeat Purchase
Survey อาจวัด Appeal ได้ถูกต้อง แต่ธุรกิจนำ Metric ไปตอบคำถามที่มันไม่ได้ถูกออกแบบมาเพื่ออธิบาย

ตัวอย่าง: Social Listening บอก Brand ถูกพูดถึงมาก แต่ Market Share ไม่โต

Social Mentions เพิ่ม
Market Share คงที่
สองข้อมูลนี้ไม่ขัดกัน

Social Mentions วัด Conversation Volume ภายใน Platform หรือ Dataset ที่ติดตาม
Market Share วัดสัดส่วนยอดขายภายใต้ Category และ Market Definition ที่กำหนด
Mention ≠ Purchase
และ:
Search Interest ≠ Demand
Engagement ≠ Revenue
Awareness ≠ Preference
ข้อมูลต้องถูกตีความตาม Construct ของมัน

ตัวอย่าง: Customer Interview บอก Service สำคัญ แต่ Driver Analysis บอก Price มี Association สูงกว่า

อย่ารีบเลือก Analysis เป็น Winner
Interview อาจพบว่า Service เป็นเรื่องที่ Customer พูดถึงและมี Meaning สูง

Driver Analysis อาจพบว่า Price Score มี Statistical Association กับ Outcome สูงกว่าใน Dataset
แต่ Association ยังไม่พิสูจน์ Causation
และ Interview ก็ไม่ได้ประมาณ Effect Size ใน Population

คำถามต่อไปคือ: ทั้งสอง Method กำลังพูดถึง
Customer Segment เดียวกันหรือไม่?
Outcome เดียวกันหรือไม่?
Variable ถูกวัดอย่างไร?
มี Multicollinearity หรือไม่?
Service อาจเป็น Hygiene Factor หรือไม่?
Price Effect แตกต่างตาม Segment หรือไม่?
ความต่างนี้อาจเป็นจุดเริ่มต้นของ Analysis ที่ดีขึ้น

ใช้ 7 ขั้นตอนนี้เมื่อ Evidence ไม่ตรงกัน

1. Define the Decision
   เรากำลังจะตัดสินใจอะไร?
2. Define the Claim
   คำตอบที่กำลังพยายามพิสูจน์คืออะไร?
3. Align the Basics
   ตรวจ Construct, Definition, Population, Denominator และ Time Period
4. Audit the Methods
   ตรวจ Sampling, Measurement, Data Collection, Tracking และ Processing
5. Segment the Data
   ดูว่าความขัดแย้งหายไปเมื่อแยก Customer, Channel, Product หรือช่วงเวลาหรือไม่
6. Weight the Evidence
   ให้น้ำหนักจาก Relevance, Directness, Validity, Population Fit และ Data Quality
7. Decide What Is Still Unknown
   ถ้ายังไม่พอ ให้กำหนด Hypothesis และ Evidence ที่ต้องเก็บเพิ่ม

กระบวนการนี้ช่วยเปลี่ยนคำถามจาก: “ควรเชื่อชุดไหนดี?”
เป็น: “แต่ละชุดบอกอะไรได้ และ Evidence อะไรยังขาดสำหรับ Decision นี้?”

สรุป: ข้อมูลที่ไม่ตรงกันไม่ใช่ปัญหาที่ต้องรีบกำจัด แต่เป็นสิ่งที่ต้องอธิบาย

เมื่อ Evidence สองชุดให้คำตอบต่างกัน มีความเป็นไปได้อย่างน้อยว่า:

• วัดคนละ Construct
• ใช้ Definition ต่างกัน
• Population ต่างกัน
• Denominator ต่างกัน
• ช่วงเวลาต่างกัน
• Method ต่างกัน
• Data Quality ต่างกัน
• หรือมี Pattern จริงที่แตกต่างตาม Context และ Segment

Survey Research แสดงให้เห็นว่าปัจจัยอย่าง Question Wording, Question Order และ Mode สามารถสร้างความแตกต่างในคำตอบได้ ขณะที่กรอบ Total Survey Error ก็ชี้ว่าคุณภาพของ Evidence ต้องพิจารณามากกว่า Sampling Error เพียงอย่างเดียว.
ดังนั้นอย่าถามเพียง: “ข้อมูลชุดไหนน่าเชื่อกว่า?”
ให้ถามว่า: “สำหรับ Decision นี้ ข้อมูลแต่ละชุดวัดอะไร มีข้อจำกัดอะไร และเมื่อวาง Evidence ทั้งหมดเข้าด้วยกัน เรายังไม่รู้อะไร?”

บางครั้งความไม่ตรงกันของข้อมูลไม่ได้ทำให้การตัดสินใจยากขึ้น
มันกำลังชี้ให้เห็นว่าคำถามเดิมของเรายังง่ายเกินไป