ทีม Marketing หรือ Sales สามารถส่งไฟล์ให้ AI แล้วขอคำตอบได้ภายในไม่กี่นาที เช่น “Channel ไหนโตเร็วที่สุด?”, “Customer Segment ไหนมี Retention สูง?” หรือ “Promotion นี้ช่วยเพิ่มยอดขายหรือไม่?”
ความเร็วตรงนี้มีประโยชน์มาก แต่ปัญหาคือผลลัพธ์ที่ผิดไม่ได้ดูผิดเสมอไป

AI อาจสร้างตารางที่เรียบร้อย ใช้ศัพท์ถูก มีเหตุผลประกอบครบ และสรุปอย่างมั่นใจ แม้ว่าจะเลือก Column ผิด หารด้วย Base ผิด หรือเติมคำอธิบายที่ไม่มีอยู่ในข้อมูลก็ตาม
NIST ระบุว่า Generative AI สามารถสร้าง Confabulated Logic และ Citation ที่ดูเหมือนช่วยอธิบายคำตอบ แม้คำตอบนั้นจะไม่ถูกต้อง.

เพราะฉะนั้นคำถามหลังใช้ AI ไม่ควรมีเพียง “คำตอบดูสมเหตุสมผลไหม?”
แต่ควรเป็น: “ถ้าต้องเซ็นชื่อรับรองตัวเลขนี้ เราจะตรวจกลับไปถึง Source Data ได้อย่างไร?”

อย่าตรวจแค่ว่า AI คำนวณเลขถูกหรือไม่ ต้องตรวจด้วยว่า “กำลังคำนวณสิ่งที่ถูกต้องหรือเปล่า”
AI Error ในงานวิเคราะห์ข้อมูลไม่ได้มีเพียงการบวกลบผิด
ผลลัพธ์อาจผิดได้หลายชั้น:
• AI อ้างข้อมูลหรือ Fact ที่ไม่มีอยู่จริง
• ใช้ Column หรือ Definition ผิด
• เลือก Denominator ผิด
• คำนวณ Formula ผิด
• อ่านตัวเลขถูกแต่ตีความผิด
• พบ Correlation แล้วเขียนเป็น Causation
• สรุปทั้ง Customer Base จากข้อมูลเพียงบาง Segment
• สร้างคำอธิบายที่ฟังสมเหตุสมผลแต่ไม่มี Evidence รองรับ
NIST เรียกปัญหาที่ Generative AI สร้างและนำเสนอข้อมูลผิดหรือเท็จอย่างมั่นใจว่า Confabulation ซึ่งรวมถึงสิ่งที่มักเรียกว่า Hallucination และเตือนว่า AI อาจสร้างทั้งข้อเท็จจริง ตรรกะ หรือ Citation ที่ดูน่าเชื่อแต่ผิดได้.
ดังนั้น AI QA ที่ดีควรตรวจเป็นลำดับ: Source → Definition → Calculation → Reconciliation → Interpretation → Decision

ก่อนอื่น แยก Hallucination กับ Calculation Error ออกจากกัน

Hallucination คือกรณีที่ AI สร้างข้อมูล ข้อเท็จจริง Explanation หรือ Reference ที่ไม่มี Evidence รองรับ หรือไม่ตรงกับ Source
Calculation Error คือกรณีที่ตัวเลขหรือการคำนวณผิด เช่น บวกผิด หารผิด ใช้ Formula ผิด หรือคำนวณจาก Base ที่ไม่ควรใช้
แต่ในงาน Business Analysis ยังมี Error อีกประเภทที่สำคัญไม่แพ้กัน: Interpretation Error

ตัวอย่าง: Data:
Conversion Rate ของ Campaign A = 5.2%
Campaign B = 4.6%

AI อาจคำนวณถูกทั้งหมด แต่สรุปว่า: “Campaign A มีประสิทธิภาพดีกว่าเพราะ Creative ดีกว่า”
ส่วน “Creative ดีกว่า” ไม่ได้เกิดจาก Calculation
มันเป็น Explanation ที่ต้องการ Evidence เพิ่ม
ดังนั้น: Correct Number ≠ Correct Interpretation

AI สามารถพูดผิดอย่างมั่นใจได้

OpenAI ระบุว่า Language Model สามารถสร้างคำตอบที่ไม่ถูกต้องหรือทำให้เข้าใจผิดได้ และบางครั้งตอบอย่างมั่นใจแม้ข้อเท็จจริงจะผิด รวมถึงการสร้าง Citation, Quote หรือ Reference ที่ไม่มีอยู่จริง.
จึงไม่ควรใช้ Confidence ของภาษาเป็นตัวแทน Confidence ของ Evidence
ประโยคอย่าง:
“ข้อมูลชี้ชัดว่า...”
“สาเหตุหลักคือ...”
“เห็นได้อย่างชัดเจนว่า...”
ไม่ได้ทำให้ข้อสรุปนั้นแข็งแรงขึ้น

สิ่งที่ต้องถามคือ:
ตัวเลขมาจากไหน?
คำนวณอย่างไร?
มี Evidence ไหนสนับสนุน Explanation?
มี Alternative Explanation หรือไม่?

เริ่ม QA จาก Source Grounding ก่อนตรวจ Formula

ก่อนตรวจว่า AI บวกลบถูกหรือไม่ ให้ตรวจว่า AI ใช้ข้อมูลถูกชุดก่อน
ตัวอย่าง:
คุณส่งไฟล์ Sales 2025–2026 แล้วถาม:
“ยอดขาย Q2 2026 โตจากปีก่อนเท่าไร?”
‍
ควรตรวจว่า AI ใช้: Q2 2026 เทียบกับ Q2 2025
ไม่ใช่: Q2 2026 เทียบกับ Q1 2026
หรือ: ครึ่งปีแรก 2026 เทียบกับ Q2 2025
Checklist ขั้นแรก:

• ใช้ File ถูกไฟล์หรือไม่?
• ใช้ Sheet ถูกหรือไม่?
• ใช้ Row ครบหรือไม่?
• Filter ถูกหรือไม่?
• Period ถูกหรือไม่?
• Currency และ Unit ถูกหรือไม่?
• Column ที่ใช้มี Definition อย่างไร?

AI ที่ใช้ Formula ถูกกับ Data Selection ที่ผิด ก็ยังให้คำตอบผิด

ตรวจ Denominator ทุกครั้งที่เห็น Percentage หรือ Rate

หนึ่งใน Error ที่อันตรายที่สุดไม่ใช่การหารผิด
แต่คือการหาร “ถูก” ด้วย Denominator ที่ผิด

ตัวอย่าง:
Repeat Purchase Rate อาจถูกคำนวณเป็น: Returning Customers / All Customers
หรือ: Customers with Second Purchase / New Customers Eligible to Repurchase
หรือ: ทั้งสามสูตรให้ตัวเลขต่างกันและตอบคนละคำถาม

ดังนั้นเมื่อ AI รายงาน:
Retention = 68%
Conversion = 4.2%
Complaint Rate = 3.5%

ถามต่อทันทีว่า:
Numerator คืออะไร?
Denominator คืออะไร?
Time Window เท่าไร?
ใครบ้างถูก Include / Exclude?
Metric Definition คืออะไร?
ถ้าตอบไม่ได้ ตัวเลขยังไม่ควรเข้าสู่ Dashboard

อย่าให้ AI ตั้ง Definition ใหม่เองโดยไม่รู้ตัว

สมมติ Dataset มี:
Registered User
Active User
Paid User
Returning User

แต่ Prompt ถามว่า: “ลูกค้าที่ใช้งานจริงเพิ่มขึ้นไหม?”
AI อาจเลือก Active User เอง
ปัญหาคือคำว่า “ใช้งานจริง” อาจยังไม่มี Business Definition
ก่อน Analysis ควรกำหนด Metric ให้ชัด เช่น: Active User = User ที่มีอย่างน้อย 1 Completed Transaction ภายใน 30 วัน
ไม่ใช่ปล่อยให้ AI ตีความคำศัพท์ทางธุรกิจจาก Context เอง
โดยเฉพาะ Metric อย่าง:
Active Customer
Churn
Retention
Engagement
High-value Customer
Qualified Lead
Conversion
ถ้า Definition ไม่ตรงกัน ต่อให้ Calculation ถูกทุกหลักก็ยังตอบ Business Question ผิดได้

ให้ AI แสดง Formula แต่ต้องตรวจ Formula แบบอิสระ

ถ้า AI ตอบว่า: Revenue Growth = 18.4%
อย่าหยุดที่ตัวเลข ขอให้แสดง:
Current Revenue
Previous Revenue
Formula
Result
เช่น: Revenue Growth = (Current Revenue − Previous Revenue) / Previous Revenue × 100
จากนั้น Recalculate ด้วย Excel, Calculator, SQL หรือเครื่องมือคำนวณอีกทางหนึ่ง

OpenAI ระบุว่าเครื่องมือ Data Analysis หรือ Code Execution สามารถช่วยเรื่อง Calculation และ Structured Logic ได้แม่นยำกว่าการพึ่ง Language Generation เพียงอย่างเดียว แต่ยังแนะนำให้ตรวจข้อมูลสำคัญจากแหล่งที่น่าเชื่อถือ.
หลักสำคัญคือ: AI-generated Calculation ควร Reproducible ถ้าไม่สามารถคำนวณซ้ำจาก Source Data แล้วได้ผลเดิม ตัวเลขนั้นยังไม่ผ่าน QA

ใช้ Reconciliation Check เพื่อจับ Error ที่มองทีละตัวไม่เห็น

สมมติ AI สรุป Sales ตาม Channel:
Website = 4.2 ล้านบาท
Marketplace = 3.1 ล้านบาท
Store = 2.5 ล้านบาท
รวมควรได้: 9.8 ล้านบาท
แต่ Source Report บอก Total Revenue = 10.4 ล้านบาท ตอนนี้ต้องหยุดก่อนตีความ
ความต่างอาจมาจาก:

• Missing Channel
• Refund Treatment
• Tax
• Duplicate Removal
• Filter
• Currency Conversion
• Unallocated Sales

ggReconciliation เป็นวิธีตรวจที่สำคัญ เพราะตัวเลขแต่ละ Channel อาจดูสมเหตุสมผล แต่รวมกันแล้วไม่ตรง Source of Truth
กติกาง่าย ๆ: Breakdown Total ควร Reconcile กับ Master Total ภายใต้ Definition เดียวกัน

ใช้ Spot Check กับ Row จริง ไม่ต้องตรวจทุก Row ด้วยมือ

ถ้า Dataset มี 100,000 Rows ไม่จำเป็นต้องตรวจทุกแถว
แต่ควรสุ่ม Case ที่ช่วยจับ Error
เช่น:

• Transaction มูลค่าสูงสุด
• Transaction มูลค่าติดลบ
• Customer ที่ซื้อบ่อยที่สุด
• Row ที่มี Missing Value
• วันแรกและวันสุดท้ายของ Period
• Segment ที่ AI บอกว่าผิดปกติ
• Outlier

สมมติ AI บอกว่า Customer C1082 ซื้อ 17 ครั้ง
เปิด Source แล้วตรวจ Transaction ของ C1082
ถ้าพบเพียง 9 ครั้ง อาจมีปัญหา Join, Duplicate หรือ Customer ID Mapping
Spot Check ไม่ได้พิสูจน์ว่าทุกอย่างถูก แต่ช่วยตรวจว่ากระบวนการ Analysis มี Red Flag หรือไม่

ระวัง AI เติม Explanation ให้ Pattern โดยอัตโนมัติ

AI เก่งในการสร้างประโยคที่เชื่อม Pattern เข้ากับเหตุผล
ตัวอย่าง: Data: Sales ลดในเดือนเมษายน
AI: “ยอดขายลดลงเนื่องจากลูกค้าระมัดระวังการใช้จ่ายมากขึ้น”

คำถามคือ: ข้อมูลชุดนี้มี Consumer Confidence หรือ Spending Sentiment หรือไม่?
ถ้าไม่มี คำอธิบายนี้เป็น HYPOTHESIS ไม่ใช่ FACT

ควรเขียนใหม่ว่า:
FACT: Sales เดือนเมษายนลดลง 12% จากเดือนมีนาคมภายใต้ Dataset นี้
BEE INTERPRETATION: การลดลงควรถูกตรวจแยกตาม Customer, Product และ Channel
HYPOTHESIS: Seasonality, Promotion Timing, Traffic, Stock Availability หรือ Consumer Spending อาจเป็น Possible Explanations
UNKNOWN: จากข้อมูลปัจจุบันยังระบุ Cause ไม่ได้
นี่คือรูปแบบที่ทำให้ AI-generated Analysis ปลอดภัยต่อการนำไปใช้มากขึ้น

Correlation เป็นจุดที่ต้อง QA เป็นพิเศษ

AI อาจพบว่า: Customer Satisfaction สูงสัมพันธ์กับ Spend สูง
แล้วเขียนว่า: “การเพิ่ม Satisfaction จะทำให้ลูกค้าใช้จ่ายมากขึ้น”
ข้อสรุปนี้เกิน Evidence
Association ≠ Causation
‍
Possible Explanations อาจเป็น:
ลูกค้าที่ซื้อเยอะได้รับ Service มากกว่า
High-value Customers ใช้ Product ต่างกัน
Segment อื่นมีทั้ง Spend และ Satisfaction สูงกว่า

ตัวแปรที่สามอธิบายทั้งสองอย่าง หรือ Direction ของ Relationship อาจตรงข้าม
ดังนั้น Prompt QA ที่ควรใช้คือ: “แยกสิ่งที่ข้อมูลแสดงออกจากสาเหตุที่ยังไม่ได้พิสูจน์ และเสนอ Alternative Explanations”

ตรวจ Segment ก่อนเชื่อ Average

AI อาจรายงาน: Average Satisfaction = 8.1และสรุปว่า Customer Experience แข็งแรง
แต่เมื่อแยก Segment:
New Customer = 6.4
Returning Customer = 8.8
Premium Customer = 9.0
ค่าเฉลี่ยไม่ได้ผิด แต่ Conclusion อาจกว้างเกินไป
ควรตรวจ:

• Segment
• Channel
• Product
• Region
• Customer Type
• Time Period
• Promotion vs Full Price

โดยเฉพาะเมื่อ Average ถูกใช้เพื่อสร้าง Business Action

ตรวจหน่วยและ Scale เพราะ Error เล็กอาจเปลี่ยน Decision มาก

ตัวอย่างที่ควรตรวจ: 0.18 หรือ 18%? บาท หรือพันบาท?
Revenue หรือ Gross Profit?
Monthly หรือ Annual?
Per Customer หรือ Per Transaction?
Score 1–5 หรือ 0–10?
Duration เป็น Seconds หรือ Minutes?

AI สามารถทำ Calculation ตามค่าที่อ่านได้ แต่ถ้า Unit ถูกตีความผิด ผลลัพธ์ทั้งหมดจะผิดตามไปด้วย
ก่อน Finalize Report จึงควรมี Unit Check แยกจาก Formula Check

อย่าใช้การถาม AI ตัวเดิมซ้ำว่า “แน่ใจไหม?” เป็น QA หลัก

การถามว่า: “Are you sure?”
แล้ว AI ตอบว่า: “Yes, I verified the calculation.”
ไม่ได้สร้าง Independent Verification เพราะ Model เดิมอาจทำ Error เดิมซ้ำ หรือสร้างคำอธิบายใหม่ให้คำตอบเดิม

NIST ระบุว่า Generative AI สามารถสร้าง Logic ที่ดูเหมือนสนับสนุนคำตอบได้แม้ตัวคำตอบจะผิด.
QA ที่แข็งแรงกว่าคือใช้ Independent Check เช่น:
AI Calculation → Excel Recalculation
AI Summary → Source Row Check
AI Claim → Original Report
AI Percentage → Numerator / Denominator Reconstruction
AI Trend → Raw Monthly Series
AI Correlation → Statistical Output และ Design Review

ให้ AI ช่วยตรวจตัวเองได้ แต่ต้องมองเป็น QA Assistant ไม่ใช่ Auditor คนสุดท้าย

AI ยังมีประโยชน์มากในขั้น Review
ตัวอย่าง Prompt: “ตรวจ Analysis นี้ในฐานะ Reviewer โดยหาความเสี่ยงเรื่อง Wrong Denominator, Duplicate, Missing Data, Unit Error, Percentage Calculation, Causal Claim และ Unsupported Explanation โดยยังไม่แก้ผลลัพธ์จนกว่าจะระบุ Issue”
หรือ: “สำหรับทุกข้อสรุป ให้ระบุ Source Column, Formula, Population, Time Period และ Evidence Limitation”
หรือ: “หาข้อสรุปที่ไม่สามารถย้อนกลับไปยังข้อมูลที่ให้มาได้”

แนวทางนี้ช่วยเปลี่ยน AI จาก: Answer Generator
เป็น: Analysis + Critique Assistant
แต่ Final Accountability ยังควรอยู่กับคนหรือ Process ที่รับผิดชอบ Decision โดยเฉพาะเมื่อเป็น Consequential Action แนวทาง Responsible AI ของ NIST และ Microsoft ต่างเน้น Reliability, Transparency และ Human Oversight ในการใช้ระบบ AI

ตัวอย่าง: AI บอกว่า Promotion เพิ่มยอดขาย 24%

สมมติ AI เปรียบเทียบ:
Sales ช่วง Promotion = 1.24 ล้านบาท
Sales ช่วงก่อน Promotion = 1.00 ล้านบาท
และสรุป: “Promotion เพิ่มยอดขาย 24%”
Calculation: (1.24 − 1.00) / 1.00 = 24% ถูก
แต่ Business Conclusion ยังไม่ผ่าน QA
ต้องตรวจต่อ:

• Period ยาวเท่ากันหรือไม่?
• จำนวนวันขายเท่ากันหรือไม่?
• Seasonality เหมือนกันหรือไม่?
• Store / Channel Coverage เหมือนกันหรือไม่?
• Stock Availability ต่างกันหรือไม่?
• มี Campaign อื่นพร้อมกันหรือไม่?
• Customer Mix เปลี่ยนหรือไม่?
• Gross Margin ลดลงเท่าไร?
• ไม่มี Promotion แล้วจะขายได้เท่าไร?

ดังนั้นคำตอบที่ถูก Evidence มากกว่าคือ:
FACT: Sales ในช่วง Promotion สูงกว่าช่วงเปรียบเทียบ 24%
UNKNOWN: จาก Before-After Comparison นี้เพียงอย่างเดียวยังสรุปไม่ได้ว่า Promotion ทำให้เกิด Sales Lift 24%
นี่แสดงว่า Calculation Correct แต่ Causal Claim Incorrect ได้พร้อมกัน

ตัวอย่าง: AI บอกว่า Segment A เป็นกลุ่มที่ดีที่สุด

AI อาจพบว่า Segment A มี: Average Spend สูงที่สุด
แล้วแนะนำ: “ควรทุ่ม Marketing Budget ให้ Segment A”

ก่อนเชื่อ Recommendation ต้องตรวจ:
Sample Size
Margin
Purchase Frequency
Retention
Cost-to-Serve
Promotion Dependency
Acquisition Cost
Growth Potential

ถ้า Average Spend สูงเพราะ Customer เพียง 3 ราย Recommendation อาจเปลี่ยนทันที
AI QA จึงไม่ได้จบที่เลขถูก ต้องตรวจว่า Metric นั้นเพียงพอต่อ Decision หรือไม่

ใช้ 3 ระดับการตรวจตามความเสี่ยงของ Decision

Low-risk Decision
เช่น Draft Internal Summary หรือหา Initial Pattern
ตรวจ Source, Formula และ Spot Check อาจเพียงพอ

Medium-risk Decision
เช่น เลือก Campaign, Budget Allocation หรือ Customer Targeting
ควรเพิ่ม Recalculation, Reconciliation, Segment Check และ Human Review

High-risk / Hard-to-reverse Decision
เช่น Investment ใหญ่, Contract, Pricing Change สำคัญ หรือ Decision ที่มีผลต่อบุคคล
ควรใช้ Stronger Verification, Independent Data / Code Review, Clear Approval และเก็บ Audit Trail ว่าใช้ข้อมูลและ Assumption ใด

NIST ระบุว่าความเสี่ยงจาก Confabulation มีความสำคัญมากขึ้นเมื่อ Generative AI ถูกนำไปใช้ใน Consequential Decision Making.
หลักคือ: Decision Risk สูงขึ้น → Evidence Standard และ QA ควรสูงขึ้นตาม

AI Analysis Checklist ก่อนส่งให้ผู้บริหาร

1. Source Check
   ตัวเลขทุกตัว Trace กลับ Source Data ได้หรือไม่?
2. Definition Check
   Metric ทุกตัวมี Definition ชัดหรือไม่?
3. Base Check
   Percentage และ Rate ใช้ Numerator / Denominator อะไร?
4. Calculation Check
   Recalculate ตัวเลขสำคัญด้วยวิธีอิสระแล้วได้ผลเดิมหรือไม่?
5. Reconciliation Check
   Subtotal รวมกลับไปหา Total ได้หรือไม่?
6. Segment Check
   Average ซ่อนความแตกต่างสำคัญหรือไม่?
7. Interpretation Check
   มี Association ใดถูกเขียนเป็น Cause หรือไม่?
8. Evidence Check
   AI เติม Fact, Benchmark, Source หรือ Explanation ที่ไม่มีใน Input หรือไม่?
9. Limitation Check
   อะไรที่ข้อมูลชุดนี้ยังตอบไม่ได้?
10. Decision Check
    ถ้าข้อสรุปนี้ผิด ผลกระทบต่อ Decision สูงแค่ไหน และต้องเพิ่ม QA หรือไม่?

ถ้าข้อสรุปนี้ผิด ผลกระทบต่อ Decision สูงแค่ไหน และต้องเพิ่ม QA หรือไม่?

สรุป: ใช้ AI เพื่อเพิ่มความเร็ว แต่แยก Speed ออกจาก Trust

Generative AI ช่วยลดเวลาการทำงานหลายขั้นได้ ตั้งแต่ Cleaning Logic, Summary, Coding, Table Creation ไปจนถึง Initial Analysis
แต่ความเร็วไม่ได้ทำให้ Output กลายเป็น Evidence ที่ Verified แล้ว
‍
NIST ระบุชัดว่า Generative AI สามารถสร้าง Confabulation ที่ผิดแต่ดูน่าเชื่อ รวมถึง Logic หรือ Citation ที่ไม่ถูกต้อง ขณะที่ OpenAI ก็แนะนำให้ตรวจข้อมูลสำคัญจาก Reliable Sources และไม่ใช้ความมั่นใจของภาษาเป็นหลักฐานว่าคำตอบถูก.
สำหรับงาน Data Analysis หลักที่ใช้ได้คือ: Trace → Recalculate → Reconcile → Challenge → Label → Decide
Trace กลับไปยัง Source
Recalculate ตัวเลขสำคัญ
Reconcile Breakdown กับ Total
Challenge Explanation และ Causal Claim

Label สิ่งที่เป็น FACT, BEE INTERPRETATION, HYPOTHESIS และ UNKNOWN แล้วจึง Decide
AI ไม่จำเป็นต้องถูกห้ามจากการวิเคราะห์ข้อมูล แต่ไม่ควรได้สิทธิ์ข้าม QA เพียงเพราะคำตอบดูเป็นมืออาชีพ