Customer Support RAG Triage Agent

02 · สิ่งที่สร้าง

เลยลองต่อ workflow ให้เห็นทีละจุด

• แยกข้อความให้เป็น intent กับความเร่งด่วนก่อน ไม่ปล่อยให้การค้นหาและการร่างคำตอบทำทุกอย่างในก้อนเดียว
• ค้นเคสที่ใกล้กันจาก Qdrant แล้วส่งทั้งเคสที่ค้นเจอและสถานะการค้นหาไปต่อในกราฟ
• ให้ grounding check และ next action เป็นขั้นตอนแยก เพื่อให้ผลที่ไม่มีหลักฐานไหลไปเป็น manual review ได้

03 · หลักการทำงาน

ภาพรวมข้างใน

1. 1

   ข้อความ → normalize → intent / urgency

2. 2

   ค้นเคสที่คล้ายกันด้วย Qdrant และ local embeddings

3. 3

   ร่างคำตอบ → ตรวจ grounding → แนะนำ action ให้คนตรวจ

04 · หลักฐาน

ผลที่ออกมา

workflow มี 7 nodes และเดโมเตรียมเคส Banking77-derived ไว้ 27 records สำหรับการ review รายงานที่ commit ไว้ใช้ ticket 8 เคส: intent accuracy 100% และ Recall@5 62.5% โดยตัวเลขทั้งหมดเป็นผลจาก fixture ขนาดเล็ก ไม่ใช่คุณภาพของงานซัพพอร์ตจริง

05 · ข้อจำกัด

สิ่งที่ยังไม่ควรคาดหวัง

• โหมดสาธารณะใช้ deterministic mock และเคสตัวอย่าง ไม่ใช่ policy ของบริษัทใดบริษัทหนึ่ง
• คำตอบที่สร้างขึ้นยังต้องให้คนตรวจ; grounding check ไม่ได้พิสูจน์ semantic entailment หรือความถูกต้องของนโยบาย
• ระบบ local Qdrant / SQLite และ rate limit เป็นข้อจำกัดของเดโมเครื่องเดียว

ก้าวต่อไป

ถ้ากลับไปเริ่มใหม่วันนี้

• ทำชุด evaluation ที่มีเคสคลุมเครือและเคสไม่มีข้อมูลก่อนขยายหน้าจอ dashboard
• แยก policy ที่ทีมซัพพอร์ตยอมรับได้ออกจาก precedent ใน fixture ให้ชัดกว่านี้
• วัดการเปลี่ยนแปลงของคำตอบเมื่อ provider หรือ retrieval เปลี่ยน แทนดูแค่ workflow ผ่านครบ