งานวิจัยเบื้องหลัง PAT1 Hack

ที่มาของการคิดค้นระบบ PAT1 Hack

เราสามารถเรียก PAT1 Hack เป็นภาษาวิชาการได้ว่า “ระบบจำแนกและคัดกรองเนื้อหาคณิตศาสตร์เพื่อการเตรียมสอบตามสัดส่วนคะแนนที่ต้องการ (Mathematics Problems Classification and Filtration for Test Preparation) ”

แนวคิดระบบกรองเนื้อหาโจทย์ตามคะแนนที่ต้องการนี้ เกิดขึ้นในขณะที่ทีมผู้ก่อตั้งทั้งสามคนของบริษัทโอเพ่นดูเรียน กำลังศึกษาและทำวิทยานิพนธ์อยู่ที่คณะวิทยาศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย ในหลักสูตรปริญญาโท สาขาคณิตศาสตร์บริสุทธิ์, หลักสูตรปริญญาเอก สาขาวิทยาการคอมพิวเตอร์ และคณะวิทยาศาสตร์ มหาวิทยาลัยมหิดล ในหลักสูตรปริญญาโท สาขาฟิสิกส์คำนวณ

ด้วยประสบการณ์การเคยเป็นติวเตอร์และผู้ช่วยสอน ทำให้ทีมผู้ก่อตั้งมองเห็นปัญหาสำคัญอย่างหนึ่งของการศึกษาและการเตรียมสอบ นั่นคือ ข้อสอบใหญ่ๆ ระดับแอดมิชชั่นนั้น จะออกครอบคลุมเนื้อหาหมดทั้งระดับมัธยมปลาย ซึ่งมีจำนวนบทเรียนเยอะมาก ต้องใช้เวลาถึงสามปีในการเรียน ในขณะที่นักเรียนที่เข้าสอบมีเวลาเตรียมตัวจริงๆ ไม่มากนัก ทำให้การอ่านหนังสือทบทวนเนื้อหาทั้งหมดนั้นแทบเป็นไปไม่ได้ ซึ่งนี่เป็นสาเหตุหลักที่ทำให้บริการติวเตอร์ “เก็งข้อสอบ” ให้ผู้เข้าสอบอ่านเฉพาะบทเรียนที่น่าจะออกบ่อยและได้คะแนนมาก เป็นที่ต้องการอย่างสูงในระบบการศึกษาไทย

แต่ติวเตอร์ที่มีความชำนาญและประสบการณ์มากพอจะเก็งข้อสอบได้แม่นยำนั้นมีน้อย และมักจะมีราคาค่าสอนแพงมากในหลักพันบาทต่อชั่วโมง หากเราสามารถนำความสามารถและประสบการณ์ในการ “เก็งข้อสอบ” ของติวเตอร์มาจำลองให้เป็นระบบอัตโนมัติ พร้อมกระจายบริการให้ทั่วถึงเป็นบริการออนไลน์ได้ ก็น่าจะสามารถช่วยขยายโอกาส และลดภาระทางการศึกษาให้แก่นักเรียนไทยได้มาก

หลักการคัดแยกโจทย์คณิตศาสตร์

ด้วยการที่โจทย์ปัญหาคณิตศาสตร์ส่วนใหญ่นั้นสามารถแปลงให้อยู่ในรูปเครื่องหมายคณิตศาสตร์ได้ (Discourse Representation Theory) เราจึงสามารถเก็บฐานข้อมูลคณิตศาสตร์ในรูปแบบที่คอมพิวเตอร์สามารถเข้าใจได้

ทีมวิจัยจึงได้ทำการเลือกเก็บข้อสอบคณิตศาสตร์ PAT1 แปลงเข้าสู่ระบบคอมพิวเตอร์ และออกแบบระบบปัญญาประดิษฐ์ (machine learning) เพื่อคัดแยกข้อสอบออกตามหัวข้อ เทคนิคที่ต้องใช้ทำโจทย์ และระดับความยาก โดยทำการประเมินผลลัพธ์ที่ได้โดยเทียบกับการคัดแยกของติวเตอร์จริงๆ เพื่อปรับปรุงระบบให้แม่นยำขึ้นเรื่อยๆ

การวิเคราะห์ทั้งหมดนี้ ต้องอาศัยจำนวนข้อสอบที่มากพอ ซึ่งการติดตามข้อสอบ PAT1 ตลอด 5 ปี 550 ข้อ สามารถทำให้ระบบของเราสามารถจับแพทเทิร์นของการออกข้อสอบได้ (แม้จะมีการเปลี่ยนระดับข้อสอบให้ยากขึ้นในปีที่ผ่านมา แต่สัดส่วนคะแนนยังคงที่ตลอด)

การคำนึงถึงลำดับการเรียนรู้ของนักเรียน

ในการเตรียมสอบจริงนั้น นอกจากแพทเทิร์นของข้อสอบแยกตามหัวข้อและระดับความยากแล้ว เรายังต้องคำนึงถึงลำดับการเรียนรู้ของนักเรียนด้วย เนื่องจากโจทย์ปัญหาส่วนใหญ่ของการสอบ PAT1 มักจะเป็นโจทย์ผสมหลายหัวข้อ เช่น โจทย์ถามการคำนวณค่าลอการิทึม แต่ให้ตอบเป็นยูเนียนของเซต ดังนั้น การจะทำข้อสอบในบทหลังๆ ให้ได้คะแนน ก็จำเป็นต้องมีความชำนาญในบทก่อนหน้าด้วย

เราจึงได้นำเอาทฤษฎี Knowledge Space Theory ซึ่งเป็นทฤษฎีแบ่งแยกลำดับการเรียนรู้ ที่ได้ถูกพิสูจน์แล้วว่าใช้ได้จริงในซอฟต์แวร์ทางการศึกษาระดับสากล (เช่น Aleks ที่มีใช้กันในโรงเรียนนานาชาติส่วนใหญ่ของไทย) มากำกับกระบวนคัดกรองหัวข้อของระบบปัญญาประดิษฐ์อีกระดับหนึ่ง ทำให้นอกจากจะได้สัดส่วนคะแนนตรงตามแพทเทิร์นการออกข้อสอบแล้ว ผลลัพธ์ที่ได้ยังตรงตามลำดับการเรียนรู้ของนักเรียน ซึ่งจะเพิ่มโอกาสในการทำโจทย์ของการสอบครั้งใหม่ได้มากขึ้น


ผลลัพธ์ที่ได้

ด้วยการประยุกต์ร่วมกันของหลักการจำแนกโดยหลักสถิติวิเคราะห์ โครงข่ายปัญญาประดิษฐ์ การลำดับเนื้อหาโดยหลัก KST และการประเมินผลโดยประสบการณ์จากติวเตอร์ ทำให้เราสามารถออกแบบระบบอัตโนมัติที่สามารถตอบคำถามสำหรับการเก็งข้อสอบรายบุคคลได้

เช่น หากถามว่า “สำหรับนักเรียนคนนี้ ที่ต้องการคะแนนสอบ 160 คะแนน จาก 300 โดยมีพื้นฐานความรู้คณิตศาสตร์เช่นนี้ จะต้องอ่านเนื้อหาและแนวข้อสอบบทไหนบ้าง จึงจะอ่านได้ทันในเวลาเพียงหนึ่งหรือสองสัปดาห์?” ระบบจะสามารถตอบออกมาเป็นรายชื่อของบทเรียนที่ต้องอ่าน พร้อมสัดส่วนที่จะได้จากบทนั้น และเทคนิคทั้งหมดที่จำเป็นในการแก้โจทย์กลุ่มนั้นได้ ซึ่งจากการทดสอบ ในช่วงคะแนน 50 - 220 คะแนนของการสอบ PAT1 นั้น (เต็ม 300) ระบบจะสามารถลดเนื้อหาที่ต้องอ่านได้ถึง 30% - 70% ตามแต่คะแนนเป้าหมาย และความถนัดพื้นฐานของนักเรียนแต่ละคน