Prompt Chaining พิสูจน์แล้วว่ามีประสิทธิภาพสูงกว่า In-Context Learning (ICL) ในการจัดหมวดหมู่ข้อความวิทยาศาสตร์ด้วย LLM โดยเฉพาะอย่างยิ่งกับ hierarchical taxonomy ที่มีความซับซ้อน งานวิจัยนี้ใช้ ORKG taxonomy เป็นกรอบการจัดหมวดหมู่แบบ 3 ระดับ (domain → subject → topic) โดยมี FORC dataset เป็น ground truth ในการทดสอบ ทีมวิจัยเปรียบเทียบประสิทธิภาพของ off-the-shelf LLMs ทั้งในรูปแบบ ICL และ Prompt Chaining รวมถึงการศึกษาผลของ temperature hyperparameter ที่มีต่อความแม่นยำ
ผลการวิจัยสำคัญ
ผลการทดสอบชี้ให้เห็นว่า Prompt Chaining ให้ค่า accuracy สูงกว่า ICL อย่างชัดเจนในทุกระดับของการจัดหมวดหมู่ โดยเฉพาะอย่างยิ่งเมื่อใช้กับ hierarchical taxonomy ที่มีความซับซ้อน นอกจากนี้ LLM ที่ใช้ Prompt Chaining ยังสามารถเอาชนะ SOTA models ในระดับ domain (ระดับ 1) และ subject (ระดับ 2) ได้ ดีกว่า BERT รุ่นเก่าที่เคยถือเป็นมาตรฐานอยู่ก่อนหน้านี้ อย่างไรก็ตาม ทีมวิจัยพบข้อจำกัดที่น่าสนใจ คือ LLM ยังทำการจัดหมวดหมู่ในระดับ topic (ระดับ 3) ที่ละเอียดที่สุดได้ไม่ดีนัก แม้จะใช้เทคนิค Prompt Chaining ก็ตาม โดยมีค่า accuracy เพียงประมาณ 50% เท่านั้น นอกจากนี้ ยังพบว่า temperature hyperparameter มีผลต่อความแม่นยำในการจัดหมวดหมู่ ซึ่งแสดงให้เห็นว่าการปรับค่าพารามิเตอร์นี้อาจเป็นปัจจัยสำคัญในการปรับปรุงประสิทธิภาพของโมเดล
บริบทและความสำคัญ
การจัดหมวดหมู่ข้อความวิทยาศาสตร์เป็นงานที่สำคัญในการจัดการความรู้ โดยเฉพาะในยุคที่ข้อมูลวิจัยเพิ่มขึ้นอย่างรวดเร็ว ORKG (Open Research Knowledge Graph) เป็นหนึ่งในเครื่องมือที่ใช้กันอย่างแพร่หลายในการสร้างกรอบความรู้ที่มีโครงสร้าง การที่ LLM สามารถทำงานจัดหมวดหมู่ได้ดีขึ้นด้วย Prompt Chaining จะช่วยให้กระบวนการประมวลผลและจัดการเอกสารวิจัยเป็นไปอย่างมีประสิทธิภาพมากขึ้น ผลการวิจัยนี้สอดคล้องกับแนวโน้มที่ว่า LLM สามารถแทนที่ traditional NLP models ได้ในหลายงาน แต่ยังคงมีข้อจำกัดในงานที่ต้องการความแม่นยำสูงในระดับที่ละเอียดมาก
สรุป
Prompt Chaining เป็นเทคนิคที่มีประโยชน์และคุ้มค่าสำหรับการทำงานจัดหมวดหมู่แบบลำดับชั้น โดยเฉพาะในระดับที่กว้างกว่า เช่น domain และ subject อย่างไรก็ตาม LLM ยังคงมีข้อจำกัดในการจัดหมวดหมู่ในระดับที่ละเอียดและเฉพาะเจาะจงมาก ซึ่งบ่งชี้ว่ายังต้องการการปรับปรุงเพิ่มเติมหรือการผสมผสานกับเทคนิคอื่นๆ เพื่อให้การทำงานสมบูรณ์แบบยิ่งขึ้น อ่านต้นฉบับ: https://arxiv.org/abs/2406.01560