คืออะไร
Microsoft เปิดตัว VibeVoice ชุดโมเดล AI เสียงแบบ open-source ที่ครอบคลุมทั้ง Text-to-Speech (TTS) และ Automatic Speech Recognition (ASR) ปัจจุบันมีผู้ใช้งานกว่า 46,000 คนบน GitHub จุดเด่นหลักคือใช้ continuous speech tokenizer ที่ frame rate ต่ำมากเพียง 7.5 Hz ช่วยให้ประมวลผลเสียงยาวได้อย่างมีประสิทธิภาพ
โมเดลหลัก
VibeVoice-ASR-7B เป็นโมเดล speech-to-text ระดับสูงที่รองรับเสียงยาวถึง 60 นาทีในครั้งเดียว สร้าง transcript แบบมีโครงสร้าง (ใครพูด, เมื่อไหร่, พูดอะไร) รองรับ 50+ ภาษา มี Speaker Diarization และ Timestamp อัตโนมัติ รวมถึงรองรับ Customized Hotwords ที่ให้ผู้ใช้กำหนดคำศัพท์เฉพาะได้ โมเดลนี้รองรับ vLLM inference และถูกรวมเข้าไปใน HuggingFace Transformers แล้ว VibeVoice-TTS-1.5B เป็นโมเดลสังเคราะห์เสียงพูดแบบ multi-speaker สร้างเสียงยาวได้ถึง 90 นาที รองรับ 4 speakers พร้อมกัน มี expressiveness สูง อย่างไรก็ตาม โมเดล TTS นี้ถูกปิดใช้งานชั่วคราวเนื่องจากข้อกังวลด้านการใช้งาน VibeVoice-Realtime-0.5B เป็นโมเดล TTS แบบ real-time streaming ที่รองรับหลายภาษา ออกแบบมาเพื่อการใช้งานแบบ real-time ที่ต้องการความเร็วสูง
เทคโนโลยีที่ใช้
VibeVoice ใช้ Continuous Speech Tokenizers ที่ทำงานที่ความถี่ 7.5 Hz ซึ่งต่ำกว่าระบบอื่นๆ อย่างมีนัยสำคัญ ทำให้สามารถประมวลผลเสียงยาวๆ ได้อย่างมีประสิทธิภาพ โดยไม่เสียเวลาในการประมวลผลเกินไป นอกจากนี้ยังใช้เทคนิคการแบ่งส่วนเสียงและการระบุเวลาอัตโนมัติที่ช่วยให้การทำงานกับเสียงยาวๆ ง่ายขึ้น
ความนิยมและการนำไปใช้งาน
โครงการ VibeVoice ได้รับความนิยมอย่างสูงด้วยจำนวน stars บน GitHub ที่เพิ่มขึ้นจาก 44,800 เป็น 46,300 ภายในระยะเวลาสั้นๆ ซึ่งแสดงให้เห็นถึงความสนใจของชุมชนนักพัฒนาต่อโมเดล Voice AI แบบ open-source ที่มีประสิทธิภาพสูง โมเดลนี้ถูกนำไปใช้งานได้ทั้งในด้านการสร้าง transcript จากการประชุม การบันทึกเสียง และการสร้างเสียงพูดจากข้อความ โดยเฉพาะอย่างยิ่งกับความสามารถในการรองรับเสียงยาวถึง 60 นาทีทำให้เหมาะสำหรับการใช้งานระดับองค์กรและการวิจัย
การเข้าถึงและการติดตั้ง
ผู้ใช้สามารถเข้าถึง VibeVoice ผ่านทาง GitHub และใช้งานได้ง่ายผ่าน HuggingFace Transformers ที่รองรับโมเดลนี้โดยตรง สำหรับการ inference ที่ต้องการประสิทธิภาพสูงสามารถใช้ vLLM ได้ ทำให้เหมาะสำหรับการใช้งานในระบบ production ที่ต้องการความเร็วสูง VibeVoice จึงเป็นอีกหนึ่งโครงการที่แสดงให้เห็นถึงความมุ่งมั่นของ Microsoft ในการส่งเสริมระบบ AI แบบ open-source ที่มีประโยชน์ต่อชุมชนนักพัฒนาและอุตสาหกรรมเทคโนโลยีโดยรวม