หนึ่งในบริการของ Azure OpenAI service ล่าสุด ก็คือการรองรับ Model ของ OpenAI ที่ทำ fine-tuned มา (อีกชื่อในเว็บ Microsoft Learn คือ Customized model ครับ)
ซึ่งเรื่องนี้พลพบระหว่างศึกษาเรื่อง Pricing model ของ Azure OpenAI Service ที่มีความซับซ้อน และมีเงื่อนไขมากกว่าตอนที่เปิดตัวตอนแรกมาก มาดูกันครับว่า Azure OpenAI Service จะมีวิธีทำงานกับ fine-tuned model ยังไง
ค่าใช้จ่ายการทำ fine-tuned model
รู้จักกับ base model และ fine-tuned model
base model คือ model ตั้งต้นที่ในกรณีนี้คือ model ที่ OpenAI เปิดให้ใช้งาน เช่น GPT-3.5, GPT-4o, หรือ o1 เป็นต้น ที่สามารถทำงานได้อยู่แล้ว แต่การใช้งานอีกทางคือการเอา base model มา train ข้อมูลเพิ่มเติม ที่หลังจากกระบวนการสมบูรณ์ เราจะเรียกว่า fine-tune model ครับ
ค่าใช้จ่ายเมื่อเราตัดสินใจทำ fine-tune กับ base model บน Azure OpenAI Service จะมี 3 ส่วนนั่นคือ
- Training hours: จำนวนเวลาที่ใช้ในการ train ตัว model
- Hosting hours: จำนวนเวลาที่เรา deploy ตัว model ที่ผ่านการ fine-tune แล้ว
- การใช้งานต่อจำนวน 1,000 token
เราเลยจะเห็นว่า การใช้งาน model ที่ผ่านการ fine-tune แล้ว จึงไม่เหมือนกับการ deploy base model ที่มีค่าใช้จ่ายในการเทรนเพิ่มข้อมูลให้กับ base model และที่สำคัญมากๆ คือระยะเวลาที่ fine-tuned model ถูก deploy ใช้งาน ที่จะมีการคิดค่าใช้จ่าย แม้แต่ตอนที่เราไม่ได้มีการส่งข้อมูลเข้าไปหา model เลยก็ตาม
การลบ model ที่ deploy แล้วอัตโนมัติ
เนื่องจากการ deploy ตัว model ที่ fine-tune เรียบร้อยแล้ว ค่อนข้างแตกต่างจาก base model ทั่วไป ทำให้ Microsoft มีการกำหนดเงื่อนไข เพื่อให้มีการ “ลบ” deployment ของ model ที่ fine-tuned แล้ว
ตรงนี้ไม่ได้หมายความว่า model ที่ผ่านการ train อย่างตั้งใจของเราจะหายไป แต่หมายถึงตัว deployment แค่นั้น โดยเงื่อนไขที่ deployment ของ model ที่ผ่านการ fine-tune แล้ว จะถูกลบแบบอัตโนมัติมีดังนี้
- deployment อยู่ในสถานะ inactive หรือไม่ถูกใช้งานใดๆ เลยเป็นเวลา 15 วัน
- ไม่มีการใช้ API ใดๆ ของ deployment อย่าง Chat completion API หรือ Completion API เลยภายใน 15 วันนั้น
ซึ่งมองในอีกแง่มุมหนึ่ง ก็อาจจะดีสำหรับคนใช้งานก็ได้ เพราะอย่าลืมว่า ถึงแม้ว่าไม่มีการใช้งานเลย แต่ค่าใช้จ่ายในส่วนของ hourly cost จะยังมีการคิดตลอดหลังจากที่ fine-tuned model พร้อมใช้งานแล้วครับ
หวังว่าจะช่วยทำให้วางแผนการใช้งาน Azure OpenAI service มากขึ้นนะครับ