ตามรายงานของ Android Authority งานวิจัยของ Apple ได้ให้รายละเอียดเกี่ยวกับโซลูชันสำหรับการรันโมเดลภาษาขนาดใหญ่ (LLM) บนอุปกรณ์ที่มี RAM จำกัด บทความดังกล่าวเผยให้เห็นว่าบริษัทสามารถจัดเก็บ "พารามิเตอร์โมเดล" และโหลดบางส่วนลงใน RAM ของอุปกรณ์เมื่อจำเป็น แทนที่จะโหลดโมเดลทั้งหมดลงใน RAM
Apple กำลังมองหาวิธีช่วย iPhone รุ่นเก่าที่มี RAM น้อยกว่าให้สามารถรัน AI ทั่วไปได้
เอกสารดังกล่าวอ้างว่าวิธีการนี้ช่วยให้สามารถรันโมเดลที่ต้องการ RAM สองเท่าของที่ iPhone มีได้ ในขณะที่ยังคงให้ความเร็วในการอนุมานที่ 4-5 เท่าและ 20-25 เท่าเมื่อเทียบกับวิธีการโหลดแบบง่ายๆ บน CPU และ GPU ตามลำดับ
การปรับใช้ AI สังเคราะห์บนอุปกรณ์ที่มี RAM มากขึ้นจะเป็นประโยชน์อย่างมาก เพราะจะช่วยให้ความเร็วในการอ่าน/เขียนเร็วขึ้น ความเร็วเป็นสิ่งสำคัญสำหรับ AI บนอุปกรณ์ ช่วยให้เวลาในการอนุมานเร็วขึ้นมาก เพราะผู้ใช้ไม่จำเป็นต้องรอการตอบสนองหรือผลลัพธ์สุดท้ายนานหลายสิบวินาที (หรือมากกว่านั้น) ทั้งหมดนี้หมายความว่าผู้ช่วย AI บนอุปกรณ์อาจทำงานด้วยความเร็วระดับการสนทนา สร้างรูปภาพ/ข้อความได้เร็วขึ้นมาก สรุปบทความได้เร็วขึ้น ฯลฯ แต่โซลูชันของ Apple หมายความว่าผู้ใช้ไม่จำเป็นต้องมี RAM จำนวนมากเพื่อเพิ่มความเร็วในการตอบสนองของ AI บนอุปกรณ์
แนวทางของ Apple อาจช่วยให้ iPhone ทั้งรุ่นเก่าและรุ่นใหม่สามารถนำเสนอฟีเจอร์ AI สังเคราะห์บนอุปกรณ์ได้โดยตรง ซึ่งถือเป็นเรื่องสำคัญ เนื่องจาก iPhone ของ Apple มักจะมี RAM น้อยกว่าโทรศัพท์ Android ระดับไฮเอนด์ ยกตัวอย่างเช่น iPhone 11 ซีรีส์มี RAM เพียง 4GB ขณะที่ iPhone 15 รุ่นเริ่มต้นก็มี RAM เพียง 6GB
Apple ไม่ใช่บริษัทมือถือเพียงรายเดียวที่กำลังพยายามลดขนาด LLM ชิปเรือธงรุ่นล่าสุดของ Qualcomm และ MediaTek ต่างก็รองรับ INT4 Precision เพื่อลดขนาดโมเดลเหล่านี้ ไม่ว่าจะด้วยวิธีใดก็ตาม บริษัทต่างๆ กำลังพยายามหาวิธีใหม่ๆ เพื่อลดความต้องการของระบบสำหรับ AI บนอุปกรณ์ ซึ่งทำให้แม้แต่โทรศัพท์ระดับล่างก็สามารถใช้งานฟีเจอร์นี้ได้
ลิงค์ที่มา
การแสดงความคิดเห็น (0)