พารามิเตอร์น้อย ข้อมูลเยอะ

PaLM 2 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) รุ่นล่าสุดของ Google ที่ประกาศเปิดตัวเมื่อสัปดาห์ที่แล้ว ใช้ข้อมูลการฝึกอบรมเกือบห้าเท่าเมื่อเทียบกับรุ่นก่อนในปี 2022 ช่วยให้สามารถทำการเขียนโปรแกรม คณิตศาสตร์ และสร้างเนื้อหาขั้นสูงได้มากขึ้น

ในงาน Google I/O Developer Conference ยักษ์ใหญ่ด้านการค้นหาได้เปิดตัว PaLM 2 ซึ่งเป็นโมเดลภาษาที่ฝึกฝนด้วยโทเค็นจำนวน 3.6 ล้านล้านโทเค็น โทเค็นเหล่านี้คือลำดับคำ ซึ่งเป็นหน่วยพื้นฐานที่ใช้ในการฝึกฝน LLM ให้ทำนายคำถัดไป

PaLM เวอร์ชันก่อนหน้านี้เปิดตัวในปี 2022 และผลิตโทเค็นจำนวน 780 พันล้านโทเค็น

แม้ว่า Google จะประกาศถึงความสามารถด้าน AI ในด้านการค้นหา อีเมล การประมวลผลคำ และสเปรดชีต แต่บริษัทกลับลังเลที่จะเปิดเผยขนาดหรือรายละเอียดของชุดข้อมูลสำหรับการฝึกอบรม OpenAI ยังเก็บรายละเอียดของอัลกอริทึมการฝึกอบรม LLM ล่าสุด GPT-4 ไว้เป็นความลับอีกด้วย

บริษัทเทคโนโลยีต่าง ๆ มองว่าสาเหตุมาจากลักษณะการแข่งขันทางธุรกิจ ทั้ง Google และ OpenAI กำลังแข่งขันกันเพื่อดึงดูดผู้ใช้ด้วยแชทบอท แทนที่จะใช้เครื่องมือค้นหาแบบดั้งเดิม

กะทัดรัด ทรงพลัง คุ้มค่า

Google ระบุว่า PaLM 2 มีขนาดเล็กกว่ารุ่นก่อนหน้า โดยสามารถฝึกฝนพารามิเตอร์ได้ 340,000 ล้านตัว เทียบกับ 540,000 ล้านตัวในรุ่นก่อนหน้า แสดงให้เห็นว่าเทคโนโลยีของบริษัทมีประสิทธิภาพมากขึ้นในการทำงานที่ซับซ้อน

เพื่อให้บรรลุเป้าหมายนี้ PaLM 2 จึงใช้เทคนิคใหม่ที่เรียกว่า "การเพิ่มประสิทธิภาพการประมวลผลแบบขยาย" ซึ่งมอบ "ประสิทธิภาพโดยรวมที่ดีขึ้น รวมถึงการอนุมานที่รวดเร็วยิ่งขึ้นด้วยพารามิเตอร์ที่น้อยลงซึ่งช่วยลดค่าใช้จ่ายทั่วไป"

โมเดล AI ภาษาใหม่ล่าสุดของ Google ซึ่งได้รับการฝึกฝนในกว่า 100 ภาษา กำลังดำเนินการงานที่หลากหลายสำหรับฟีเจอร์และผลิตภัณฑ์ 25 รายการ รวมถึงแชทบอททดลอง Bard PaLM 2 มี 4 เวอร์ชันตามขนาด ตั้งแต่เล็กสุดไปจนถึงใหญ่สุด ได้แก่ Gecko, Otter, Bison และ Unicorn

จากเอกสารเผยแพร่สาธารณะ PaLM 2 มีประสิทธิภาพสูงกว่าโมเดลที่มีอยู่ในปัจจุบันทั้งหมด LlaMA ของ Facebook ซึ่งเปิดตัวในเดือนกุมภาพันธ์ ได้รับการฝึกฝนด้วยโทเค็น 1.4 ล้านล้านโทเค็น ขณะเดียวกัน OpenAI เพิ่งเปิดเผยขนาดข้อมูลการฝึกฝนสำหรับ ChatGPT ซึ่งเป็นเวอร์ชันของ GPT-3 ต่อสาธารณะครั้งล่าสุด โดยมีโทเค็น 3 แสนล้านโทเค็น

การเติบโตของแอปพลิเคชัน AI ก่อให้เกิดข้อถกเถียงเกี่ยวกับเทคโนโลยีนี้ เมื่อต้นปีที่ผ่านมา เอล มาห์ดี เอล มาห์ดี นักวิทยาศาสตร์ อาวุโสของ Google Research ได้ลาออกเพื่อประท้วงการขาดความโปร่งใสของยักษ์ใหญ่ด้านการค้นหา

สัปดาห์นี้ Sam Altman ซีอีโอของ OpenAI ยังได้ให้การเป็นพยานต่อคณะอนุกรรมการตุลาการของวุฒิสภาสหรัฐฯ ในเรื่องความเป็นส่วนตัวและเทคโนโลยีในบริบทของ AI ที่แพร่หลายมากขึ้น โดยที่ "บิดา" ของ ChatGPT เห็นด้วยกับสมาชิกรัฐสภาว่าจำเป็นต้องมีกฎระเบียบใหม่เพื่อควบคุม AI

(ตามรายงานของ CNBC)