معلمات قليلة، بيانات كثيرة

يستخدم PaLM 2، أحدث نموذج لغة كبير (LLM) من Google والذي تم الإعلان عنه الأسبوع الماضي، ما يقرب من خمسة أضعاف كمية بيانات التدريب التي يستخدمها سابقه في عام 2022، مما يسمح له بالقيام ببرمجة أكثر تقدمًا، والرياضيات، وإنشاء المحتوى.

في مؤتمر جوجل للمطورين I/O، قدّم عملاق البحث PaLM 2، وهو نموذج لغوي مُدرّب على 3.6 تريليون رمز. هذه الرموز هي تسلسلات من الكلمات، وهي اللبنات الأساسية المُستخدمة لتدريب LLM على توقع الكلمة التالية.

تم إصدار الإصدار السابق من PaLM في عام 2022 وتم سكه بـ 780 مليار رمز.

بينما تُروّج جوجل لبراعتها في مجال الذكاء الاصطناعي في البحث والبريد الإلكتروني ومعالجة النصوص وجداول البيانات، تُحجم الشركة عن الكشف عن حجم أو تفاصيل مجموعات بيانات التدريب الخاصة بها. كما تُبقي OpenAI تفاصيل أحدث خوارزمية تدريب ماجستير الحقوق، GPT-4، سرية.

تُرجع شركات التكنولوجيا السبب إلى الطبيعة التنافسية لأعمالها. تتسابق كلٌّ من جوجل وOpenAI لجذب المستخدمين باستخدام روبوتات الدردشة بدلًا من محركات البحث التقليدية.

صغير الحجم، قوي، فعال من حيث التكلفة

تقول جوجل إن PaLM 2 أصغر من سابقيه، إذ يتدرب باستخدام 340 مليار معلمة، مقارنةً بـ 540 مليار معلمة في الإصدار السابق. وهذا يُظهر أن تقنية الشركة أصبحت أكثر كفاءة في أداء المهام المعقدة.

ولتحقيق هذه الغاية، يستخدم PaLM 2 تقنية جديدة تسمى "تحسين الحوسبة الممتدة"، والتي توفر "أداءً أفضل بشكل عام، بما في ذلك الاستدلال بشكل أسرع مع عدد أقل من المعلمات التي تقلل من النفقات العامة".

أحدث نموذج ذكاء اصطناعي لغوي من جوجل، مُدرّب على أكثر من 100 لغة، يُنفّذ مهامًا مُتنوعة لـ 25 ميزة ومنتجًا، بما في ذلك روبوت الدردشة التجريبي "بارد". يتوفر PaLM 2 بأربعة إصدارات حسب الحجم، من الأصغر إلى الأكبر: جيكو، ثعلب الماء، بايسون، ويونيكورن.

وفقًا للوثائق العامة، يُعد PaLM 2 أقوى من أي نموذج موجود. تم تدريب LlaMA من فيسبوك، الذي صدر في فبراير، على 1.4 تريليون رمز. في غضون ذلك، كشفت OpenAI علنًا عن حجم بيانات تدريب ChatGPT، وهو إصدار من GPT-3، والذي بلغ 300 مليار رمز.

أثار الانتشار الواسع لتطبيقات الذكاء الاصطناعي جدلاً واسعاً حول هذه التقنية. في وقت سابق من هذا العام، استقال المهدي المحمدي، كبير العلماء في قسم أبحاث جوجل، احتجاجاً على افتقار عملاق البحث للشفافية.

هذا الأسبوع، أدلى سام ألتمان، الرئيس التنفيذي لشركة OpenAI، بشهادته أمام اللجنة الفرعية القضائية بمجلس الشيوخ الأمريكي المعنية بالخصوصية والتكنولوجيا في سياق انتشار الذكاء الاصطناعي على نطاق أوسع، حيث اتفق "أب" ChatGPT مع المشرعين على أن هناك حاجة إلى لوائح جديدة لحكم الذكاء الاصطناعي.

(وفقا لشبكة CNBC)