التفضيلات
خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات
خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات
نماذج اللغة الصغيرة (SLM) هي نماذج AI مضغوطة بعدد أقل من المعاملات، مصممة من أجل السرعة والتكلفة والخصوصية. تعرفوا على كيفية عملها وكيف تختلف عن LLM.
.webp){kind=small}
.webp){kind=small}
نماذج اللغة الصغيرة هي نسخ مضغوطة من نماذج اللغة تفهم اللغة الطبيعية وتولدها باستخدام عدد أقل بكثير من المعاملات مقارنة بنظيراتها الكبيرة. في حين قد يحتوي نموذج كبير على مئات المليارات أو تريليونات من المعاملات ومعرفة عامة واسعة، يتراوح النموذج الصغير بين ملايين إلى بضعة مليارات ويُضبط لمهمة أضيق وأكثر تخصصا.
الجاذبية عملية. الحجم الأصغر يعني استدلالا (inference) أسرع، وتكلفة أقل، والقدرة على العمل على هاتف أو حاسوب محمول أو جهاز طرفي بدلا من مركز بيانات. مع اكتشاف الفرق أن معظم المهام اليومية لا تحتاج إلى نموذج ضخم، تكتسب نماذج SLM زخما حقيقيا، وهي تشغّل بشكل متزايد خطوات الاسترجاع والاستدلال وراء البحث المعتمد على AI.
نموذج اللغة الصغير هو قريب أصغر وأكثر تخصصا لنموذج لغة كبير، أسرع في التخصيص وأرخص في التشغيل. يتراوح عدد المعاملات عادة بين بضعة ملايين إلى بضعة مليارات، مقارنة بمئات المليارات أو التريليونات في أكبر النماذج. هذا الحجم المضغوط هو السمة المميزة، وكل ما عدا ذلك ينبع منها.
الأمر الحاسم هو أن نماذج SLM تُدرّب أو تُضبط عادة على بيانات مركزة وخاصة بمجال معين بدلا من الإنترنت العام بأكمله. نموذج مدرب على نصوص طبية، على سبيل المثال، يمكن أن يعطي إجابات أدق في الرعاية الصحية من نموذج عام، حتى لو كان يعرف أقل بكثير عن العالم بشكل عام. تشترك مع LLM في نفس أساس المحولات (transformer)، لكن بمقياس أصغر بكثير.
غالبا ما تُشتق نماذج SLM من نماذج أكبر عبر الضغط. يقوم تقطير المعرفة (knowledge distillation) بتدريب نموذج "طالب" أصغر لتقليد سلوك نموذج "معلم" أكبر، وينقل جزءا كبيرا من قدرته إلى حجم يمثل جزءا صغيرا منه. يقلل التكميم (quantization) من الدقة العددية، على سبيل المثال من قيم 32 بت إلى 8 بت، مما يقلص النموذج ويسرّعه مع الحفاظ على دقة معقولة.
يزيل التقليم (pruning) الخلايا العصبية أو الطبقات الزائدة التي تساهم بقليل، مما يقلص النموذج أكثر. بالإضافة إلى ذلك، تقوم طرق الضبط الدقيق (AI fine-tuning) الفعالة من حيث المعاملات مثل LoRA بتكييف نموذج أساسي مع مجال محدد بسرعة وبتكلفة منخفضة. معا، تحوّل هذه التقنيات نموذجا أساسيا (foundation model) ثقيلا إلى شيء خفيف ومركّز.
المفاضلة الأساسية هي بين الاتساع والكفاءة. تتفوق نماذج LLM في الاستدلال العام، والإبداع، والمهام متعددة اللغات لأنها دُرّبت على بيانات ضخمة ومتنوعة. تقايض نماذج SLM ذلك النطاق الواسع بالسرعة والتكلفة المنخفضة والدقة الخاصة بالمجال، فتؤدي أداء جيدا في المهام المركزة لكنها أضعف في اختبارات القياس التي تتطلب معرفة عامة واسعة.
فجوة الموارد كبيرة جدا. قد يتطلب تدريب نموذج طليعي (frontier model) عشرات الآلاف من وحدات معالجة الرسوميات (GPU) عالية الأداء تعمل لأشهر، بينما يمكن تدريب وتشغيل SLM بجزء صغير جدا من ذلك. في وقت الاستدلال (AI inference)، يمكن لـ SLM أن يعمل على موارد هاتف ذكي، بينما يحتاج النموذج الكبير غالبا إلى معالجات متعددة متوازية. بالنسبة إلى نماذج الاستدلال المعقدة، لا يزال الخيار الكبير يفوز.
التكلفة والطاقة تأتيان أولا. نظرا لأن الاستدلال نفقة مستمرة، فإن تشغيل نموذج مضغوط على نطاق واسع أرخص بكثير ويستهلك طاقة أقل بشكل كبير من نموذج كبير. زمن الاستجابة (latency) هو الميزة الثانية: تستجيب نماذج SLM بسرعة بزمن قصير للحصول على أول رمز (token)، وهو ما يناسب الاستخدامات في الوقت الفعلي مثل دعم العملاء.
مرونة النشر هي الميزة الثالثة. تعمل نماذج SLM على الجهاز نفسه، أو في البنية التحتية المحلية، أو عند الحافة على عتاد قياسي، وهو ما يعزز الخصوصية أيضا لأن البيانات الحساسة لا تحتاج أبدا إلى مغادرة الجهاز نحو السحابة. أخيرا، يجعل حجمها الصغير الضبط الدقيق سريعا، بحيث يمكن للفرق تكييف نموذج مع مجال متخصص خلال ساعات بدلا من أسابيع.
الجانب الآخر من التخصص هو الضيق. تؤدي نماذج SLM أداء أضعف في اختبارات القياس ذات المعرفة العامة الواسعة وتواجه صعوبة في الاستدلال المعقد عبر مجالات كثيرة. عند دفعها خارج المجال الذي دُرّبت عليه، تكون أكثر عرضة لتقديم إجابات واثقة لكنها خاطئة، لذا تعتمد موثوقيتها بشكل كبير على البقاء ضمن النطاق.
لديها أيضا نوافذ سياق أصغر وقدرة أقل على التكيف عبر مجالات متعددة، وتحتاج إلى مراقبة مستمرة لتحول المجال مع تغير العالم. القاعدة العملية هي مطابقة النموذج مع المهمة: استخدموا نموذجا صغيرا حيث تكون المهمة مركزة ومحددة جيدا، والجأوا إلى نموذج كبير عندما يكون الاتساع أو الاستدلال العميق ضروريا.
تتألق نماذج SLM في المهام المركزة عالية الحجم. تجيب روبوتات الدردشة لخدمة العملاء المدربة على معرفة خاصة بالشركة بدقة وبتكلفة منخفضة. يعمل استخراج البيانات البسيط والتلخيص والترجمة بشكل جيد مع زمن استجابة منخفض. تعتمد عليها المساعدات التي تعمل على الجهاز والتطبيقات التي تعمل دون اتصال لأنها لا تحتاج إلى اتصال بالسحابة.
كما أنها مناسبة بشكل طبيعي للأنظمة الوكيلة (agentic)، حيث تعمل العديد من استدعاءات النماذج الصغيرة والسريعة على أتمتة خطوات في سير العمل. تشمل الأمثلة الملموسة على النماذج الصغيرة القادرة عائلة Phi، وLlama 3 8B، وMistral 7B، التي تُظهر أن بضعة مليارات من المعاملات يمكنها التعامل بكفاءة مع مجموعة واسعة من المهام اليومية.
تحتل نماذج SLM بشكل متزايد موقعا داخل خط أنابيب البحث. وجدت الأبحاث حول إعادة صياغة الاستعلامات أن النماذج الصغيرة أدت أداء مماثلا للنماذج الكبيرة بجزء صغير من التكلفة، لذا تستخدمها المحركات والمساعدات لإعادة صياغة الاستعلامات وتصنيف النية والمعالجة المسبقة للمحتوى قبل أن يقوم نموذج أكبر بتركيب الإجابة النهائية. فهم هذا يساعد على شرح كيفية قراءة أنظمة AI لصفحاتكم.
بالنسبة إلى تحسين المحركات التوليدية، الخلاصة هي أن النماذج المضغوطة غالبا ما تقوم بالقراءة والتوجيه. المحتوى الواضح والمنظم جيدا والمركز على مجال معين أسهل على نموذج صغير في تحليله واستخلاصه وإعادة استخدامه. نفس الخصائص التي تساعد نماذج LLM مفتوحة المصدر على تأسيس إجاباتها على المحتوى الخاص بكم تساعد أيضا النماذج الصغيرة على عرضه بدقة.
تتحول الصناعة من عقلية "الأكبر أفضل" نحو نماذج بالحجم المناسب. تدرك فرق الإنتاج أن نموذجا صغيرا ومتخصصا يتعامل مع معظم العمل الروتيني بجزء صغير من تكلفة وزمن استجابة نموذج طليعي، مع الاحتفاظ بالنماذج الكبيرة للاستعلامات الأصعب. هذا التقسيم، نماذج صغيرة للمهام الروتينية ونماذج كبيرة للاستدلال المعقد، أصبح يشكّل المعمارية الافتراضية.
بالنسبة إلى المسوقين، الأثر هو الاستمرارية. مع انتقال المزيد من الاستدلال إلى نماذج مضغوطة وفعالة، تزداد أهمية المحتوى النظيف والمنظم والمتسق من الناحية الواقعية باستمرار، لأن هذا ما يمكن لأي نموذج، كبيرا كان أم صغيرا، أن يفهمه ويستشهد به بأكبر قدر من الموثوقية.
تقايض نماذج اللغة الصغيرة المعرفة الواسعة للنماذج الكبيرة بالسرعة والتكلفة المنخفضة والخصوصية والدقة الخاصة بالمجال، وتُبنى من خلال التقطير والتكميم والتقليم والضبط الدقيق الفعال. تتفوق في المهام المركزة والنشر على الجهاز، بينما تظل النماذج الكبيرة الخيار للاستدلال الواسع. بشكل متزايد، تقوم النماذج الصغيرة بالقراءة والتوجيه داخل البحث المعتمد على AI.
اطلعوا على كيفية ارتباطها بمشهد LLM الأوسع وبـالضبط الدقيق (AI fine-tuning)، واستخدموا أدوات البحث وتخطيط المحتوى من Sorank لبناء محتوى يمكن لأي نموذج تحليله والاستشهاد به. مصادر مرجعية: Red Hat وDataCamp.
الحجم والتركيز. يحتوي نموذج اللغة الصغير على ملايين إلى بضعة مليارات من المعاملات ويُضبط لمهام محددة ومركزة، بينما يحتوي نموذج اللغة الكبير على مليارات إلى تريليونات من المعاملات ومعرفة عامة واسعة. النماذج الصغيرة أسرع وأرخص ويمكنها العمل على هاتف، لكن النماذج الكبيرة تتعامل مع الاستدلال المعقد والمجالات المتنوعة بشكل أفضل بكثير.
تُشتق معظمها من نماذج أكبر عبر الضغط. يقوم تقطير المعرفة بتدريب نموذج "طالب" صغير لنسخ نموذج "معلم" أكبر، ويقلل التكميم من الدقة العددية لتقليص حجم النموذج، ويزيل التقليم الخلايا العصبية أو الطبقات الزائدة. ثم تقوم طرق الضبط الدقيق الفعالة من حيث المعاملات مثل LoRA بتكييف النتيجة مع مجال محدد بسرعة وبتكلفة منخفضة.
غالبا ما تتعامل النماذج الصغيرة مع الخطوات المساندة في البحث المعتمد على AI، مثل إعادة صياغة الاستعلامات وتصنيف النية والمعالجة المسبقة للمحتوى، لأنها تؤدي أداء مماثلا للنماذج الكبيرة في هذه المهام بتكلفة أقل بكثير. هذا يعني أن النماذج المضغوطة غالبا ما تقوم بقراءة صفحاتكم، لذا يكون المحتوى الواضح والمنظم والمركز على مجال معين أسهل عليها في تحليله واستخلاصه والاستشهاد به.
.svg)
.svg)
