llms.txt: المعيار الجديد للمواقع الصديقة للذكاء الاصطناعي

لمدة 20 عاماً، كان robots.txt هو الوسيلة للتواصل مع زواحف محركات البحث. كنت تضعه في جذر موقعك لتخبر Google وBing بالصفحات التي يجب زحفها، وتلك التي يجب تخطيها، ومتى يتم الزحف. الآن، تظهر موجة جديدة من الزواحف: زواحف LLM من OpenAI وAnthropic وGoogle وغيرها. هذه الزواحف لها احتياجات مختلفة. llms.txt هو المعيار الناشئ للتواصل معها.

صُمم مواصفات llms.txt لمساعدة أنظمة الذكاء الاصطناعي على فهم موضوع موقعك وكيفية فهرسة محتواك بكفاءة. فبدلاً من إجبار زواحف الذكاء الاصطناعي على تخمين ما إذا كان موقعك متجراً إلكترونياً أو منشوراً إخبارياً أو موقع توثيق تقني، يخبرها llms.txt بذلك صراحةً. يساعد هذا الوضوح أنظمة الذكاء الاصطناعي على استرجاع محتواك والاستشهاد به بدقة أكبر في نتائج البحث.

المشكلة التي يحلها llms.txt

تواجه زواحف الذكاء الاصطناعي مشكلة فريدة. عندما يزحف ChatGPT أو Gemini موقعك لبناء بيانات تدريب أو استرجاع، فإنها لا تعرف ما الأولوية. هل عليها زحف صفحات المنتجات أم مقالات المدونة؟ إلى أي عمق يجب أن تزحف التوثيق؟ ما الصفحات دائمة الصلاحية (evergreen)، وما الصفحات القديمة؟ بدون توجيه، قد تهدر زواحف الذكاء الاصطناعي الموارد على صفحات منخفضة القيمة أو تفوّت محتوى مهماً.

ساعد robots.txt في حل هذه المشكلة لمحركات البحث. سمح لك بتحديد ميزانيات الزحف (crawl budget)، وعناوين URL الممنوعة، ومواقع خرائط الموقع. لكن robots.txt صُمم لمحركات البحث التقليدية التي تُحسّن للترتيب. لزواحف LLM احتياجات مختلفة. فهي تهتم أقل بمركز الترتيب وأكثر بفهم المجال الذي تتمتع فيه بالمصداقية.

يسد llms.txt هذه الفجوة. فهو ينقل بنية الموقع والتركيز الموضوعي إلى زواحف الذكاء الاصطناعي. فبدلاً من اضطرار الزواحف إلى استنتاج أن موقعك يتعلق بـ"حلول الفوترة لشركات SaaS"، يمكنك إخبارها مباشرة. يسرّع هذا الاكتشاف، ويحسّن دقة الفهرسة، ويزيد من احتمالية الاستشهاد بمحتواك في نتائج بحث الذكاء الاصطناعي ذات الصلة.

البنية والصياغة الأساسية لملف llms.txt

تنسيق llms.txt بسيط وقابل للقراءة البشرية. يقع الملف في جذر نطاقك (www.example.com/llms.txt) ويحتوي على أزواج مفتاح-قيمة تصف موقعك. إليك مثال أساسي:

Title: Example SaaS Company
Description: We provide billing automation software for B2B SaaS companies. Our content covers pricing strategies, metering, payment processing, and compliance.
Author: Example Company
Updated: 2026-04-01
Url: https://www.example.com
Crawl-Delay: 2
Allow: /blog, /docs, /resources
Disallow: /admin, /user-dashboard, /checkout

الصياغة بسيطة عمداً حتى تتمكن الزواحف من تحليلها بسهولة. تحدد من أنت، وماذا يغطي موقعك، وأي الأقسام يُسمح بزحفها. زواحف LLM التي تحترم llms.txt ستتبع هذه التوجيهات، تماماً كما تتبع زواحف Google ملف robots.txt.

الحقول الأساسية في llms.txt

Title يخبر الزواحف باسم موقعك أو عملك. اجعله موجزاً ووصفياً. "Example SaaS Company" أفضل من "Welcome to our site".

Description هو عرضك التقديمي المختصر لما يغطيه الموقع. كن محدداً بشأن خبرتك الموضوعية. بدلاً من "We write about tech"، اكتب "We publish technical guides for Python developers, focusing on async programming, testing, and production deployment". تساعد هذه الدقة أنظمة الذكاء الاصطناعي على فهم مصداقيتك.

Author يحدد مؤسستك أو علامتك التجارية الشخصية. استخدم اسم كيانك القانوني أو اسم علامتك التجارية الرسمي.

Updated يخبر الزواحف بآخر مرة حدّثت فيها ملف llms.txt. استخدم تنسيق ISO 8601‏ (YYYY-MM-DD). تستخدم الزواحف هذا لمعرفة ما إذا كان عليها إعادة جلب الملف.

Url هو عنوان URL الأساسي لموقعك. استخدم النسخة التي تفضلها (مع أو بدون www).

Allow وDisallow يحددان أي أقسام من موقعك يمكن لزواحف LLM فهرستها. أدرج المجلدات أو المسارات. ستفهرس الزواحف المسارات المسموح بها وتتخطى الممنوعة. يمكنك وضع عدة قواعد Allow وDisallow.

Crawl-Delay (اختياري) يحدد عدد الثواني التي يجب أن تنتظرها الزواحف بين الطلبات. استخدمه إذا كان خادمك تحت ضغط. القيمة من 1 إلى 5 ثوانٍ شائعة.

إعدادات llms.txt المتقدمة

بالإضافة إلى البنية الأساسية، يمكن أن يتضمن llms.txt بيانات وصفية موضوعية لتوجيه الزواحف نحو مجالات خبرتك. أضف حقل Topics يسرد مواضيعك الأساسية:

Topics: Machine Learning, Natural Language Processing, Computer Vision, Large Language Models, AI Safety

يمكنك أيضاً تضمين حقل Entities لتحديد المؤسسات أو الأشخاص الرئيسيين الذين يغطيهم موقعك:

Entities: OpenAI, Anthropic, Google, Meta Platforms, Yann LeCun, Geoffrey Hinton

تساعد هذه الحقول زواحف الذكاء الاصطناعي على فهم مصداقيتك الموضوعية وخبرتك بالكيانات. عندما ترى زحافة "Machine Learning" و"Large Language Models" في حقل Topics لديك، فإنها تعرف أن عليها إيلاء اهتمام خاص لمحتواك حول هذه المواضيع.

llms.txt مقابل robots.txt: الفروقات الرئيسية

يتسم robots.txt بطابع تقييدي في المقام الأول. أنت تخبر الزواحف أين غير مسموح لها بالدخول. أما llms.txt فهو إعلامي في المقام الأول. أنت تخبر الزواحف بموضوعك وما هو مهم. يستخدم robots.txt حقل User-Agent لاستهداف زواحف محددة؛ بينما llms.txt عالمي لكن مع مراعاة زواحف LLM.

يؤثر robots.txt بشكل مباشر على ترتيب البحث. إذا منعت الزواحف من صفحة، فلن تُرتّب. أما llms.txt فتأثيره المباشر على الترتيب التقليدي أقل، لكنه يزداد أهمية باستمرار من أجل إمكانية الاكتشاف بواسطة الذكاء الاصطناعي. من الأفضل أن يكون لديك كلا الملفين على موقعك بقواعد متكاملة.

في كثير من الحالات، ستريد قواعد أكثر صرامة في robots.txt (حماية الصفحات الحساسة من فهرسة Google) وقواعد أكثر تساهلاً في llms.txt (مساعدة زواحف الذكاء الاصطناعي على اكتشاف خبرتك الموضوعية). على سبيل المثال:

robots.txt: Disallow /user-dashboard, /checkout, /admin
llms.txt: Allow /blog, /docs, /resources; Disallow /checkout, /admin, /user-dashboard

أفضل ممارسات التنفيذ

أنشئ ملف llms.txt الخاص بك وضعه في www.example.com/llms.txt. استخدم ترميز نص UTF-8 عادي. تأكد من أن خادم الويب الخاص بك يقدمه برأس Content-Type من نوع text/plain. اختبره بزيارة عنوان URL مباشرة في متصفحك؛ يجب أن ترى ملف النص الخام. تحقق من صحة صياغتك باستخدام أداة التحقق من llms.txt للتأكد من قدرة الزواحف على تحليله بشكل صحيح.

اكتب أوصافاً واضحة ومحددة. لا تكتفِ بنسخ شعار صفحتك الرئيسية. كن صادقاً بشأن ما يغطيه موقعك. إذا كنت تنشر محتوى حول 15 موضوعاً مختلفاً، أدرجها جميعاً. إذا كان تركيزك ضيقاً، فقل ذلك. تُقدّر أنظمة الذكاء الاصطناعي البيانات الوصفية الصادقة والمحددة أكثر من الأوصاف الغامضة. أدرج كلمات مفتاحية تصف مجالك أو صناعتك. إذا كنت موقع تجارة إلكترونية، اذكر "e-commerce, products, pricing". إذا كنت شركة SaaS، اذكر "software, billing, integrations".

حدّث حقل Updated كلما أجريت تغييرات على llms.txt الخاص بك. يساعد هذا الزواحف على معرفة متى يجب إعادة الجلب وإعادة التحليل لإعداداتك. إذا تغير التركيز الموضوعي لموقعك بشكل كبير، حدّث حقلي Description وTopics. حدد تذكيراً ربع سنوي لمراجعة وتحديث llms.txt الخاص بك، خصوصاً إذا كنت تنشئ فئات محتوى جديدة أو تُنقّح موضعك التنافسي.

راقب اعتماد llms.txt. مع توسّع OpenAI وAnthropic وGoogle DeepMind لزواحف الذكاء الاصطناعي الخاصة بها، فإن وجود llms.txt يضمن أن موقعك مُهيأ بشكل صحيح لزحف الذكاء الاصطناعي. بحلول 2026، أصبح هذا أمراً أساسياً بالنسبة للمواقع الجادة بشأن ظهورها في بحث الذكاء الاصطناعي.

llms.txt ومخاوف الخصوصية

يخشى بعض الأشخاص أن يسمح llms.txt لشركات الذكاء الاصطناعي بتدريب النماذج على بياناتهم دون إذن. هذا قلق مشروع. تناقش شركات الذكاء الاصطناعي ودعاة الخصوصية أخلاقيات زحف الويب وتدريب النماذج. لقد تطورت معايير البحث والزحف على مدى عقدين لتحقيق التوازن بين إتاحة الوصول واحترام صناع المحتوى. يُعد llms.txt جزءاً من هذا التطور، ويمنح أصحاب المواقع مزيداً من التحكم.

إذا كنت تريد منع استخدام محتواك لتدريب نماذج LLM، أضف إلى llms.txt:

Training-Allowed: false

قد تحترم بعض مختبرات الذكاء الاصطناعي هذا التوجيه. ومع ذلك، فإن الامتثال لـ llms.txt طوعي؛ فلا يوجد قانون يُلزم زواحف الذكاء الاصطناعي باحترامه. إذا كنت تريد حماية أقوى، استخدم رؤوس X-Robots-Tag أو إعدادات الخادم لديك لرفض وصول جميع الروبوتات. في الوقت الحالي، يُعد llms.txt أداة تواصل قائمة على أفضل الجهود، وليس آلية قانونية. مع تطور التنظيم وترسّخ معايير الصناعة، قد تظهر آليات أقوى.

قياس تأثير llms.txt

من المبكر قياس العائد على الاستثمار من llms.txt نظراً لأن الاعتماد لا يزال في تصاعد. لكن يمكنك تتبّع مؤشرات معينة. راقب إشارات واستشهادات الذكاء الاصطناعي الخاصة بك عبر ChatGPT وGemini وClaude وPerplexity. إذا نفذت llms.txt ولاحظت نمواً في الاستشهادات، فهناك ارتباط. قارن نمو استشهاداتك بمنافسين لم ينفذوا llms.txt بعد.

استخدم أدوات تتبع ذكر الذكاء الاصطناعي لقياس ظهورك في بحث الذكاء الاصطناعي كمياً. تتبع عدد مرات الاستشهاد بمحتواك من قبل محركات الذكاء الاصطناعي الرئيسية. مع انتشار اعتماد llms.txt، يجب أن ترى تحسناً قابلاً للقياس في إمكانية الاكتشاف إذا كان ملفك مُهيأاً بشكل جيد.

مستقبل llms.txt

على غرار الطريقة التي أصبح بها robots.txt معياراً، يتجه llms.txt ليصبح توقعاً عالمياً لمعايير الويب. بحلول 2027، من المرجح أن تتحقق منصات بحث الذكاء الاصطناعي الرئيسية من وجود llms.txt كخطوة أولى في الزحف. قد تُزحف المواقع التي لا تملكه بكفاءة أقل أو تُعطى أولوية أدنى.

الاعتماد المبكر خطوة ذكية لتحقيق ميزة تنافسية. يشير تنفيذ llms.txt اليوم لزواحف الذكاء الاصطناعي إلى أنك تفهم مشهد البحث الجديد. يساعد ذلك على اكتشاف محتواك وفهرسته بكفاءة أكبر. ومع تزايد المنافسة على الظهور في الذكاء الاصطناعي، سيصبح الإعداد الصحيح أكثر أهمية، وليس أقل.

الخلاصة

يصبح llms.txt أساسياً بقدر robots.txt بالنسبة للمواقع التي تُحسّن لظهورها في بحث الذكاء الاصطناعي. من خلال وضع هذا الملف النصي البسيط في جذر نطاقك، فإنك تنقل ما يغطيه موقعك وكيف يجب على زواحف الذكاء الاصطناعي فهرسته. التنسيق بسيط، والتنفيذ يستغرق دقائق، والفائدة واضحة: قابلية اكتشاف أفضل بواسطة الذكاء الاصطناعي. إذا كنت جاداً بشأن الاستشهاد بك من قبل ChatGPT وClaude وGemini وPerplexity، فنفّذ llms.txt الآن. مع نمو حركة بحث الذكاء الاصطناعي وانتشار الاعتماد، سيصبح إعداد llms.txt الصحيح توقعاً معيارياً. تقدّم على منافسيك بتنفيذه اليوم. استخدم أدوات بحث الكلمات المفتاحية والاكتشاف من Sorank لتحديد المواضيع التي يجب إبرازها في ملف llms.txt الخاص بك.