llms.txt: ملف دليل مقترح للمواقع الصديقة للذكاء الاصطناعي

لمدة 20 عاماً، كان robots.txt هو الوسيلة للتواصل مع زواحف محركات البحث. كنت تضعه في جذر موقعك لتخبر Google وBing بالصفحات التي يجب زحفها والصفحات التي يجب تجاوزها. أما اليوم فإن مساعدي الذكاء الاصطناعي من OpenAI وAnthropic وGoogle وغيرها يقرؤون الويب أيضاً، ولهم احتياجات مختلفة. وllms.txt اقتراح للتواصل معهم.

اقتراح llms.txt، الذي نشره عام 2024 جيريمي هوارد (Jeremy Howard)، أحد مؤسسي Answer.AI، مصمم لمساعدة نماذج اللغة على فهم موضوع موقعك والعثور على أكثر صفحاته فائدة. فبدلاً من إجبار نظام ذكاء اصطناعي على تخمين ما إذا كان موقعك متجراً إلكترونياً أو منشوراً إخبارياً أو موقع توثيق تقني، يخبره llms.txt بذلك صراحة. من حيث المبدأ، قد يساعد هذا الوضوح أنظمة الذكاء الاصطناعي على استرجاع محتواك والاستشهاد به بدقة أكبر. لكنه يظل اقتراحاً وليس معياراً معتمداً، ولم يلتزم أي مزود للذكاء الاصطناعي باستخدامه.

المشكلة التي يحلها llms.txt

تواجه أنظمة الذكاء الاصطناعي مشكلة عملية. يستطيع نموذج اللغة قراءة قدر محدود فقط من النص في المرة الواحدة، وتحويل موقع كامل بقوائمه وسكربتاته وإعلاناته إلى نص نظيف قابل للاستخدام أمر صعب. وعندما يحتاج ChatGPT أو Gemini إلى الإجابة عن سؤال حول موقعك أو منتجك، فإنه لا يعرف ما الذي يجب أن يعطيه الأولوية. هل يقرأ صفحات المنتجات أم مقالات المدونة؟ أي صفحة توثيق هي المرجع؟ وما الصفحات الدائمة وما الصفحات القديمة؟ وبدون توجيه، قد يهدر نظام الذكاء الاصطناعي سياقه المحدود على صفحات قليلة القيمة أو يفوّت محتوى مهماً.

أما robots.txt فقد حلّ مشكلة مختلفة لمحركات البحث. فقد أتاح لك حظر عناوين URL وتوجيه الزواحف إلى خريطة الموقع وحماية ميزانية الزحف الخاصة بك. لكن robots.txt يتحكم في الوصول فقط؛ فهو لا يشرح محتواك. ولأنظمة الذكاء الاصطناعي احتياجات مختلفة. فهي تهتم بترتيب الموقع أقل، وتهتم أكثر بفهم المجالات التي تُعدّ فيها مرجعاً.

يهدف llms.txt إلى سد هذه الفجوة. فهو يمنح نماذج اللغة ملخصاً موجزاً عن موقعك وقائمة منتقاة بصفحاتك الرئيسية. وبدلاً من أن يضطر نظام الذكاء الاصطناعي إلى استنتاج أن موقعك يتناول "حلول الفوترة لشركات SaaS"، يمكنك إخباره بذلك مباشرة. والهدف هو تسهيل العثور على أفضل محتواك واستخدامه. لكن لا يوجد حتى الآن دليل على أنه يحسّن الفهرسة أو احتمال الاستشهاد بك في إجابات الذكاء الاصطناعي.

البنية والصياغة الأساسية لملف llms.txt

صيغة llms.txt هي Markdown بسيط، يقرؤه البشر ونماذج اللغة على حد سواء. يوجد الملف في جذر نطاقك (www.example.com/llms.txt) ويتبع ترتيباً ثابتاً: عنوان، وملخص موجز، وتفاصيل اختيارية، وأقسام من الروابط إلى صفحاتك الرئيسية. إليك مثالاً أساسياً:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

الصياغة بسيطة عن قصد حتى يتمكن البشر ونماذج اللغة من قراءتها. فأنت تذكر من أنت، وتلخّص ما يغطيه موقعك، وتشير إلى الصفحات الأهم. وعلى عكس robots.txt، لا يحتوي llms.txt على تعليمات سماح أو حظر: فهو دليل وليس قاعدة وصول، ولم يلتزم أي مزود كبير للذكاء الاصطناعي باتباعه.

العناصر الأساسية لملف llms.txt

عنوان H1 (العنصر الوحيد الإلزامي) هو اسم موقعك أو مشروعك. اجعله موجزاً ووصفياً. "Example SaaS Company" أفضل من "مرحباً بك في موقعنا."

ملخص كتلة الاقتباس هو عرضك المختصر لما يغطيه الموقع. كن محددين في ما يخص خبرتك الموضوعية. فبدلاً من "نكتب عن التقنية"، اكتب "ننشر أدلة تقنية لمطوري Python، تركز على البرمجة غير المتزامنة والاختبار والنشر في بيئة الإنتاج." هذه الدقة تساعد أنظمة الذكاء الاصطناعي على فهم مرجعيتك.

التفاصيل الاختيارية هي فقرات أو قوائم، بدون عناوين، تضيف السياق الذي يحتاجه النموذج لقراءة بقية الملف، مثل الجمهور الذي يستهدفه الموقع أو كيفية تفسير الصفحات المرتبطة.

أقسام H2 تجمع روابطك حسب الموضوع، مثل المستندات أو المنتجات أو الأدلة. كل قسم هو قائمة Markdown من الروابط إلى صفحاتك الرئيسية. اختار الصفحات التي تودّ أن يقرأها النموذج أولاً.

عناصر الروابط تستخدم الصيغة [اسم الصفحة](URL)، ويمكن أن يليها نقطتان ووصف موجز للصفحة. استخدم العنوان القانوني (canonical) لكل صفحة، بالنسخة التي تفضلها (مع www أو بدونها).

قسم Optional هو H2 خاص بعنوان "Optional". يمكن تجاوز الروابط الواقعة تحته عندما يلزم سياق أقصر، ولذلك فهو مكان الصفحات الثانوية.

ما لا يوجد في الملف: لا يحتوي llms.txt على حقول Allow أو Disallow أو Crawl-Delay، ولا على حقول تاريخ. فهو لا يتحكم في الوصول ولا في الزحف؛ وتبقى هذه القواعد في robots.txt.

خطوة أبعد: نسخ Markdown من صفحاتك

إلى جانب الملف الأساسي، يقترح المشروع أيضاً توفير نسخة Markdown نظيفة من كل صفحة مفيدة لنماذج اللغة، متاحة على عنوان URL نفسه مع إضافة .md (مثلاً www.example.com/docs/getting-started.md). ويمكن حينئذ أن تشير الروابط في llms.txt مباشرة إلى هذه النسخ:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

تنشر بعض المواقع أيضاً ملف llms-full.txt الذي يجمع النص الكامل لصفحاتها الرئيسية في ملف واحد، للأدوات التي تريد كل شيء في طلب واحد. هذا عرف تستخدمه بعض مواقع التوثيق، وليس جزءاً إلزامياً من الاقتراح. وفي الحالتين الهدف واحد: ضجيج أقل ليقرأه النموذج.

llms.txt مقابل robots.txt: الفروقات الرئيسية

robots.txt مقيِّد في الأساس: فأنت تخبر الزواحف بالأماكن التي لا يُسمح لها بدخولها. أما llms.txt فهو معلوماتي في الأساس: فأنت تخبر نماذج اللغة بموضوع موقعك والصفحات المهمة فيه. يستخدم robots.txt حقل User-agent لاستهداف زواحف محددة، وتلتزم به الزواحف الكبرى؛ أما llms.txt فلا يحتوي على حقل كهذا، ولم يؤكد مزودو الذكاء الاصطناعي الكبار أنهم يقرؤونه.

يؤثر robots.txt مباشرة في الظهور في البحث. فإذا منعت الزواحف من صفحة ما، فلن يتم زحفها عادة. أما llms.txt فلا تأثير له في الترتيب التقليدي، وتأثيره في الظهور داخل الذكاء الاصطناعي غير مثبت. وإذا استخدمته، فأبقِ الملفين كليهما في موقعك، ولكل منهما دوره.

عملياً، استخدم robots.txt لتحديد الزواحف، بما فيها زواحف الذكاء الاصطناعي مثل GPTBot أو ClaudeBot، المسموح لها بالوصول إلى أجزاء موقعك. واستخدم llms.txt فقط لتوجيه النماذج إلى أفضل محتواك؛ فهو لا يستطيع تقييد أي شيء. على سبيل المثال:

robots.txt: يحظر /checkout و/admin على الزواحف التي تختارها (مثل GPTBot)
llms.txt: يربط فقط بصفحات التوثيق والأدلة والمنتجات التي تريد أن تقرأها النماذج

أفضل ممارسات التنفيذ

أنشئ ملف llms.txt وضعه في www.example.com/llms.txt. استخدم نصاً عادياً بترميز UTF-8 مع تنسيق Markdown. تأكد من أن خادم الويب يقدّمه برأس Content-Type بالقيمة text/plain أو text/markdown. اختبره بزيارة العنوان مباشرة في المتصفح؛ ينبغي أن ترى النص الخام. وتحقق من أن البنية تتبع مواصفات llms.txt: عنوان H1 وملخص في كتلة اقتباس وأقسام H2 من الروابط.

اكتب أوصافاً واضحة ومحددة. لا تنسخ شعار صفحتك الرئيسية كما هو. كن صادقين بشأن ما يغطيه موقعك. إذا كنت تنشر محتوى في 15 موضوعاً مختلفاً، فاذكرها. وإذا كنت متخصصًا في مجال ضيق، فاذكر ذلك. فالوصف الصادق والمحدد أكثر فائدة للنموذج من الوصف الغامض. أدرج كلمات مفتاحية تصف مجالك أو قطاعك. إذا كنت موقع تجارة إلكترونية، فاذكر "التجارة الإلكترونية، المنتجات، الأسعار". وإذا كنت شركة SaaS، فاذكر "البرمجيات، الفوترة، التكاملات."

حدّث الملف كلما تغيّرت صفحاتك الرئيسية. فصيغة الملف لا تتضمن حقل تاريخ، لذا فإبقاؤه محدثاً مسؤوليتك. وإذا تغير تركيز موقعك الموضوعي بشكل كبير، فحدّث الملخص والأقسام. اضبط تذكيراً فصلياً لمراجعة llms.txt وتحديثه، خاصة إذا كنت تنشئ فئات محتوى جديدة أو تصقل تموضعك.

تابع اعتماد llms.txt. بعض منصات التوثيق وأدوات المطورين تنشر بالفعل ملفات llms.txt، لكن OpenAI وAnthropic وGoogle DeepMind لم تلتزم بقراءته عند زحف الويب. وإضافة ملف كهذا تجربة منخفضة التكلفة وليست ضماناً لأي شيء.

llms.txt ومخاوف الخصوصية

يتساءل بعضهم عما إذا كان llms.txt قادراً على التحكم في كيفية استخدام شركات الذكاء الاصطناعي لمحتواهم. الإجابة لا. فـشركات الذكاء الاصطناعي ودعاة الخصوصية يناقشون الأخلاقيات المتعلقة بزحف الويب وتدريب النماذج. وقد تطورت معايير البحث والزحف على مدى عقدين لتحقيق التوازن بين الوصول واحترام صانعي المحتوى. ويشكّل llms.txt جزءاً من هذا النقاش، لكنه صُمم لمساعدة النماذج على العثور على محتواك، لا لتقييد استخدامها له.

إذا أردت منع استخدام محتواك في تدريب الذكاء الاصطناعي، فإن llms.txt ليس الأداة المناسبة: فليس فيه أي تعليمة لذلك. استخدم بدلاً منه قواعد robots.txt لوكلاء المستخدم (user agents) المعنيين بالذكاء الاصطناعي، على سبيل المثال:

User-agent: GPTBot
Disallow: /

الالتزام بـ robots.txt طوعي أيضاً، لكن مزودي الذكاء الاصطناعي الجادين ينشرون أسماء زواحفهم ويقولون إنهم يحترمونه. وإذا أردت حماية أقوى، فاحظر الروبوتات في إعدادات الخادم أو جدار الحماية. وفي الوقت الحالي، لا يُعد أي من الملفين آلية قانونية. ومع تطور التشريعات وترسخ معايير القطاع، قد تظهر آليات أكثر متانة.

قياس تأثير llms.txt

من الصعب قياس العائد على الاستثمار (ROI) لـ llms.txt، لأن أي مزود للذكاء الاصطناعي لم يقل إنه يستخدم الملف. لكن يمكنك تتبع مؤشرات. راقب الإشارات إليك والاستشهادات بمحتواك في ChatGPT وGemini وClaude وPerplexity قبل إضافة الملف وبعدها. وإذا لاحظت نمواً في الاستشهادات، فهذا ارتباط وليس دليلاً على أن الملف هو السبب، لأن عوامل كثيرة أخرى تؤثر في الاستشهادات. قارن نمو استشهاداتك بمنافسين لم ينفذوا llms.txt بعد.

استخدم أدوات تتبع الإشارات في الذكاء الاصطناعي لقياس ظهورك في البحث بالذكاء الاصطناعي. تتبع عدد المرات التي يُستشهد فيها بمحتواك من قبل كبار مساعدي الذكاء الاصطناعي. وبهذا يمكنك الحكم بنفسك على ما إذا كانت إضافة llms.txt تغيّر شيئاً في موقعك.

مستقبل llms.txt

لم يُعتمد robots.txt رسمياً كمعيار إنترنت (RFC 9309) إلا في عام 2022، بعد عقود من الاستخدام. أما llms.txt فلا يزال في مرحلة الاقتراح، وقد يسلك المسار نفسه وقد لا يسلكه. والمواقع التي لا تملكه لا تُعاقَب اليوم، ولم تقل أي منصة كبرى للبحث بالذكاء الاصطناعي إنها تتحقق من هذا الملف.

بما أن إنشاء الملف يستغرق دقائق ولا يكلّف شيئاً، فإن إضافة llms.txt تجربة معقولة ومنخفضة المخاطر، خاصة للمواقع الغنية بالتوثيق. لكن حافظ على توقعات واقعية: إنه اقتراح، وفوائده غير مثبتة، وغالباً ما يكون وقتك أجدى إذا أنفقته على جودة المحتوى وبنيته والإشارات التي تعتمد عليها أنظمة الذكاء الاصطناعي فعلاً.

كيف تضيف ملف llms.txt على WordPress وShopify وWebflow وأنظمة إدارة المحتوى الأخرى

يجب أن يكون ملف llms.txt متاحًا في جذر نطاقك، على العنوان yourdomain.com/llms.txt، كنص عادي. تعتمد الطريقة على مقدار التحكم الذي يمنحه نظام إدارة المحتوى في ملفات الجذر:

• المواقع المستضافة ذاتيًا وWordPress: ارفع الملف إلى مجلد الجذر عبر مدير الملفات لدى الاستضافة أو عبر FTP. يمكن لبعض إضافات السيو في WordPress أيضًا إنشاؤه وتقديمه.
• المنصات المستضافة التي تمنع الرفع إلى الجذر (كثير من منشئي المواقع ومنصات التجارة الإلكترونية): استخدم إعداد llms.txt أو التطبيق الخاص بالمنصة إن وُجد؛ وإلا فاستضف الملف في مكان آخر وأضف إعادة توجيه من ‎/llms.txt، ثم تحقق من أن العنوان النهائي لا يزال يعيد نصًا عاديًا.
• المواقع الثابتة وheadless: ضع llms.txt في المجلد العام ليُنشر مع كل عملية نشر، وأعد إنشاءه عند تغير الصفحات الأساسية.

اكتب المحتوى باستخدام مولّد llms.txt المجاني، ثم تحقق من العنوان ونوع المحتوى وبنية Markdown عبر أداة التحقق من llms.txt. يشرح دليل التثبيت خطوة بخطوة كل حالة.

الخلاصة

llms.txt ملف دليل مقترح ومنخفض التكلفة للمواقع التي تريد مساعدة نماذج اللغة على العثور على أفضل محتواها. فبوضع ملف Markdown البسيط هذا في جذر نطاقك، تصف ما يغطيه موقعك وتربط بصفحاتك الرئيسية. الصيغة واضحة والتنفيذ يستغرق دقائق، لكن لم يلتزم أي مزود للذكاء الاصطناعي باستخدامه، لذا تعامل معه كتجربة لا كشرط. وإذا كان يهمك أن يستشهد بك ChatGPT وClaude وGemini وPerplexity، فركّز أولاً على محتوى واضح وجيد البنية وعلى إشارات قوية عبر الويب. استخدم أدوات البحث عن الكلمات المفتاحية واكتشافها من Sorank لتحديد المواضيع التي ينبغي إبرازها في ملف llms.txt.