מחולל Robots.txt: צור קובץ robots.txt אופטימלי תוך שניות

קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בשורש האתר שלך. הוא מגדיר כללי גישה לסורקים אוטומטיים — מנועי חיפוש, בוטי AI, כלי ניטור. הגדרה לא נכונה יכולה לגרום לדפים חשובים שלא ייכנסו לאינדקס, לבזבוז תקציב סריקה על עמודים בלי ערך, ולחשיפה לא רצויה של תוכן פנימי. הכלי שלמעלה יוצר קובץ robots.txt תקין ומדויק מהגדרות שאתה מספק.

מה כולל robots.txt טוב

הגדרות בסיסיות בקובץ robots.txt:

• User-agent: מי הכלל חל עליו (User-agent: * לכולם, User-agent: Googlebot לגוגל בלבד)
• Disallow: נתיבים שאסורים לגישת הבוט (/admin/, /staging/, /private/)
• Allow: חריגים מוגדרים לתוך נתיב חסום
• Sitemap: כתובת ה-sitemap.xml שלך שמסייעת לסורקים
• Crawl-delay: פרמטר אופציונלי להאטת הסריקה (רק בוטים שמכבדים אותו)

בוטי AI — שיקולים ב-2025

בשנת 2025 חשוב להוסיף כללים עבור בוטי AI. הנה הבוטים העיקריים ו-User-agents שלהם:

• GPTBot — OpenAI ChatGPT
• ClaudeBot — Anthropic Claude
• Google-Extended — מאגר נתוני אימון של Google
• PerplexityBot — Perplexity AI
• Meta-ExternalAgent — Meta AI
• Amazonbot — Amazon Alexa

אתרים שרוצים להיות מצוטטים על ידי עוזרי AI ישאירו גישה לבוטים אלה. אתרים שמעוניינים לשמור על תוכן קנייני ייחסמו אותם. קיים פשרה ברורה: חסימת בוטי AI מגנה על התוכן שלך אך מפחיתה את הסיכוי שלך להיות מצוטט כמקור.

שגיאות נפוצות בקבצי robots.txt

בביקורת אתרים, שגיאות אלה שכיחות:

1. חסימת JS ו-CSS: גוגל זקוק לגישה לקבצי JavaScript ו-CSS כדי לרנדר דפים כראוי. חסימתם פוגעת בסריקה.
2. חסימת תמונות: Disallow: /images/ מונע אינדקס תמונות ב-Google Images ויכול לפגוע ב-SEO.
3. כלל Disallow: / על Googlebot: שגיאה קריטית שחוסמת את כל האתר מגוגל. קורה בדרך כלל בטעות בזמן פיתוח.
4. סינטקס לא תקין: robots.txt רגיש לרווחים, אותיות גדולות ושורות ריקות. הכלי שלנו מייצר סינטקס מאומת.
5. חוסר Sitemap: אי-ציון ה-Sitemap מפחית את יעילות הסריקה.

בדיקת קובץ robots.txt

לאחר יצירת הקובץ ישנן שתי דרכים עיקריות לאמות אותו:

• Google Search Console: robots.txt Tester בתוך Google Search Console מאפשר לבדוק כל URL מול הכללים שהגדרת
• כלי אינטרנט: אתרים כמו seositecheckup.com ו-technicalseo.com מציעים בדיקת robots.txt חינמית

לאחר העלאת הקובץ לשרת, שנה שם לrobots.txt ומקם אותו בשורש הדומיין (https://yourdomain.com/robots.txt). הפעל Fetch and Render ב-Google Search Console כדי לוודא שגוגל קורא אותו בהצלחה.