.

איך גוגל מתייחס לקובצי רובוטס

01.01.0001

לאחרונה עלו טענות של בעלי אתרים ומקדמי אתרים כלפי גוגל על כך שלמרות ששמו באתר שלהם קובץ robots.txt במטרה שגוגל לא יאנדקס דפים מסוימים הם נדהמו לגלותם מופיעים למרות זאת בתוצאות החיפוש.


שימושי Robots.txt


כדי להבין על מה המהומה ולשם מה נועדו קובצי הרובוטס להלן מעט מידע על קבצים אלו ואופן השימוש בהם.

ה

קובצי robots משמשים כפקודה האומרת לגוגל-"אל תאנדקס". פקודות אלו משמשות למגוון מצבים בהם אין אנו רוצים שגוגל לא יראה דף,ספרייה או אפילו אתר שלם. למרות המגמה הרווחת בקידום אתרים באינטרנט השואפת לחשוף לגוגל כמה שיותר דפים מהאתר, יש מצבים בהם ימליץ מקדם אתרים לבעל האתר לחסום דפים,קבצים או אפילו אתר שלם.


כדי להשתמש בקובץ robots.txt, צריכה להיות לך גישה לתיקיית השורש של המארח ) אם אינך בטוח, בדוק עם חברת האירוח). אם אין לך גישה לתיקיית השורש בדומיין, תוכל להגביל את הגישה באמצעות מטא-תג מסוג robots בדפים בודדים.


דוגמא למצבים שבהם נרצה להשתמש בקובץ robots.txt בעבור אתר שלם הם למשל כשאנו בונים אתר חדש בסביבת פיתוח ולא מעוניינים שגוגל יאנדקס את האתר פעמיים (ישן וחדש). כשיש דפים שגוגל מאנדקס ולא היה צריך – למשל כשיש תוכן מוכפל או דפים חסרי ערך כמו דפי לוח שנה או כשיש מידע סודי שאינו מיועד לחשיפה ולאינדוקס.


קובץ רובוטס להסרת אתר שלם נראה כך:


User-agent:*


Disallow:/


קובץ רובוטס להסרת מחיצה יראה כך:


User-agent :Googlebot


Disallow :/<directory name>


הטענות שעלו שלפיהן גוגל אינו מכבד את ההוראות ומאנדקס דפים שנחסמה אליהן הגישה ע"י פקודת robots הביאו את גוגל לבדיקה מחודשת של הדרך בה גוגל נוהג עם דפים חסומים והמסקנה שמביא מט כץ מהנדס ראשי בגוגל היא זאת:


גוגל בהחלט לא מאנדקס דפים שחסומים בקובץ robots. יחד עם זאת כשיש דפים החסומים ברובוטס אך לדפים אלו מופנים קישורים המשדרים לגוגל שמדובר בדף "חשוב" (אחרת לא היו קישורים המופנים אליו) הוא בוחר להציג את הדף בתוצאות החיפוש אך לא מאנדקס אותו והראיה לכך היא שבתוצאות החיפוש לא נראה את הדף מוצג כמו כל דף מאונדקס ,עם DESCRIPTION .


ולכל מי שאינו רוצה שדף יוצג בשום מצב,ממליץ מט כץ פשוט לחסום אותו בפקודת NOINDEX ולמנוע בכך לחלוטין את הצגתו של הדף גם בפני הגולש.


אפשרות אחרת להגנה על קבצים מפני אינדוקס בגוגל היא להגן עליהם בסיסמא