איך לגרום לגוגל לא לקרוא את האתר שלנו לפני שהוא מוכן 

בתהליך בניית אתרים אנו בדרך כלל עובדים על האתר בסביבת העבודה של המחשב שלנו עד לשלב בו אנו רוצים שהלקוח יתן את חוות הדעת שלו. כששלב זה מגיע אנו מעלים את האתר לכתובתו וכך הלקוח יכול לראות ולהתרשם מהעבודה שבוצעה.

אך יש בעיה קטנה אחת, כמובן שכל אתר נבנה ולאחר מכן רצוי לעבור תהליך של קידום אתרים בגוגל או בכל מנוע חיפוש אחר שכן אתר ללא תנועה לא שווה את המאמץ. לכן עליית האתר לאויר שהוא מוכן בחלקו יכולה לגרום לעכבישי מנועי החיפוש לקרוא אותו, דבר שאנו לא רוצים שיקרה.

בתהליך קידום אתרים בגוגל קיימת תופעה שנהוג לכנות אותה "ארגז החול" כאשר אתר נכנס לארגז החול הוא לא מופיע בתוצאות החיפוש גם אם כותבים רק את שם הדומיין. תופעה זו נגרמת בעיקר כאשר אתרים חדשים עולים לאויר כאשר הם לא מוכנים, בעלי לינקים שבורים או כאשר הם לא מתעדכנים תקופה ארוכה ממש.

יש מספר דרכים להורות למנועי החיפוש לא לאנדקס את האתר שלנו אך היעילה והנוחה ביותר היא בעזרת קובץ robots.txt.
יש להציב את הקובץ הזה בתקיית השורש של האתר (root, wwwroot, html_public או httpdocs) בתוך קובץ זה יש מספר פקודות שכאשר העכבישים של מנועי החיפוש קוראים אותם הם יודעים לא לאנדקס את האתר, כך כשנתחיל בתהליך קידום אתרים בגוגל לא נהיה במצב של "ארגז חול" אלה נתחיל בצורה חלקה. אך חשוב כי בעת העלאת האתר בשלמותו לאויר יש למחוק את הקובץ הזה אחרת האתר לא יאונדקס ולא משנה כמה החלפת קישורים תבצעו.

פקודה לא לאנדקס את האתר כלל:

יוצרים קובץ בשם robots.txt ובקובץ רושמים את הפקודה הבאה:

User-agent: *
Disallow: /

פקודה לא לאנדקס מספר תיקיות בלבד:

בכדי לחסום תיקיות מסויימות השתמשו בקוד הבא כאשר יש רשימת התקיות עם הפקודה disallow

User-agent: *
Disallow: /admin/
Disallow: /photos/
Disallow: /private/

הקובץ robots.txt חשוף לכלל הגולשים לכן יש להיזאר מגולשים עם כוונות זדוניות.

והכי חשוב! שהאתר עולה לאוויר לפני תחילת תהליך של קידום אתרים – אל תשכחו למחוק את הקובץ.