רשת האינטרנט, נוצרה בשנות ה- 60 של המאה ה- 20, כפרויקט של משרד ההגנה האמריקאי בשיתוף עם גופים אקדמיים, במטרה לשמור מידע בצורה מבוזרת ולא מרוכזת, כך שבמקרה של התקפה או קריסה במקום מסוים, לא יאבד מידע כה רב.
בתחילת הדרך להקמת רשת האינטרנט נוצרה בעיה והיא חוסר קיום ממשק אחיד. זה יאפשר גישה נוחה וקלה לקבצים המאוחסנים במחשבים השונים המחוברים לרשת.
הגישה לקבצים מקוונים, הייתה משימה שהורכבה משני שלבים הכוללים תוכנות התחברות ממחשב למחשב (TELNET) ותוכנות FTP. זאת לשם העתקת קבצים ממחשב למחשב. לרוב המוחלט של משתמש המחשב לא היה קיים הידע ו/או היכולת להפעיל תוכנות אלו בהתחשב ביכולות הגישה למחשבים באותה תקופה. כל אחזור של קובץ מרשת האינטרנט, דרש ידיעה מראש של פרטים רבים דוגמא: כתובת IP למחשב אליו ניגשים, סיסמאות והרשאות התחברות, שם נתיב התיקה ועוד.
כלי איתור קבצים ומידע, פותחו בשנות ה 90 על ידי צוותי מחקר רבים באוניברסיטאות בעולם. הם החלו להיות זמינים לבעלי נגישות לרשת האינטרנט כאשר בתקופה זו השתמשו ברשת בעיקר אנשי מחקר ואקדמיה, מדענים וסוכנויות ממשלתיות Archie ? 1990 אוניברסיטת McGill במונטריאול , Gopher - 1991 באוניברסיטת מינסוטה ארה"ב , Veronica ? 1992 אוניברסיטת נבדה ארה"ב.
רשת האינטרנט וחיפוש מידע ב- WEB
מול אינטרס הציבור לחופש מידע, ניצבת מציאות טכנולוגית שבה המידע מאורגן באופן כה כאוטי, עד שניתן לכנות אותו Information Entropy [7]
טים ברנרס-לי (Tim Berners-Lee) מהנדס תוכנה, פיתח תוכנה אשר הפכה לפרוטוקול האינטרנט של ימינו . ברנרס-לי יצר גישה נוחה וקלה לקבצים המאוחסנים במחשבים השונים המחוברים לרשת האינטרנט וזאת באמצעות פיתוח מערכת בעלת ממשק אחיד, אשר אליה יכולים להתחבר מחשבים בכל רחבי העולם המתקשרים בפרוטוקול אחיד HTTP -Hypertext Transfer Protocol פרוטוקול זה מבוסס על טכניקת ההיפרטקסט וקישוריות בין דפי WEB.
תופעת אימוץ ה"ווב" הפכה לגורפת בכל העולם. שני אירועים מרכזיים תרמו לכך: האחד הוא התפתחות הדפדפנים הגראפיים (כמו אלה המוכרים לנו כיום), אשר אפשרו שילוב בין טקסט לתמונה בחלון אחד והפכו לראשונה את התצוגה של חומר אינטרנטי לאטרקטיבית במיוחד. השני הוא העברת "השליטה" על האינטרנט ממשרד המדע האמריקאי לסקטור הפרטי, כך שכל אחד, פרט או חברה, יכולים היו להקים אתר באינטרנט.
עד מהרה התגלה הכוח העצום של הווב והעסקים החלו לשגשג.
הווב הצליח מאוד בשל ממשקו הפשוט ובשל אופיו הביזורי, אולם הטבע הביזורי יצר בעיה: בשל חוסר ממונה על הווב, זה גדל במהירות וללא כל רשימה מסודרת של השרתים שנוספו לו ותוכנם. דבר זה הקשה מאוד על איתור מידע חיוני ברשת.
בכל העולם התפתחו מדריכי אתרים של בעלי אתרים אשר ריכזו קישורים לאתרים אחרים, אך קצב הגידול באינטרנט היה עצום. דבר זה גרם למדריכי האתרים להיות בלתי רלוונטיים או אובייקטיבים עבור המחפשים.
בעידן האינטרנט הנוכחי, קיימים ברשת מספר רב של מנועי חיפוש כלליים, אשר מספקים מידי יום תשובות ומידע לשאילתות רבות של גולשים מכל רחבי העולם, בכל השפות ובכל התחומים בהם קיים מידע ברשת. כמו כן, נוצרו מגוון מנועי חיפוש המשרתים נישות ממוקדות דוגמת חיפוש וידאו (youtube), חיפוש תמונות (flicker.com) ועוד.
