מנועי חיפוש מבוססי קוד פתוח
אני אעשה את זה קצר ופשוט.
כל מנוע חיפוש רציני מתבסס – או אמור להתבסס – על ששה מרכיבים מרכזיים:
- מסד נתונים
- אלגוריתמים לזחילה, מפתוח, והגשת תוצאות
- מידע על המשתמשים ודפוסי התנועה שלהם ברשת (Clickstream and Keystream)
- עיצוב וממשק משתמש
- כוח עיבוד
- זמינות ורוחב פס
קיול, שהושק לפני יומיים, מתהדר במסד נתונים גדול, ובממשק משתמש חדשני. גוגל לעומתו, מנצח בחזית האלגוריתמית, במידע על הגולשים, בכוח העיבוד, וברוחב הפס.
פיתוח קהילתי של מנוע חיפוש צריך להפריד בין ששת המרכיבים הנ”ל ולפתח כל אחד מאלו באופן מודולרי.
בשונה מהמצב לפני שנה-שנתיים, כיום כוח עיבוד ורוחב פס אפשר להשיג באמצעות התחום ההולך ומתרחב של מחשוב מבוזר (Cloud Computing).
המשאב החשוב ביותר שמונע כרגע פיתוח חופשי של אלגוריתמים, הוא חוסר הזמינות של מסדי נתונים ושל מידע משתמשים. ברגע שאחד ממנועי החיפוש הגדולים ייאפשר גישה ישירה אל מסדי הנתונים שלו, הסכר ייפרץ, והקוד הפתוח יתחיל לזרום. דרך אגב, אני מאמין שגוגל יסכימו יום אחד לשחרר לציבור את מסד נתוני הזחילה הבסיסי שלהם, אבל לעולם לא ייחשפו את נתוני ה Clickstream, שהוא משאב חשוב בהרבה, וכמובן בעל פוטנציאל כלכלי גדול יותר.
על מסד נתוני הזחילה הראשוני, ניתן לבנות בהמשך מסד סמנטי, ועל גביו שכבה שלישית של מסד למפתוח מהיר.
לבסוף, אני מאמין שההתקדמות המשמעותית ביותר חייבת להעשות בתחום ממשק המשתמש. הממשק הנוכחי של גוגל dumbs down the user ולכן גם גולשים שיודעים בדיוק מה הם רוצים למצוא, לא מסוגלים להעביר את האינפורמציה הזו למנוע של גוגל. יש לעבור מחיפוש מבוסס מילות מפתח, לחיפוש מבוסס מטרה.
Pingback: גוגל על ריטלין | בלוג לשיווק באינטרנט, ייעוץ שיווקי וחיים באינטרנט