חיפוש מורפולוגי חכם מבוסס הקשר

Concept Search

השפות השמיות (כגון עברית וערבית)  מורכבות מאוד מבחינה לשונית, מורכבות המקשה מאוד על ביצוע חיפוש איכותי (מבוסס מנוע חיפוש)  במסמכים, באתרי האינטרנט, בארכיונים, במסדי נתונים ובכל מאגר מידע המכיל מידע כתוב.

מורכבות זו נובעת מהעובדה שלכל מילה בשפות אלה קיימות לעיתים מאות ואלפי נטיות שונות, מה שגורם לכך שמנועי החיפוש לא יזהו את כל המופעים של מילת החיפוש כשהיא כתובה בכתיב שונה או בנטייה לשונית אחרת, וכתוצאה מכך לא יאותרו בממוצע כחצי מהמסמכים הרלוונטיים.

דוגמה לבעיה:

משתמש מחפש את המילה “אישה” במאגר מסמכים. באחד המסמכים מופיעה המילה “נשים”. במרבית המקרים ירצה המשתמש לאחזר גם את המסמך הזה, אולם מנועי חיפוש אשר אינם עושים שימוש בניתוח טקסט מורפולוגי לא יחזירו את המסמך, והמשתמש לא ייחשף אליו כלל (על אף שהוא מאוד רלוונטי לחיפוש).

החיפוש המורפולוגי החכם של מלינגו פותר את המורכבות הזו, ומאפשר למנועי החיפוש אחזור של כל המסמכים הרלוונטיים – אלו המכילים את המילה המבוקשת לנטיותיה השונות – ללא איבוד תוצאות. המוצר של מלינגו מוסיף יכולות הכרחיות נוספות כגון התגברות על רב-משמעות, תזאורוס, וכן יכולות נוספות שמשפרות משמעותית את איכות אחזור המידע והרלוונטיות שלו למשתמש.

כיצד פועל ה-Concept Search של מלינגו 

מוצר ה-Concept Search המורפולוגי של מלינגו מתממשק למערכות האינדוקס והאחזור של כל מנועי החיפוש החשובים בשוק, כגון – Lucene, Solr, SharePoint, Attivio, Dt-Search ולבסיסי הנתונים השונים – MS SQL Server, Oracle וכו’.

המוצר משתלב בתהליך האינדוקס ומבצע ניתוח מדויק של כל מילה בטקסט, הרכיב מנרמל אותה לצורת היסוד שלה תוך ניתוח ההקשר בו המילה מופיעה ומאחד את כל צורות ההטיה או הכתיב של מילה מסוימת לצורת בסיס אחת.

למשל, המילים: אישה, נשים, אישתי ,ואשתי, כשנשותינו, וכו’, כולן ינורמלו לאותה צורת יסוד.

במקרה של “נשים”, על המנוע להחליט האם מדובר ב”אשה” או בפועל “לשים” וההחלטה תבוצע על פי ההקשר של המילה בטקסט. האינדקס שנבנה הוא אינדקס מנורמל הכולל את הטקסט המקורי בצירוף צורת היסוד.

בזמן השאילתה מילות החיפוש מנותחות מורפולוגית, כמו בתהליך האינדוקס, ותוצאת הניתוח היא ערך מנורמל אשר מופנה להשוואה מול האינדקס המנורמל.

כתוצאה מכך חיפוש המילה “אישה” יחזיר לא רק תוצאות המכילות את המילה “אישה”, אלא גם תוצאות המכילות את כל הטיותיה – “נשים”, “אישתו”, “נשותיו” וכו’.

בכל שאלה או בקשה להדגמה ניתן ליצור עימנו קשר

יצירת קשר

מאפייני החיפוש החכם של מלינגו

התגברות על רב-משמעות

בשפות שמיות קיימים מקרים רבים של מילים הכתובות באופן זהה אך הן בעלות משמעות שונה לחלוטין זו מזו. רכיב ה-Context Search של מלינגו מתגבר על הרב-משמעות הזו. למשל, ביצוע שאילתה של המילה “פיצה” (Pizza) – יאחזר מסמכים המכילים את הרצף “טעימה יותר מפיצה רגילה” אבל לא יחזיר מסמכים המכילים את הרצף “היא מפיצה מורשית של המוצר”. כתוצאה מכך תוצאות החיפוש מדויקות יותר ואינן מכילות תוצאות לא רלוונטיות.

ניתוח מורפולוגי מדויק

לכל מילה בטקסט מבוצע ניתוח מורפולוגי מדויק, כך שביצוע חיפוש של המילה “רופא” יאחזר מסמכים המכילים את המילים “רופאים”, “ורופאיהם”, “ולרופאי”, כלומר יוחזרו מסמכים המכילים את כל ההטיות האפשריות, בכל הזמנים ועם כל המוספיות, תוך התגברות על רב המשמעות, טיפול בכתיב מלא/חסר, טיפול בהטיות פעלים, טיפול בכתיבים חלופיים וסאונדקס .

חיפוש לפי צליל – סאונדקס

רכיב ה-Context Search  של מלינגו מאפשר חיפוש לפי צליל מילת החיפוש, הדבר רלוונטי במיוחד בחיפוש של שמות – חיפוש השם “אוורבוך” יחזיר גם תוצאאות המכילות את השם בכתיב שונה כגון – “אברבוך”. חיפוש “מזדה” יחזיר גם תוצאות המכילות “מאזדה”. יכולת זו כוללת תוספת מיוחדת לטיפול בשמות ממקור לא עברי, כמו ערבית ופרסית הכתובים באותיות עבריות.

חיפוש לפי שורש ומשפחה סמנטית - חיפוש מורחב

רכיב ה-Context Search  של מלינגו מאפשר זיהוי של מילים שאינן הטיות של אותה צורת יסוד, אך חולקות את אותו השורש ויש ביניהן קשר סמנטי. שימוש ביכולת החיפוש המורחב, מאפשר למשל שביצוע שאילתה של המילה “עיתון” יאחזר גם תוצאות המכילות את המילה “עיתונות”, “עיתונאים” ו”עיתונים”. ביצוע חיפוש של המילה “צילום” יאחזר גם תוצאות המכילות את המילה “צלמים” ו”במצלמה”. החיפוש המורחב ניתן לשליטה על ידי המשתמש ובהתאם לצורכי הלקוח.

טיפול בפעלים

רכיב ה-Context Search  של מלינגו מסוגל לזהות את כל הנטיות של פעלים בכל הזמנים והבניינים, ובכך לאפשר החזרה של מסמכים המכילים את כל צורות הפועל. לדוגמה, ביצוע שאילתה של הפועל “הלך” יחזיר גם תוצאות המכילות את צורות הפועל “ילך”, “הלכה”, “הולכים” וכו’.

טיפול בכתיב מלא/חסר

רכיב ה-Context Search  של מלינגו מסוגל לבצע המרה בין כתיב חסר וכתיב מלא. כתוצאה מכך בעת ביצוע שאילתה של הצירוף “מזג אויר” יוחזרו גם מסמכים המכילים את הצירוף “מזג אוויר” או “מיזוג אוויר” וכו’.

תמיכה בחיפוש מכוון שמות

רכיב ה-Context Search  של מלינגו מאפשר דיוק רב יותר בעת חיפוש שמות. החיפוש הרגיל “ברק” יאחזר תוצאות הכוללות הטיות של המילה “ברקים”, “הברק” וכו’. אך המערכת מאפשרת לבצע חיפוש שמות ממוקד (בשליטת המשתמש) של השם “ברק” ולאחזר תוצאות בהן מדובר בשם בלבד. שימוש באפשרות זו יחזיר תוצאות המכילות את המחרוזות “ברק”, “ושברק” אך לא “הברקים” וכו’. כמו כן, תהיה הרחבת מצלול לשם.

טיפול בכתיבים חלופיים

בעברית יש מקרים  רבים של כתיבים חלופיים,  למשל המילה “מוסיקה” יכולה להיכתב גם “מוזיקה”, “תפישה” – “תפיסה” ועוד. רכיב ה-Context Search  של מלינגו מאפשר למנוע החיפוש להחזיר תוצאות בכתיבים השונים.

סימון מילות החיפוש בתוצאות

רכיב ה-Context Search  של מלינגו מאפשר סימון של מילות השאילתה בתוצאות החיפוש כולל כל ההטיות, מילים נרדפות וכו’.

תמיכה בצירופי מילים

רכיב ה-Context Search  של מלינגו תומך בהטיות של צירופי מילים. למשל חיפוש הצירוף “עורך דין” יחזיר תוצאות המכילות את ההטיות המורפולוגיות של הביטוי כפי שנמצאו  במאגר הטקסט – “ועורכי דין” , “עורך הדין”, “עורכי דינם” וכו’. חיפוש “בית ספר” יחזיר גם תוצאות המכילות את הצירוף “ולבתי הספר” וכו’.

תמיכה בחיפושי קרבה

רכיב ה-Context Search  של מלינגו תומך בחיפושי קרבה כאשר אלו נתמכים ע”י מנוע החיפוש. חיפושי near נועדו לתת למשתמש לבצע שאילתה שכוללת מספר מילים תוך הגדרת מידת הקרבה בין המילים בטקסט שיימצא.

חיפוש הכולל תזאורוס

רכיב ה-Context Search  של מלינגו מאפשר זיהוי עשיר של מילים נרדפות, על הטיותיהן. זוהי יכולת המבוססת על מילונים המזהים זהויות אלו באופן אוטומטי. באופן זה ביצוע שאילתה של המילה “מסוק” יאחזר גם תוצאות המכילות טת המילים “הליקופטר”, “מסוקם”, “ההליקופטרים” וכו’.

 כלומר, חיפוש הכולל תזאורוס מאפשר למשתמש להגדיל את מרחב התוצאות שלו במילים נרדפות, על כל הטיותיהן המורפולוגיות, זאת מבלי לוותר על תוצאות החיפוש המורפולוגי הרגיל.

המוצר אף מאפשר להרחיב את מילון הנרדפות על ידי שילוב מילון משתמש המותאם לצרכי הלקוח ולאופי הטקסטים שבהם מבוצע החיפוש.

הרצאה על חיפוש חכם וניתוח טקסט בכנס ניהול ידע 2015

מציג: אמיר ש��ום, מנכ”ל מלינגו בע”מ

מצגת ההרצאה

דוגמה לפעילות רכיב ה-Concept Search

בדוגמה הבאה בוצעה שאילתה של המילה “וירוס” באתר “ויקיפדיה” בפעם הראשונה בוצעה השאילתה ללא שימוש ברכיב המורפולוגי, ובפעם השנייה עם שימוש ברכיב המורפולוגי של מלינגו.

ללא שימוש ב Concept Search

בדוגמה זו,  ניתן לראות שהתקבלו 137 תוצאות המכילות את המחרוזת “וירוס” בלבד. תוצאות המכילות הטיות של המילה “וירוס” אינן מוחזרות.

עם שימוש ב- Concept Search

בדוגמה זו, ניתן לראות שהתקבלו 603 תוצאות המכילות את המחרוזת “וירוס” אך גם את המחרוזות “נגיף”, “הנגיף”, “הויראלי”, “בווירוס” ו-“בווירוס” שמאוד רלוונטיות למשתמש.

מלינגו ברשתות החברתיות

בין לקוחותינו


.