צ’אט בוט בעברית וערבית

  Hebrew and Arabic  Chatbots NLP

השפות השמיות כגון עברית וערבית מורכבות מאוד ללניתוח והבנה על ידי מנועי אחזור, בוטים רבים מבוססים על לימוד מכונה, למורכבות העברית והערבית יש השפעה ישירה על איכות למידת מכונה מדוגמאות.

מלינגו צאט בוט הינו רכיב שפה טבעית המתחבר ב- API  ל – Bot conversations ומסייע להם בהבנה וניתוח של פניות המשתמשים לצ’אט בוט

מוצר ניתוח הטקסט לבוטים של מלינגו משלב יכולות ניתוח טקסט ותהליכי לימוד מכונה חכמים.

לימוד המכונה מתבסס על טקסט מנורמל המבוצע על ידי יכולות ניתוח הטקסט של מלינגו מבוססי הקשר.

   האימון המשולב מאפשר הפחתה משמעותית של כמות הדוגמאות הנחוצה לאימון המכונה לצורכי למידה ובכך משפר משמעותית את דיוק הבנת התוכן ע”י הצאט בוט.

בעיות מיצוי טקסט בשפות שמיות 

  שפות שמיות (כגון עברית וערבית) מאוד מורכבות מבחינה לשונית, מורכבות זו מקשה מאוד על ביצוע אחזור איכותי ע”י מנועי  אחזור וניתוח טקסט

לכל מילה בשפה שמית קיימות לעיתים מאות ואלפי נטיות שונות, ולכן מנועי אחזור וניתוח לא יזהו את כל המופעים של מילת החיפוש כשהיא מופיעה בנטייה לשונית, וכתוצאה מכך חלק גדול מהתוכן יזוהה באופן שגוי או לא יזוהה כלל.

קושי נוסף – למילים רבות בעברית יש ריבוי משמעות מה שמקשה על מנועי אחזור לחלץ את המשמעות הנכונה מתוך טקסט בשפה העבר

הצ’אט בוט של מלינגו מוסיף יכולות הכרחיות נוספות כגון התגברות על רב-משמעות, תזאורוס, וכן יכולות נוספות שמשפרות משמעותית את איכות אחזור המידע והרלוונטיות שלו למשתמש. טיפול בבעיות אלה הינו קריטי ליישום מוצלח של צ’אט בוטים אוטומטים בעברית (או ערבית)

מאפייני רכיב ניתוח השפה לבוטים אוטמטיים של מלינגו

התגברות על רב-משמעות

בשפות שמיות קיימים מקרים רבים של מילים הכתובות באופן זהה אך הן בעלות משמעות שונה לחלוטין זו מזו. ניתוח הבוט של מלינגו מתגבר על הרב-משמעות הזו. ומנרמל את הפניות לבוט בהתאם להקשר של המילים בתוכן.

שילוב מילים נרדפות

למשל – נניח שהמילה “וירוס” הוגדרה כישות על ידי הלקוח. שילוב התזאורוס של מלינגו יאפשר זיהוי פניה לבוט הכוללת את המילה “נגיף”. זה כמובן הולך ונעשה יותר מורכב כשהפנייה נעשית עם הטיה מורפולוגית כגון – “הנגיף”, “נגיפים”, “לנגיף” וכו’ – המוצר יודע לטפל בכל ההטיות הללו ולזהות את מילת הבסיס על פי ההקשר.

ניתוח מספרים: שעות ותאריכים

בעברית (ובערבית) צורות רבות לציין מספרים – שעות ותאריכים

שעות:

13:30, 1:30 אחה”צ, אחת וחצי, באחת וחצי, אחת ושלושים, אחת שלושים, 1330, ועוד.

כל הצורות האלה מאוחדות על ידי מוצר הניתוח לבוטים של מלינגו לצורה מנורמלת אחת – 13:30.

תאריכים:

2/12, 2-12-2017, השני ל-12, שניים בדצמבר, השני לדצמבר, השני לשנים עשר, שתיים בדצמבר, ועוד.

כל הצורות האלה מאוחדות על ידי מוצר הניתוח לבוטים של מלינגו לצורה מנורמלת אחת: 02/12/2017

טיפול בשגיאות שפת הקלדה במקלדת - עברית/אנגלית

לדוגמה : שגיאת הקלדה כמו ” nvpfv” תומר למילה העברית הנכונה – “מהפכה”.

זיהויי הכוונה (Intent)

המערכת של מלינגו לומדת את ה- intents מתוך ה – training set בעזרת שילוב ייחודי של למידת מכונה והניתוח המורפולוגי מבוסס ההקשר של מלינגו.

זיהוי ישויות – נרמול על פי ניתוח מורפולוגי תלוי הקשר

השימוש במערכת של מלינגו מאפשר להסתפק  בכתיבת צורת יסוד אחת במילון  ה- entities. למשל, אם במילון יופיע המונח “צילום”, המערכת תכיר גם את הצורות  “הצילום”,”צילומי”, “צלום”, “שהצילומים” וכו’ – מדובר בעשרות עד מאות צורות   נטיות, כתיב מלא חסר וחלופות שונות.

זיהוי על פי מצלול - סאונדקס

שילוב של סאונדקס (מצלול) – נרמול שמות של מונחים ושמות, על פי המצלול (הייצוג הפונטי שמתבטא בכתיב), כך שגם מילים שאינן מוכרות במילון יזוהו. למשל אולטרסאונד,  אולטראסאונד, אולטרה סאונד.

זיהוי חוצה שפה – cross language

תמיכה בכתיבים חליפיים באנגלית. למשל, “בדיקת CT” או “בדיקת סי טי”, “להזמין בדיקת ultra sound”, וכדומה. למלינגו יכולת זיהוי cross language שתזהה את ה- intents ואת ה- entities גם במקרים של שימוש באנגלית בכתיב חלופי בתוך שיחה בעברית.

יכולת לזהות את מין הפונה

מערכת בוט של מלינגו מנתחת את הפניות לבוט ומזהה את מין הפונה (זכר/נקבה) ובכך מאפשרת לבוט לפנות למשתמש במין הנכון.

מענה לצורכי חיפוש מתקדם כחלק מפתרון השיחה

פתרונות שיחה אוטומטיים משלבים לרוב יכולות חיפוש המספקים מידע משלים לשיחה.

למלינגו פלאג שפה NLP מתקדם המתממשק למנועי חיפוש אירגוניים וביניהם מנועי חיפוש מבוססי קוד פתוח (כגון:Lucene/SolR/ElasticSearch) ומשתלב כחלק אינטגרלי בתהליך האינדוקס והשאילתה של מנועי החיפוש.

חיבור הרכיב המורפולוגי מעשיר את האינדקס של מנוע החיפוש ובכך משפר משמעותית את יכולות החיפוש של המנוע בעברית וערבי.  המוצר אינו פוגע בהתנהלות הרגילה של המנוע.

לפרטים נוספים 

צרו איתנו קשר בכל שאלה בנושא ניתוח טקסט לבוטים ומנועי שיחה אוטמטיים / Chatbots NLP

יצירת קשר

מלינגו ברשתות החברתיות

בין לקוחותינו

.