בלוג השפה העברית של מילון רב-מילים

חברת מלינגו מוכרת לציבור הרחב בעיקר בזכות המילונים האינטרנטיים שלה, "מורפיקס" (אנגלי-עברי-אנגלי) ו"רב-מילים" (עברי-עברי). רצינו לחשוף בפני קוראי בלוג השפה העברית מעט מהפעילות המקבילה של החברה בתחום המוסדי – פעילות בתחום הטכנולוגי מרתק, עיבוד שפה טבעית. תחום זה עוסק במחשוב של פעולות אנושיות כגון קריאה והבנה של טקסט. הפוסט הזה התפרסם בבלוג של חברת מטריקס, מחברת המחשוב המובילה בישראל, לרגל חתימת הסכם שיתוף פעולה רחב בין מלינגו לבין מטריקס.

מטריקס חתמה לאחרונה על הסכם הפצה בלעדי עם מלינגו. מלינגו היא חברת NLP – Natural Language Processing , ובעברית, עיבוד שפה טבעית, או ניתוח שפה טבעית.

אז מה זה בדיוק שפה טבעית ולמה צריך לנתח אותה?

המונח "שפה טבעית" מתייחס לכל השפות האנושיות המוכרות לנו. כיוון שהמונח צמח כנושא במדעי המחשב, ראו ראשוני העוסקים בתחום צורך לציין במפורש שמדובר בשפה טבעית, בניגוד לשפת מחשב.

ולמה צריך לעבד או לנתח את השפה?

נתחיל בכך שכשאתם קוראים את הפוסט הזה, ברגע זה ממש, המוח שלכם מבצע עיבוד שפה. שאם לא כן, לא הייתם מצליחים להבין דבר ממה שאתם קוראים.

אם תחשבו על זה, מה שעיניכם רואות כרגע זה בסך הכול רצף של סימנים, שרירותיים ודי מוזרים, שנקראים אותיות, ועוד כמה סימנים כמו פסיק, נקודה או רווח.

הפוסט הזה, כמו כל פוסט שפורסם או יפורסם אי פעם, מכיל בסך הכול רצף של תווים כאלה. באופן מופלא למדיי, כשתסיימו לסרוק את הרצף הזה – נניח, כ- 3000 תווים, תעבור אליכם (כך אפשר לקוות לפחות) משמעות – תוכן הפוסט הזה. בשפות בעלות כתיב פונטי – רוב שפות העולם כיום – תווי הכתיב הם המקבילה הכתובה של צלילי השפה, ההגאים, שגם להם אין כל משמעות ללא תוכנת הפענוח שמוחנו.

התהליך של הפקת משמעות מרצף של סימנים מלווה אותנו בכל יום, מרגע שאנחנו פוקחים את עינינו וחלק משמעותי ( וכנראה הולך וגדל) מהתכנים מגיע אלינו בצורת טקסט. מהמייל הראשון בבוקר ועד הסטאטוס האחרון בפייסבוק בערב – עינינו קולטות רצפי אותיות, שאין להן פשר ללא תהליך הפקת המשמעות.

לצורך סימולציה של מצב שבו תוכנת ניתוח הטקסט שבמוחנו חסרה, תארו לעצמכם שאתם בחופשה בתאילנד, שיש בה חוקי משחק מיוחדים: מדברים אליכם וכותבים לכם אך ורק בשפה התאילנדית. אוזניכם קולטות את הצלילים, עיניכם קולטות את האותיות, אך שום משמעות אינה מופקת. (נסו לטעום מהחוויה כאן). לא בטוח שהייתם נהנים מחופשה כזאת.

לרוב תוכנות המחשב כיום חסר מרכיב NLP. היכולת שלהן להבין עברית או על אנגלית דומה ליכולת של רובנו להבין תאילנדית. הן יודעות לקלוט טקסט ולהציג אותו, אבל משאירות את כל עבודת ניתוח הטקסט למוח האנושי. המוח האנושי עושה את זה לא רע, אבל הוא מוגבל בכמות המידע שהוא יכול לקלוט ולעבד.

קחו למשל את תוכנת המייל שלכם. בהודעת מייל קצרה כמו "זכינו במכרז." יכולה להיות מקופלת דרמה, אבל קרוב לוודאי שתוכנת המייל לא תתרגש ממנו. היא לא תבדיל בינו לבין "אין חדש", "אנחנו מציעים לך קופון" או "אולי נאכל צהריים ביחד מתישהו". כל זה לא אומר דבר לתוכנת המייל.

הנושא שבו מלינגו עוסקת הוא הפקת המשמעות של מסרים, תוך חיקוי חלק מהמנגנונים שפועלים במוחנו כשאנחנו קוראים.

למשל, התוכנה של מלינגו מזהה שהרצף "זכינו" מתייחס למושג הזכייה. בעברית, וגם בשפות אחרות, אותו מושג עשוי להופיע במאות ואף אלפי צורות שונות – למשל בנטיות שונות: זכינו, זכייה, הזכיה, זוכים, זכייתנו. מילים נרדפות עשויות להביע מושג זהה או דומה, כמו ניצחון, ניצחנו וכו'. התוכנה מזהה את כל הצורות השונות שמביעות את אותו הרעיון, וממפה אותן למושג משותף שעומד מאחוריהן. התוכנה גם מזהה ש"צהריים" הוא מושג זמן, וכן מודעת להקשרים, למשל, מזהה שברצף "נאכל צהריים" הכוונה היא למושג "ארוחת צהריים", מושג שלא מוזכר במפורש בטקסט. גם אם מישהו יכתוב לאנצ' או lunch, התוכנה תזהה שמדובר באותו מושג, וכך גם לגבי מכרז, מיכרז, או RFP.

חשיבות זיהוי המושגים שמאחורי האותיות היא עצומה. קישור בין רצף אותיות לבין מושג בעולם האמיתי הוא אבן בניין מרכזית בתהליך המוחי שהופך טקסט למשמעות, ולכן הוא גם אבן בניין מרכזית בתוכנה שמנתחת טקסט.

בפוסטים נוספים אפרט יותר את מגוון היישומים שמלינגו מפתחת. הפעם רק אתן דוגמה אחת למה שניתן לבצע באמצעות ניתוח טקסט: תארו לעצמכם שיש לכם מעין עוזר ממוחשב, שקורא עבורכם את כל המיילים שאתם מקבלים, מסמן לכם את דרגת החשיבות של כל מייל, מציע לכם באופן אוטומטי למי להעביר את המיילים, מה ראוי למחיקה מיידית, וכן הצעות לתיוק המיילים בתיקיות לפי נושאים. נראה שרובנו צריכים קצת עזרה בהתמודדות עם מבול המיילים היומי שאנחנו עסוקים חלק גדול מהיום בהדיפתו, לא?

במאמרו משנת 1950, Computing Machinery and Intelligenceטען אלן טיורינג שלא ניתן לבחון ישירות האם מחשב "חושב", ולכן צריך לשאול את השאלה – האם מחשב מסוגל לעשות פעולות שבני אדם יכולים לעשות, אשר מעידות על חשיבה.

תחום עיבוד השפה הטבעית עוסק בייצור יישומים שמבצעים פעולות סביב טקסט (וגם, במידה מסוימת, סביב דיבור) שיש בהן מידה של אנושיות. באופן מפתיע למדיי (לא למי שעוסק בתחום), זהו אחד התחומים המאתגרים ביותר במדעי המחשב; למשל, קשה יותר לכתוב תוכנה שמבינה מייל פשוט על בוריו מאשר תוכנה שמנצחת את אלוף העולם בשחמט. הסיבה היא כנראה, שבניגוד לשחמט, שפה טבעית אינה מערכת שהאדם המציא או קבע ביודעין את חוקיה. ובכל זאת, עם ההתקדמות בתחום עיבוד השפה הטבעית, תוך שילוב מערכות חוקים מפורטות ושיטות סטטיסטיות, הולכים וגוברים ההישגים הכמעט-אנושיים בו.

הכותב הוא יוני נאמן, מייסד ונשיא לטכנולוגיות בחברת מלינגו.

פוסט זה התפרסם במקור בבלוגיקס, הבלוג של מטריקס.

לפוסט ולתגובות בבלוגיקס

מפנה ל-            http://wide.blogix.co.il/2011/naturallanguageprocessing