המלצה | מנוע חיפוש על בסיס שרשים

[pcinfogmach]

הפוסט הזה נוצר כקריאה לשיתוף פעולה עבור מתכנתי אוצריא ו @elie-gambache גם כן

@pcinfogmach כתב:

האמת היא שאני שוקל לעבור למנוע חיפוש חכם שתמיד ימצא מילים לפי שורש ואז אולי לא יצטרכו את כל השכלול הזה. אני רק מהסס כי אולי יש סיבה שלא חשבתי עליה שעדיין צטרכו את כל האפשרויות שיש היום. אני צריך על זה משוב.

@י.-פל. כתב:
יש לך כבר db מוכן, אצל לא מתייאש.

אני משער שאתה מדבר על ה־Lexical שמגיע עם התוכנה של זית.

אני מצרף כאן את הגרסה שברשותי, שהיא מורחבת יותר. המאגר נבנה מתוך כמה מקורות אינטרנטיים, ובהם ויקימילון ומאגרים נוספים. עברתי עליו באופן יסודי, ולדעתי הוא מדויק מאוד.
כמו"כ המאגר כולל שיוך נרחב הרבה יותר של ערכים מארמית, אולם חשוב לציין שחלק זה כפוף לזכויות יוצרים, וההרשאה שניתנה היא לשימוש במסגרת מנוע חיפוש בלבד, ולא כמילון ארמי–עברי.

lexical_merged.csv
הערכים בסוגריים מרובעות הינם ערכים שלא נמצא להם שורש בצורה תכנותית. עם קצת עבודה ידנית את רובם אפשר לשלב עם שרשים קיימים.

---

והנה הקובץ שהיה לי בנפרד מה-lexical של @elie-gambache

merged_pealim_wikiDictinary_aramaic_shorashim.csv

---

אני מצרף גם את מה ששלפתי מתוך ספר השרשים לרדק
לא שילבתי את זה עדיים כי יש שם גם מילים נרדפות בחלק מהערכים וזה לא שורש טהור.

radak_shorashim.csv

---

שכלול נוסף עתידי
הוא לשלוף מתוך המילון (אוצר מילים) של וורד שיוך של מילים נרדפות (מי שלא מכיר כדאי שיכיר זה כלי מאוד שימושי בוורד)
יש לי סקריפט לזה אם מישהו מעוניין

[חד צורבא]

@pcinfogmach כתב:

כי אולי יש סיבה שלא חשבתי עליה שעדיין צטרכו את כל האפשרויות שיש היום. אני צריך על זה משוב.

אני חושב שכדאי להשאיר כי הרבה פעמים רוצים חיפוש יותר ממוקד
אני למשל חיפשתי אסור ללמד תורה לגוי והוא נתן לי בזית מלא תוצאות אבל לא את התוצאה הרצויה וכשחיפשתי בכלי קודש הוא כן מצא (אמנם בספר נידח כי במקור זה לא כתוב ככה אלא אין מוסרין דברי תורה, אבל משם הוא היפנה אותי למקור)

[D9]

@pcinfogmach האם זה כולל שורשים של מילים בארמית ולשה"ק כי אחרת זה רעיון מצוין לחיפוש במאגר ספרים מודרני אך לא באוצריא

[D9]

אולי ניתן להוסיף לכל ההטיות של השורש גם את התרגום הארמי של שורש וההטיות שלו
אפשר להתבסס על המילון שיש כבר באוצריא

[המלאך]

@pcinfogmach
אז כך.
יש פה כמה בחינות שכדאי לשים לב אליהם,

דבר ראשון מבחינה טכנית יישום של חיפוש כזה הגיוני - עם מגבלות,
כי למרות המאגרי מידע שיש כבר כיום, עדיין זה לא נותן פיתרון מלא לכלל סוגי השאילתות חיפוש,

כמו"כ יש בזה חסרונות,
1: בעברית יש שורשים בעלי Ambiguity (דו משמעות), שיכולים להיות מילים שאינם קשורות אחת לשניה.

2: עומס ביצועים, וזה משליך על שני דברים שונים, 1 - חיפוש של 100 וריאציות שונות של אותו שורש במקום שתים שלוש יגרום לחיפוש איטי יותר, 2 - לא בטוח שמחשבים רגילים יוכלו לשרוד דבר כזה, בפרט כשמדובר בשורשים של אלפי ווריאציות, אם כי אני חושב שהם כן יוכלו להחזיק מעמד - הנושא הזה טעון בדיקה.

3: חשוב מאוד! בל נשכח שהחיפוש הזה לא הופך את המנוע חיפוש לחכם יותר, וזה מהר מאוד יכול להגיע לאיבוד הקשר.

הפיתרון לשלושת הבעיות הינה הגדרת חוקים קשיחים, למיטב ידיעתי במידה מסויימת אוצה"ח ושו"ת בר אילן מסתמכים על חוקים קשיחים למנוע חיפוש.

אבל, לגבי מידת הנצרכות והתועלת לעומת זמן ומשאבי (כן, כי זה אומר לעבוד..) הפיתוח בכלל לא ברור ששווה לעשות את זה.
אחרי הכל, את החיפושים הקיימים זה לא יחליף, כי יש להם ייתרונות שאין לו, בפרט בעיית הדו משמעות בעברית, לכן יצטרכו להשאיר אותם בכל מקרה, ובגלל שבכל מקרה המפתחים עובדים על מנוע חיפוש חדש מבוסס ראג' (AI, כמו ש @י.-פל. דאג להשמיץ אותי בקולי קולות במתמחים טופ ) לא נראה לי שווה להשקיע מאמצים בפיתוח של זה,
אלא א"כ זה ישולב במנוע חיפוש הסמנטי, שבכל מקרה יצריך חוקים קשיחים.

וואו, יצא לי ארוך.
ומסודר .

[pcinfogmach]

קדם כל תודה על המשוב
למעשה הבנתי אבל לא הבנתי
מה בדיוק חיפוש עם תחיליות וסופיות עושה שחיפוש לפי שורש לא עושה יותר טוב?
חיפוש עם תחיליות וסופיות מייצר הרבה יותר וריאציות (גם חשוב לדעת שתחיליות זה החולשה של כל מנועי החיפוש הם פשוט לא בנויים לזה חיפשו לפי שורש עוקף את הבעיה הזו).
גם לא ברור לי איך הגעת למאה וריאציות - זה רק פוטנציאל אבל לא מה שיש בפועל
מאגר השורשים לא נכנס כולו לתוך האינדקס הוא רק נועד כדי לשייך מילים קשורות בתוך האינדקס
התוצאה היא בדיוק להיפך ממה שאמרת
במקום לחפש מאה וריאציות שונות על ידי תחיליות וספיות המאגר מראש ממפה את השרשים שקיימים בו
זה הרבה יותר ממוקד
הנושא של איבוד הקשר אכן דורש מחשבה אבל זה לא נושא של כללים אלא של שרשים מסויימים שחופפים אחד לשני - זה עבודה? כן אבל לא מופקע בכלל.
בקשר למנוע החיפוש מבוסס בינה מלאכותית - אין לי מושג היכן זה אוחז. אני רק תוהה אם אצליח להריץ את זה על הטרנטה שלי....

[pcinfogmach]

@D9 כתב:

אולי ניתן להוסיף לכל ההטיות של השורש גם את התרגום הארמי של שורש וההטיות שלו
אפשר להתבסס על המילון שיש כבר באוצריא

כבר קיים כתבתי את זה מפורש

[pcinfogmach]

@חד-צורבא כתב:

אני למשל חיפשתי אסור ללמד תורה לגוי והוא נתן לי בזית מלא תוצאות אבל לא את התוצאה הרצויה וכשחיפשתי בכלי קודש הוא כן מצא (אמנם בספר נידח כי במקור זה לא כתוב ככה אלא אין מוסרין דברי תורה, אבל משם הוא היפנה אותי למקור)

לא מדובר להחליף את האפשרויות של מרחק בין מילים או סדר מילות החיפוש אלא את התחיליות והסופיות - וגם לקבל תוצאות עבור הטיה שאי אפשר לזהות על ידי תחיליות וסופיות.
זה לא גורע כי הוא זה ממה שיש עכשיו רק מוסיף
הסיבה שיבלת תוצאות ללא הקשר בזית כי הו עוד לא הוסיף דירוג תוצאות לפי מרחק בים מילים או סדר השאילתא