כפי שבטח ראיתם, בגרסת התוכנה החדשה שולב מודל בינה מלאכותית לחיפוש חכם.
כפי שכנראה ראיתם - הוא עדיין לא מספיק טוב...
כדי לשפר את המודל צריך דאטה לאימון, לצורך כך הוספנו בתוכנה דרך פשוטה לסמן על כל תוצאה אם היא טובה או לא, כאשר אתם מסמנים האם תוצאה היא טובה או לא היא נשלחת לשרת של אוצריא [ואם אין אינטרנט הוא מחכה שיהיה ואז שולח], המשוב שלכם הוא הידע של המודל הבא.
בינתיים הנתונים הם שקיבלנו משוב על 134 חיפושים, וזה לא מספיק לאימון, אפילו לא קטן, כדי להתחיל אימון אנחנו צריכים לפחות 500 חיפושים עם דירוג.
לכן, אני ממש אשמח אם בכל חיפוש שמצאתם תוצאה טובה תסמנו אותה בלייק [ואם יש יותר מאחת - תסמנו גם אותם], וגם דיסלייק לתוצאות הפחות טובות. האימון דורש לכל חיפוש תוצאות טובות וגרועות רק ככה נוכל לשפר את המודל.
התחלתי לעבוד על יצירת ייצוג וקטורי לכל מילה במאגר .
גישה זו עשויה לאפשר חיפוש סמנטי מתקדם.
המטרה היא לבחון האם מהלך כזה יכול להביא תועלת ממשית ולשפר את איכות החיפוש והניווט בתוכנה, או שמדובר במורכבות טכנית שאינה מצדיקה שילוב בפועל.
בהמשך ניתן להרחיב את המימוש גם לייצוגים וקטוריים של משפטים או קטעים שלמים, ולפתח יכולות נוספות על בסיס זה. עם זאת, השאלה המרכזית היא האם יש כאן כיוון מעשי שכדאי להשקיע בו, או שבסופו של דבר לא יהיה לו שימוש משמעותי במסגרת התוכנה.
כיוון נוסף, עתידי יותר, הוא שימוש בתשתית הזו לפיתוח כלי תרגום איכותי (בסגנון Google Translate), לתרגום מארמית לעברית - אך נושא זה בשלב זה בגדר רעיון בלבד.
יש לי קובץ json עם מיפוי נרחב של כמה מאות ראשי תיבות, כמובן שיש עוד הרבה מה להוסיף, אבל כתשתית ראשונית, זה יכול לשמש כמילון לפתיחת ראשי תיבות בתוכנה ולהועיל מאוד ללומדים.
מצרף את הקובץ: abbr_merged.json
בעבר, אם אני זוכר נכון, ב"מפרשים" ו"קישורים" וכ' בלחצן ימני, מה שנפתח בו תת תפריט היה חץ, כדי לסמן שזה תפריט נפתח, ככה אמור להיות [לטעמי], כיום זה נראה כמו כל דבר אחר, כמו העתק וכ'. בנוסף יש קטע מוזר עם הוי עם מה שבחרתי, שהוא 'דוחף' את השם של המפרש הצידה, זה מוזר אם כי לא כל כך נורא:
בחיפוש יש מעט מאוד מקום לבחור באיזה ספרים לחפש, אפשר לראות רק שני קטגוריות בשטח שיש, בנוסף רוב ההגדרות נמצרות מחוץ לשטח החלונית, ככה שצריך לגלול וזה ממש לא נוח, היה יותר הגיוני שתפריט בחירת הקטגוריות לחיפוש יהיה נפתח מהצד ולא שיתפוס חצי מהשטח כל הזמן:
אי אפשר להחליף שיטת המרה בממיר מידות, הלחצן קפוא ואפור:עריכה: טעות שלי, הייתי השני מידות מאותה קטגוריה...
בהוספת תוספים היה יותר נוח עם היה כפתור סגירה ולא שחייבים ללחוץ מסביב [אני אישית התבלבלתי יותר מפעם אחת ולחצתי על הפלוס...]:
ההגדרה הזו מוזרה ולא ברורה, היא ניראת די מיותרת, לא כל דבר המשתמש צריך לבחור...
אי אפשר להסיר תיקיית היברובוקס שהגדרתי:
בהגדרות קיצורים הקיצורים מיושרים לימין, היה נראה יותר טוב אם הם היו מיושרים לשמאל או ממורכזים:
בעבר כשנכנסו לקטגוריה התיקיות היו נפתחות כך שהיה אפשר להכנס לספר מהר מאוד, כיום זה הוסר וצריך להיכנס לתוך התיקיה עצמה כדי לפתוח [למשל אם אני רוצה לפתוח את בראשית צריאך להכנס לתנך > תורה ורק אז אפשר לפתוח], זה מפריע, לי לפחות, מאוד הן מצד ה-UX, שצריך ללחוץ הרבה יותר כדי למצוא את הספר, והן מצד ה-UI, הספריה נראת ריקה, כי מוצג רק מעט דברים בכל פעם.
הניגודיות בין הרקע לדברים במסך ממש גרועה, כפי שניתן לראות בתמונות הקודמות שצירפתי, קשה מאוד לראות את הגבול, זה ממש מפריע בעין [יש את זה במסך הספריה ובהגדרות].
הצלחתי להגיע להסדר עם אחד המפתחים שיוכל להכניס את השינויי נוסחאות מפרויקט הכי גרסינן כתוסף לתוכנת אוצריא.
ישר כח!
אני הייתי שמח מאוד אם היה בתוכנה.
רק להבין - למה לא פשוט ליצור סקריפט שיהפוך את זה לקובץ txt וייצר אוטומטית קישורים (לייצר קישורים זה כן יהיה מורכב אבל אני מאמין שיהיה איך להתגבר על זה) ואז זה פשוט יהיה מפרש, למה צריך להשקיע כ"כ הרבה כסף בפיתוח תוסף!
אני חייב לציין שזה סכום עצום!
כשיהיה אפשר להוסיף לתוכנה תוספים ואני יבין איך אני יכול לנסות להכין בחינם... לא מתחייב שאצליח, ואולי בכלל לא אגיע לזה אבל מה יש להפסיד. אשמח אם תסביר לי איך אפשר להוריד את כל המאגר שלהם בצורה נוחה ואני אנסה לראות מה אני יכול לעשות.
לפרויקט פנינים יש מילון לאיות, לתיקון שגיאות כתיב ב-Word ובאתרים.
המילון מיועד לשפה תורנית, כך שהוא תומך בארמית, וכ', כדאי להגדיר אותו באתר כך שיזוהו רק שגיאות אמיתיות, ויהיה קל לתקן.
זה הדף של הפרויקט: https://gitlab.com/pninim.org/he_TORANIT
בחיפוש רגיל, המנוע חיפוש מנסה למצוא את שאילתת החיפוש במאגר, אבל הרבה פעמים אני לא יודע מה אמור להיות כתוב בדיוק, אלא רק מה התוכן של מה שאני מחפש, לכן הומצא החיפוש הסמנטי.
בחיפוש הסמנטי משתמשים במודל שלמד לקרוא [מודל MLM אם זה מעניין מישהו, זה מודל שלמד להשלים מילים שהסתירו מהמשפט], אחרי שרואים שהוא מצליח להבין טקסט מלמדים אותו להמיר כל משפט לרצף של מספרים שמבטאים את המשמעות, ככה שלמשל המספר הראשון ברצף אומר האם זה טקסט שמדבר על בני אדם או על חפצים דוממים - והוא נותן ציון במדד הזה, השני האם זה שאלה או קביעת עובדה - ונותן ציון במדד הזה, ועוד ועוד [במודל שיש עכשיו באוצריא יש 256 פרמטרים שהמודל נותן למשפט ציון בהם].
כל אחד מ-256 הפרמטרים וכן הערך שלהם נבחרים על ידי המודל ללא כל שליטה אנושית, מה שאומר שצריך לתת למודל הרבה מידע איכותי כדי שהוא ילמד מה חשוב לשמור ומה לא, ואיך לזהות את המשמעות החשובה של המשפט הרלוונטי.
המידע הזה הוא למעשה המון המון חיפושים [לצורך האימון יצרנו באמצעות Gemini מעל 15,000 כאלו!] עם תוצאות טובות ותוצאות גרועות, בוחנים את המודל עליהם - אם הוא צדק - הוא מקבל פרס, אם הוא טעה - עונש, ככה לאט לאט המודל משתפר בהבנה של שאלות ותשובות.
אם יצרנו כל כך הרבה שאלות עם ג'מיני - מה הבעיה בעצם?
הבעיה היא שהודים לא לומדים תורה... יש להם שכל עקום.
ג'מיני לא יודע מה ישיבה בוחע'ר מחפש ואיך, לכן המודל לא מצליח להבין מספיק טוב מה ה"ה שמשתמש בתוכנה רוצה ממנו...
דוגמה לכמה ג'מיני טיפש:
כחיפוש של הנושאים הקשורים בדיני רוצח בשגגה - "דין הכנת מרחב מוגן לאדם שפגע בחברו בלי כוונה"
אז איך אני כן יכול לעזור למודל לעזור לי?
בסופו של דבר, המודל במוחו הזעום כן הצליח להבין משהו, ולכן אפשר להשתמש בו והוא עובד.
כדי להוציא ממנו כמה שיותר, כדאי לשלב גם ביטויים ייחודיים וגם הסבר מפורט, לא לחפש "הלכה לגבי מיילדת בשבת" אלא "דין חכמה הבאה ליילד ויצאה מחוץ לתחום בשבת" מה שיחזיר תוצאות יותר טובות.
הדגמה:
"הלכה לגבי מיילדת בשבת":
"דין חכמה הבאה ליילד ויצאה מחוץ לתחום בשבת":
ואיך אני יכול לעזור לאוצריא לעזור לי?
כפי שציינו, כדי שהמודל יהיה חכם הוא צריך ללמוד מת"חים אמיתיים, כפי שלימדונו חז"ל "מַאי תַּקַּנְתֵּיהּ? — יֵלֵךְ אֵצֶל חָכָם... וִילַמְּדֶנּוּ...", לצורך כך צוות המפתחים היקר יצר בתוכנה ממשק פשוט שמאפשר לך לסמן בקלות האם תוצאה טובה יותר או פחות, המשוב שלך נשלח לאוצריא ובעז"ה הוא ישמש כדי לייצר מודל משופר ומתוקן מאוד מאוד.
אבל יש כמה נקודות חשובות במשוב שחשוב מאוד להקפיד עליהם:
כפי שאמרתי, המודל לומד מדוגמאות טובות ורעות לכל חיפוש, גם אם הוא יקבל 5,237 לייקים, אם לא יהיה דיסלייקים תואמים - הוא לא יוכל ללמוד. לכן מה שצריך לעשות זה שניה לפני שפתחת את התוצאה הטובה שהמודל נתן - סימנת אותה בלייק ומייד לאחר מכן סימנת את התוצאה הגרועה ביותר שהמודל נתן בדיסלייק [נ.ב - יותר מאפשר לסמן יותר מלייק ודיסלייק אחד לכל תוצאה, זה הרבה יותר טוב לאימון].
מקווה שהייתי ברור ומובן. אפשר לשאול שאלות בשמחה, אני פשוט לא יענה כי אני בישיבה... [אבל תשאלו בכל זאת, אני אשתדל לענות כשאוכל].
@יום-חדש-מתחיל לא לזו הכוונה - זה פרשיות רגילות.
ישנה חלוקה יהודית עתיקה המקבילה לחלוקת הפרקים הנוצרית, אך קדמה לה, הנקראת סדרים.
"לבני מערבא דמסקי לדאורייתא בתלת שנין" - זה חלוקת הסדרים...
זו חלוקה שהרבה פעמים תואמת הרבה יותר את דעת חז"ל, לעומת החלוקה הנוצרית שהרבה פעמים מחולקת בכוונה בצורה שתשנה את המשמעות לפי רצונם.
אם התוצאה בערך לא עוזר לאמן עליה, זה רק גורם לו להביא יותר ויותר תוצאות עם התאמה שטחית, אני מעדיף מאגר קטן יותר של תוצאות טובות מאשר מאגר גדול ומבולגן...
@יימ אתה בגרסה מאוד מאוד ישנה...
תוריד את החדשה ותראה ישועות.
אתה על גרסה בהם הספרים שמורים בקבצי טקסט, כך שהתוכנה איטית למדי. בגרסאות החדשות עברו לקובץ DB ענק, ששומר את כל הנתונים, והמחשב יודע לעבד אותו במהירות מדהימה, אתה תהיה צריך להוריד את הספריה מחדש ועוד, אבל זה משתלם, המהירות, העיצוב המשופר, המון פיצ'רים חדשים...
אם אתה מסתבך, תחפש האם אנשים שאלו על זה, כמעט כל דבר שקשור בהורדה של הגרסה החדשה כבר נשאל פה וענו בצורה מפורטת וברורה.
הכי גרסינן.zip
לכל מי שרוצה, זה לאחר המרה לקבצי טקסט, עוד לא יצרתי קישורים.
שימו לב - הזיפ לא יפתח בחלק מהכלים, הוא עבר דחיסה אגרסיבית כדי שאני אוכל להעלות לפורום. מי שרוצה גרסאות אחרות יש בגיטהאב.
