התחלתי לעבוד על יצירת ייצוג וקטורי לכל מילה במאגר .
גישה זו עשויה לאפשר חיפוש סמנטי מתקדם.

המטרה היא לבחון האם מהלך כזה יכול להביא תועלת ממשית ולשפר את איכות החיפוש והניווט בתוכנה, או שמדובר במורכבות טכנית שאינה מצדיקה שילוב בפועל.

בהמשך ניתן להרחיב את המימוש גם לייצוגים וקטוריים של משפטים או קטעים שלמים, ולפתח יכולות נוספות על בסיס זה. עם זאת, השאלה המרכזית היא האם יש כאן כיוון מעשי שכדאי להשקיע בו, או שבסופו של דבר לא יהיה לו שימוש משמעותי במסגרת התוכנה.

עדכון - הכנתי גרסה נסיונית לבדיקה, אשמח למשוב ולהצעות לשיפור.
https://otzaria.org/forum/topic/743/בירור-חיפוש-עמוק-במאגר/7

Spoiler

יש לי קובץ json עם מיפוי נרחב של כמה מאות ראשי תיבות, כמובן שיש עוד הרבה מה להוסיף, אבל כתשתית ראשונית, זה יכול לשמש כמילון לפתיחת ראשי תיבות בתוכנה ולהועיל מאוד ללומדים.
מצרף את הקובץ: abbr_merged.json

מצב קישור לפרוייקט ב-huggingface: https://huggingface.co/ArieLLL123/otzaria-embeddings

חשוב לציין שכלל התוכן על בסיסו נוצר המאגר הוא המאגר של אוצריא, כך שהוא אמור להיות מותאם בצורה מושלמת למאגר

בס"ד הצלחתי לעשות שיהיה אפשר להוריד קובץ זיפ והוא יטען אותו.
מצ"ב את הקוד המעודכן והזיפ.app_ai.py
https://drive.google.com/file/d/1AEmX1******qzF5I2M-pBGMLAlyWf0V6NTA0Li/view?usp=sharing

התחלתי לעבוד על זה, לדעתי זה דברים שחבל למחוק, הם יכולים להיות חלק מהמילון, זה משמעות הסימנים לפי הבנתי:
*** - פירוש נוסף.
{} - המילה עם ניקוד.
( = ) - פתיחת ראשי תיבות / פירוק מילה [למשל "אילמא" ( = אי לימא), וכן פירוש המילה [למשל "אומנא" : אמן ( = מקיז דם)].
() - ביאור [למשל "איכא בינייהו": "{אִיכָּא בֵינַיְיהוּ} יש ביניהם (פתיחה להסבר ההבדל בין שיטות שעל פניו נראות דומות)"]

אפשר להוריד את זה אבל סתם חבל, אפשר לדעתי להגדיר כמה כללים שיסדרו את זה:

1. לחפש מילה רק אם היא לא בתוך סוגריים.
2. להגדיר *** כאנטר או משהו בסגנון בתצוגת הפירוש.
3. להציג את מה שבסוגרים בכתב אפור ומוקטן, כ"כ סוגריים מסולסלות להסיר ולהציג רק את המילה המנוקדת.

הכנתי פיילוט בסיסי, מקווה שישתפר.

יש להתקין את הספריות הבאות:

pip install faiss-cpu numpy orjson flask huggingface_hub

לאחר מכן אפשר להפעיל את הקוד המצורף ולפתוח את הקישור http://127.0.0.1:8000.
שימו לב, צריך אינטרנט בזמן ההפעלה עריכה: במהדורה החדשה לא צריך.
app_ai.py

אשמח מאוד למשוב ולהצעות שיפור וייעול.

אם פותחים PDF שנמחק [אפשר אם לא מעדכנים את האינדקס] התוכנה מבקשת סיסמה ואז מציגה במציג ה-PDF מסך כחול עם הודעת שגיאה, זה קורה גם עם הגרסה החדשה [DB] בצורה בעיתית יותר, כך שאם משנים את הנתיב של הספרייה לאחר יצירת ה-DB, ומעבירים הכל לנתיב אחר הוא מחפש את קבצי ה-PDF [שלא נמצאים במסד הנתונים עצמו אלא רק קיימת להם הפניה שם] בנתיב הישן וקורה אותו דבר.
לא יודע עד כמה זה קריטי [לדעתי זה לא דבר שאמורים להיתקל בו כ"כ], אבל אולי כדאי לתקן.

אמת, אני ינסה לבדוק מה אפשר לעשות [הקוד מוריד את מודל ה-AI משרת של huggingface], אני ינסה לאפשר הורדה ידנית שלו ולצרף קובץ zip עם המודל.

אני רואה שב-DB החדש תוקן.
תודה רבה!

@דאנציג בעז"ה עוד כ-5 דק' יעלה ממשק חדש וטוב...

@יהודי-צעיר יש פה ספרים שלא נכנסים למאגר של יאיר דניאל, בן בגלל שהם שנויים במחלוקת [כמו ספרי הרב קוק] ובן בגלל שהם PDF.

במילון הארמי-עברי, יש קטע מוזר בתרגום שמוצג סוגריים וכ', מה שלפי הבנתי מיועד לציין את המילה עם ניקוד תרגומים נוספים וכ'.
אני יכול לנסות לטפל בזה ולייצר json חדש ומתוקן השאלה אם יש לזה תועלת או שזה בכוונה ככה ובעתיד יעשו בזה שימוש.
הנה:

אתה צריך לחלץ את ה-ZIP ולשים בתקית הספרייה / להוסיף אותו לנתיבים של "ספרים אישיים" [אני לא בטוח אם במהדורה שציינת יש את זה].

טוב, לאחר הרבה עבודה הכנתי ממשק פשוט יותר לתוכנה.

איך להוריד את התוכנה?

דרישות

• תוכנת python מהדורה 3.10 לפחות.
• מאגר DB של אוצריא.

איך להתקין?

• יש להוריד את הקוד של התוכנה, הקובץ הזה: app_ai.py
• יש להוריד את קובץ הזיפ מהקישור הזה: https://drive.google.com/file/d/1AEm******X1qzF5I2M-pBGMLAlyWf0V6NTA0Li/view [להוריד כוכביות].
• לפתוח שורת הפקודה ולהריץ את הפקודה:

pip install flask requests numpy faiss-cpu huggingface-hub

הפעלת התוכנה:

• צריך להריץ את התוכנה, בשורת הפקודה צריך להפעיל את הפקודה:

python app_ai.py

• לאחר מכן, אם הכל עבד כראוי, יופיע קישור: http://127.0.0.1:8000/

שימוש בתוכנה:

• יש להכנס לקישור http://127.0.0.1:8000/ שהתוכנה מפעילה.
• יופיע מסך להעלאת קובץ הזיפ של המודל, יש לגרור או לבחור את המודל. טיפ - אפשר לשים את קובץ הזיפ בתקיה בשם models_zips במיקום של התוכנה, והתוכנה תמצא אותו אוטומטית.
• אם קובץ ה-DB נמצא במיקום ברירת המחדל של אוצריא [C:\אוצריא\אוצריא] היא תזהה אותו אוטומטית, אחרת - יפתח חלון לבחירה - "בחר קובץ מקומי".
• לאחר מכן, יקח לתוכנה כמה שניות להכין אינדקס [היא מכינה עבור חלק קטן מהמאגר, ניתן לשנות תמיד את כמות המשפטים שהיא מוסיפה לאינדקס דרך ההגדרות], כאשר היא תסיים יהיה אפשר להתחיל לחפש.

מקווה שזה מדריך מועיל...
אשמח למשוב ולהצעות שיפור

כאשר נמצאים בחודשים אדר-ניסן, השבוע שחופף בניהם מוצג עבור התאריכים העבריים המקבילים עבור השנה שלפני/אחרי בהתאמה, ניתן לראות את זה הן ע"פ התאריכים הלועזיים בימים אלו, פרשות השבוע השגויות והן ע"י הוספת תזכורת בהם [כאשר עומדים על חודש אדר ומנסים לסמן תאריך בחודש ניסן ולהיפך.
מצ"ב צילומי מסך מהבעיה.


פתחתי לפני כחודש בעיה בגיטהאב https://github.com/Sivan22/otzaria/issues/938 אך לא הייתה תגובה

@דנדי עובד על זה, בנתיים היה לי יותר חשוב שהחיפוש בכלל יעבוד...
@דאנציג :
א' - זה תמיד ככה בפייתון, זה ל בעיה.
ב' - לא הגדרת את המיקום למודל כזיפ אז כברירת מחדל הוא מוריד מהשרת [שחסום בנטפרי - מה שכנאה גרם ל-ג'].

מקווה לשלוח עדכון בדקות הקרובות

@יום-חדש-מתחיל בדקתי כבר, זה לא כל כך ברור שם, זה נראה שהם פשוט הסירו את הראשי תיבות [רק את הראשי תיבות לא את התוכן שלהם], ואת הכוכביות הם החליפו בפסיק, יכול להיות שהם עשו משהו יותר מזה אבל לא הצלחתי לראות

Spoiler

@י.-פל. תודה רבה.
לפי הבנתי [בעיקר עקב העובדה שזה קופץ בחודש ניסן, מה שמעלה את החשד שניסן מוגדר כחודש הראשון מבחינת החישוב], המערכת מחפשת את החודש הזה ולא יודעת לעבור לשנה שאחרי [אני לא חושב שזה אמור להיות כ"כ מסובך, אולי תוכל להפנות אותי לקובץ הרלוונטי ואני ינסה לתקן בעזרת AI...]

@דאנציג כתב בבירור | חיפוש וקטורי במאגר:

אבל התוצאות לא משהו

אני עובד על זה, אתה יכול לנסות לשפר אותו עם המשוב [כפתור לייק ודיסלייק בכל תוצאה], בנוסף אולי תנסה להקטין את כמות הרשומות לכמות שהיה בהתחלה [50,000], המון אפשרויות גורמות לו להתבלבל...