בירור | חיפוש וקטורי במאגר

[דנדי]

@arieldaniely לא כ"כ מובן איך להשתמש בזה...
אם תסביר אולי יהיו עוד שינסו...

[arieldaniely]

@דנדי עובד על זה, בנתיים היה לי יותר חשוב שהחיפוש בכלל יעבוד...
@דאנציג :
א' - זה תמיד ככה בפייתון, זה ל בעיה.
ב' - לא הגדרת את המיקום למודל כזיפ אז כברירת מחדל הוא מוריד מהשרת [שחסום בנטפרי - מה שכנאה גרם ל-ג'].

מקווה לשלוח עדכון בדקות הקרובות

[דאנציג]

@arieldaniely כתב בבירור | חיפוש וקטורי במאגר:

ב' - לא הגדרת את המיקום למודל כזיפ אז כברירת מחדל הוא מוריד מהשרת [שחסום בנטפרי - מה שכנאה גרם ל-ג'].

צריך לכֹתוב את המיקום בתוך הקובץ?

מהשורות הללו:

MODELS_ZIPS_DIR = os.path.join(BASE_DIR, "models_zips")   # כאן המשתמשים שמים ZIP
LOCAL_MODELS_DIR = os.path.join(BASE_DIR, "local_models") # כאן מחלצים פעם אחת

הבנתי שיש אינטרקציה עם המשתמש ששואל היכן הקובץ ZIP...

[arieldaniely]

@דאנציג בעז"ה עוד כ-5 דק' יעלה ממשק חדש וטוב...

[arieldaniely]

טוב, לאחר הרבה עבודה הכנתי ממשק פשוט יותר לתוכנה.

איך להוריד את התוכנה?

דרישות

• תוכנת python מהדורה 3.10 לפחות.
• מאגר DB של אוצריא.

איך להתקין?

• יש להוריד את הקוד של התוכנה, הקובץ הזה: app_ai.py
• יש להוריד את קובץ הזיפ מהקישור הזה: https://drive.google.com/file/d/1AEm******X1qzF5I2M-pBGMLAlyWf0V6NTA0Li/view [להוריד כוכביות].
• לפתוח שורת הפקודה ולהריץ את הפקודה:

pip install flask requests numpy faiss-cpu huggingface-hub

הפעלת התוכנה:

• צריך להריץ את התוכנה, בשורת הפקודה צריך להפעיל את הפקודה:

python app_ai.py

• לאחר מכן, אם הכל עבד כראוי, יופיע קישור: http://127.0.0.1:8000/

שימוש בתוכנה:

• יש להכנס לקישור http://127.0.0.1:8000/ שהתוכנה מפעילה.
• יופיע מסך להעלאת קובץ הזיפ של המודל, יש לגרור או לבחור את המודל. טיפ - אפשר לשים את קובץ הזיפ בתקיה בשם models_zips במיקום של התוכנה, והתוכנה תמצא אותו אוטומטית.
• אם קובץ ה-DB נמצא במיקום ברירת המחדל של אוצריא [C:\אוצריא\אוצריא] היא תזהה אותו אוטומטית, אחרת - יפתח חלון לבחירה - "בחר קובץ מקומי".
• לאחר מכן, יקח לתוכנה כמה שניות להכין אינדקס [היא מכינה עבור חלק קטן מהמאגר, ניתן לשנות תמיד את כמות המשפטים שהיא מוסיפה לאינדקס דרך ההגדרות], כאשר היא תסיים יהיה אפשר להתחיל לחפש.

מקווה שזה מדריך מועיל...
אשמח למשוב ולהצעות שיפור

[דאנציג]

@arieldaniely

עריכה:
אופס!!
אחר כך שמתי לב שאני הייתי מדאי פזיז, עדיין לא הופיע לי הקישור, אלא לחצתי על הקישור שבפוסט שלך, זה נראה שהוא עדיין באמצע לבנות את אינדקס.

עריכה 2:
גם אחרי כמה דקות, שכבר הופיע לי קישור, עדיין מופיע השגיאה הנ"ל.

[arieldaniely]

@דאנציג תוכל לשלוח לי את הלוג הרצה?

[arieldaniely]

@דאנציג תנסה את זה:

app_ai.py

[דאנציג]

@arieldaniely
עדיין

[דאנציג]

@arieldaniely
עכשיו ניסיתי שוב [עם הקובץ האחרון], בשביל הלוגS, והמתנתי בסבלנות בהתחלה, עד שהוא גמר לבנות את האינדקס [כנראה שזה היה הבעיה ביום שישי], וזה נראה שעובד:

אבל לוקח לו הרבה זמן חיפוש, ואין כל אינדקציה לדעת האם זה מחפש או לא.
לדעתי כדאי להוסיף לו מצב התקדמות וכדו', עוד לפני שכלול, כדי לדעת שזה באמת עובד.

[arieldaniely]

Spoiler

@דאנציג כתב בבירור | חיפוש וקטורי במאגר:

אבל לוקח לו הרבה זמן חיפוש,

מוזר, אצלי זה היה מהיר מאוד... בכל מקרה אני עובד על גרסה שתהיה מהירה בהרבה גם עבור מיליוני רשומות כך שזה אמור לפתור את הבעיה של זמן חיפוש

[arieldaniely]

גרסה חדשה ומשופרת:
app_ai_v3.py

מה חדש?

• ממשק חדש ונוח.
• אלגוריתם חיפוש יעייל ומהיר גם למיליוני רשומות.
• שיפור אוטומטי בעזרת משוב.
• הגדרות מפורטות ונרחבות לשליטה מלאה בתוכנה.

[דאנציג]

@arieldaniely
בקובץ החדש זה התוצאה:

שגיאה בהפעלה: UNIQUE constraint failed: chunks.rowid
0

עריכה:
ראיתי שעדיין היה פתוח בדפדפן הגרסה הקודמת, וכנראה לכן הופיע שגיאה.
למעשה עכשיו החיפוש מאוד מהיר, אבל התוצאות לא משהו.
החיפוש סמנטי בהלכה ש@sivan22 עשה הרבה הרבה יותר מדוייק.

[D9]

@arieldaniely אני מנסה להכנס לקישור בדריב והקובץ לא נמצא

[דאנציג]

@D9
הורדת כוכביות?

[D9]

@דאנציג כתב בבירור | חיפוש וקטורי במאגר:

הורדת כוכביות?

אכל לא הורדתי הקובץ אכן קיים תודה

[arieldaniely]

@דאנציג כתב בבירור | חיפוש וקטורי במאגר:

אבל התוצאות לא משהו

אני עובד על זה, אתה יכול לנסות לשפר אותו עם המשוב [כפתור לייק ודיסלייק בכל תוצאה], בנוסף אולי תנסה להקטין את כמות הרשומות לכמות שהיה בהתחלה [50,000], המון אפשרויות גורמות לו להתבלבל...

[חנניה]

שאלה
יש דיבור על שילוב באוצריא בטווח הקרוב/ הרחוק?