בירור | חיפוש וקטורי במאגר
-
טוב, לאחר הרבה עבודה הכנתי ממשק פשוט יותר לתוכנה.
איך להוריד את התוכנה?
דרישות
- תוכנת python מהדורה 3.10 לפחות.
- מאגר DB של אוצריא.
איך להתקין?
- יש להוריד את הקוד של התוכנה, הקובץ הזה: app_ai.py
- יש להוריד את קובץ הזיפ מהקישור הזה: https://drive.google.com/file/d/1AEm******X1qzF5I2M-pBGMLAlyWf0V6NTA0Li/view [להוריד כוכביות].
- לפתוח שורת הפקודה ולהריץ את הפקודה:
pip install flask requests numpy faiss-cpu huggingface-hubהפעלת התוכנה:
- צריך להריץ את התוכנה, בשורת הפקודה צריך להפעיל את הפקודה:
python app_ai.py- לאחר מכן, אם הכל עבד כראוי, יופיע קישור: http://127.0.0.1:8000/
שימוש בתוכנה:
- יש להכנס לקישור http://127.0.0.1:8000/ שהתוכנה מפעילה.
- יופיע מסך להעלאת קובץ הזיפ של המודל, יש לגרור או לבחור את המודל. טיפ - אפשר לשים את קובץ הזיפ בתקיה בשם models_zips במיקום של התוכנה, והתוכנה תמצא אותו אוטומטית.
- אם קובץ ה-DB נמצא במיקום ברירת המחדל של אוצריא [C:\אוצריא\אוצריא] היא תזהה אותו אוטומטית, אחרת - יפתח חלון לבחירה - "בחר קובץ מקומי".
- לאחר מכן, יקח לתוכנה כמה שניות להכין אינדקס [היא מכינה עבור חלק קטן מהמאגר, ניתן לשנות תמיד את כמות המשפטים שהיא מוסיפה לאינדקס דרך ההגדרות], כאשר היא תסיים יהיה אפשר להתחיל לחפש.
מקווה שזה מדריך מועיל...
אשמח למשוב ולהצעות שיפורעריכה:
אופס!!
אחר כך שמתי לב שאני הייתי מדאי פזיז, עדיין לא הופיע לי הקישור, אלא לחצתי על הקישור שבפוסט שלך, זה נראה שהוא עדיין באמצע לבנות את אינדקס.עריכה 2:
גם אחרי כמה דקות, שכבר הופיע לי קישור, עדיין מופיע השגיאה הנ"ל. -
עריכה:
אופס!!
אחר כך שמתי לב שאני הייתי מדאי פזיז, עדיין לא הופיע לי הקישור, אלא לחצתי על הקישור שבפוסט שלך, זה נראה שהוא עדיין באמצע לבנות את אינדקס.עריכה 2:
גם אחרי כמה דקות, שכבר הופיע לי קישור, עדיין מופיע השגיאה הנ"ל.@דאנציג תוכל לשלוח לי את הלוג הרצה?
-
@arieldaniely
עדיין
-
@arieldaniely
עכשיו ניסיתי שוב [עם הקובץ האחרון], בשביל הלוגS, והמתנתי בסבלנות בהתחלה, עד שהוא גמר לבנות את האינדקס [כנראה שזה היה הבעיה ביום שישי], וזה נראה שעובד:
אבל לוקח לו הרבה זמן חיפוש, ואין כל אינדקציה לדעת האם זה מחפש או לא.
לדעתי כדאי להוסיף לו מצב התקדמות וכדו', עוד לפני שכלול, כדי לדעת שזה באמת עובד. -
@arieldaniely
עכשיו ניסיתי שוב [עם הקובץ האחרון], בשביל הלוגS, והמתנתי בסבלנות בהתחלה, עד שהוא גמר לבנות את האינדקס [כנראה שזה היה הבעיה ביום שישי], וזה נראה שעובד:
אבל לוקח לו הרבה זמן חיפוש, ואין כל אינדקציה לדעת האם זה מחפש או לא.
לדעתי כדאי להוסיף לו מצב התקדמות וכדו', עוד לפני שכלול, כדי לדעת שזה באמת עובד.@דאנציג כתב בבירור | חיפוש וקטורי במאגר:
אבל לוקח לו הרבה זמן חיפוש,
מוזר, אצלי זה היה מהיר מאוד... בכל מקרה אני עובד על גרסה שתהיה מהירה בהרבה גם עבור מיליוני רשומות כך שזה אמור לפתור את הבעיה של זמן חיפוש
-
גרסה חדשה ומשופרת:
app_ai_v3.pyמה חדש?
- ממשק חדש ונוח.
- אלגוריתם חיפוש יעייל ומהיר גם למיליוני רשומות.
- שיפור אוטומטי בעזרת משוב.
- הגדרות מפורטות ונרחבות לשליטה מלאה בתוכנה.
-
גרסה חדשה ומשופרת:
app_ai_v3.pyמה חדש?
- ממשק חדש ונוח.
- אלגוריתם חיפוש יעייל ומהיר גם למיליוני רשומות.
- שיפור אוטומטי בעזרת משוב.
- הגדרות מפורטות ונרחבות לשליטה מלאה בתוכנה.
@arieldaniely
בקובץ החדש זה התוצאה:
שגיאה בהפעלה: UNIQUE constraint failed: chunks.rowid
0עריכה:
ראיתי שעדיין היה פתוח בדפדפן הגרסה הקודמת, וכנראה לכן הופיע שגיאה.
למעשה עכשיו החיפוש מאוד מהיר, אבל התוצאות לא משהו.
החיפוש סמנטי בהלכה ש@sivan22 עשה הרבה הרבה יותר מדוייק. -
@arieldaniely אני מנסה להכנס לקישור בדריב והקובץ לא נמצא
-
@arieldaniely אני מנסה להכנס לקישור בדריב והקובץ לא נמצא
-
@arieldaniely
בקובץ החדש זה התוצאה:
שגיאה בהפעלה: UNIQUE constraint failed: chunks.rowid
0עריכה:
ראיתי שעדיין היה פתוח בדפדפן הגרסה הקודמת, וכנראה לכן הופיע שגיאה.
למעשה עכשיו החיפוש מאוד מהיר, אבל התוצאות לא משהו.
החיפוש סמנטי בהלכה ש@sivan22 עשה הרבה הרבה יותר מדוייק.@דאנציג כתב בבירור | חיפוש וקטורי במאגר:
אבל התוצאות לא משהו
אני עובד על זה, אתה יכול לנסות לשפר אותו עם המשוב [כפתור לייק ודיסלייק בכל תוצאה], בנוסף אולי תנסה להקטין את כמות הרשומות לכמות שהיה בהתחלה [50,000], המון אפשרויות גורמות לו להתבלבל...
