בקשת מידע | תוסף AI

[חיים י]

מה יש לעשות?

[סנאי]

@חיים-י פשוט תקרא את השרשור הזה

[יאיר דניאל]

@חיים-י כתב:

מה יש לעשות?

משתמש פיתח תוסף עבור התוכנה אוצריא המאפשר חיבור למודל בינה מלאכותית מקומי באמצעות Ollama, אך נתקל בשגיאת חיבור מסוג Failed to fetch. למרות ניסיונות לפתור את הבעיה באמצעות הגדרת משתנה הסביבה OLLAMA_ORIGINS, התקלה נותרה בעינה.

המשתתפים בדיון העלו השערות שונות לגבי מקור הבעיה:

• הצורך בהגדרת הרשאות גישה פנימיות בתוך אוצריא לכתובות מקומיות.
• חוסר בתוכנת עזר לטעינת המודל לפני ביצוע החיבור.
• שאלות טכניות לגבי הגדרת localhost ככתובת מורשית.

נכון לעדכון האחרון בשרשור, הובהר כי הגרסה הנוכחית של אוצריא מאפשרת לעדכן כתובות וגישה למשאבים מקומיים, מה שאמור לפתור את חסימת החיבור ל-Ollama. פתרון הבעיה דורש בחינה של הגדרות ההרשאות הפנימיות בתוך התוכנה.

[חיים י]

שאלתי לCHAT GPT
וענה לי את זה:

Spoiler

כבר ראיתי את צילום המסך. אתה נמצא באוצריא ופתחת את "עוזר AI".

השגיאה החשובה היא:

"יש להגדיר מודל שפה מקומי לפני השימוש"

וגם:

"Failed to fetch"
(לא ניתן להתחבר לשרת)

מה זה אומר?

התוסף הזה לא עובד לבד.

הוא דורש שתהיה מותקנת במחשב שלך תוכנה כמו:

Ollama

או

LM Studio

בצילום המסך שלך נבחר Ollama, וכתובת השרת היא:

http://127.0.0.1:11434

כלומר, אוצריא מנסה להתחבר לשרת Ollama שרץ במחשב שלך, אבל הוא לא מוצא אותו.

מה לעשות?

אם Ollama לא מותקן אצלך:

התוסף לא יעבוד.

צריך:

1. להתקין את Ollama.
2. לפתוח את Ollama.
3. להוריד מודל שפה (למשל, מודל התומך בעברית).
4. לחזור לאוצריא וללחוץ על "בדוק חיבור".

אם Ollama כבר מותקן:

1. פתח את Ollama.
2. ודא שהוא פועל ברקע (אמור להופיע סמל ליד השעון של Windows).
3. חזור לאוצריא.
4. לחץ על "בדוק חיבור".

שאלה חשובה:

האם כבר התקנת את Ollama או שעדיין לא?

אם עדיין לא התקנת, אני יכול להדריך אותך שלב אחר שלב כדי שעוזר ה-AI של אוצריא יעבוד.

[י. פל.]

@חיים-י
בשביל ספויילר, יש להוריד 2 שורות לפני תווי הספויילר הפותחים (||).

[סנאי]

@חיים-י זה לא יעזור לך להתקין את Ollama בגירסה הנוכחית תקרא את ההודעה הראשונה בשרשור הזה. והתוסף בכלל עדיין לא היה אמור להיות מופץ, העליתי אותו רק בשביל לשאול את מי שיודע.

[חנניה]

מה עם התוסף בגירסה הנוכחית?

[סנאי]

פוסט זה נמחק!

[סנאי]

בסוף הצלחתי להתקין אותו. בינתיים לא לפתח ציפיות - התשובה הראשונה היתה מאכזבת מאד. (מצורף בספויילר). כנראה זה פשוט מגבלה של מודל מקומי לא מקוון - ננסה פעם אחרת מודל אחר, אבל אני לא תולה בזה תקוות.
עדיין אולי יהיה אפשר לעשות שזה יהיה מקוון ואז זה יהיה מוגבל לחיבור אבל עם סיכוי יותר טוב למשהו נורמלי.

Spoiler

[חנניה]

@סנאי איך הצלחת לחבר?

[דאנציג]

@סנאי כתב:

מגבלה של מודל מקומי לא מקוון

ולא חושב שאחרים יוכלו להריץ מודל מקומי יותר טוב...
זה בעיה ידועה במודלים אופליין.

[סנאי]

@חנניה כתב:

@סנאי איך הצלחת לחבר?

ארזתי שוב מחדש - את זה הוא מצליח להתקין.
AI לאוצריא.otzplugin
אבל בינתיים חבל לנסות - צריך להוריד תוכנה, ואז להוריד מודל של 2 או 4 ג'יגה, וכרגע התוצאות מאכזבות מאוד, יש לי כמה רעיונות לעתיד כשאתפנה אבל בינתיים לדעתי אין מה לעשות עם זה ככה...

[המלאך]

@סנאי תן לי להבין.
בנית תוסף שדרך שרת מקומי מתממשק עם למאה סי פי פי, למודל מקומי?
איזה מודל אתה משתמש?

[סנאי]

@המלאך האמת היא שאני לא באמת מבין. פעלתי לפי ההנחיות של קלוד, אבל הרעיון הוא כמו שאתה אומר דרך שרת מקומי, הורדתי את Ollama ואח"כ הורדתי מודל qwen2.5:7b-instruct
אולי יש מודלים יותר טובים באופליין בעברית?

[המלאך]

@סנאי וודאי שיש.
כל סידרת דיקטא.
חוץ מזה שאל תצפה לתוצאות טובות בתחום הזה למודלים קטנים מ12b, [לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

[סנאי]

@המלאך כתב:

לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

בקיצור נראה לי לא רלוונטי לתשעים אחוז ממשתמשי אוצריא...

[יוסי כהן]

@סנאי @המלאך
זה יכול לעזור לעניין?
SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0

[י. פל.]

@יוסי-כהן
אין כמוך... זה של @א.מ.ד. - הוא אימן לנו את הLLM. אתה לא צריך להראות את זה להמלאך...!

[המלאך]

@יוסי-כהן אולי.
אבל זה איטי בטירוף.
יכול להגיע לכמה טוקנים בודדים לדקה..

[א.מ.ד.]

@המלאך למה להוציא שם רע? 4 טוקנים לשניה בממוצע...