בקשת מידע | תוסף AI

[חנניה]

מה עם התוסף בגירסה הנוכחית?

[סנאי]

פוסט זה נמחק!

[סנאי]

בסוף הצלחתי להתקין אותו. בינתיים לא לפתח ציפיות - התשובה הראשונה היתה מאכזבת מאד. (מצורף בספויילר). כנראה זה פשוט מגבלה של מודל מקומי לא מקוון - ננסה פעם אחרת מודל אחר, אבל אני לא תולה בזה תקוות.
עדיין אולי יהיה אפשר לעשות שזה יהיה מקוון ואז זה יהיה מוגבל לחיבור אבל עם סיכוי יותר טוב למשהו נורמלי.

Spoiler

[חנניה]

@סנאי איך הצלחת לחבר?

[דאנציג]

@סנאי כתב:

מגבלה של מודל מקומי לא מקוון

ולא חושב שאחרים יוכלו להריץ מודל מקומי יותר טוב...
זה בעיה ידועה במודלים אופליין.

[סנאי]

@חנניה כתב:

@סנאי איך הצלחת לחבר?

ארזתי שוב מחדש - את זה הוא מצליח להתקין.
AI לאוצריא.otzplugin
אבל בינתיים חבל לנסות - צריך להוריד תוכנה, ואז להוריד מודל של 2 או 4 ג'יגה, וכרגע התוצאות מאכזבות מאוד, יש לי כמה רעיונות לעתיד כשאתפנה אבל בינתיים לדעתי אין מה לעשות עם זה ככה...

[המלאך]

@סנאי תן לי להבין.
בנית תוסף שדרך שרת מקומי מתממשק עם למאה סי פי פי, למודל מקומי?
איזה מודל אתה משתמש?

[סנאי]

@המלאך האמת היא שאני לא באמת מבין. פעלתי לפי ההנחיות של קלוד, אבל הרעיון הוא כמו שאתה אומר דרך שרת מקומי, הורדתי את Ollama ואח"כ הורדתי מודל qwen2.5:7b-instruct
אולי יש מודלים יותר טובים באופליין בעברית?

[המלאך]

@סנאי וודאי שיש.
כל סידרת דיקטא.
חוץ מזה שאל תצפה לתוצאות טובות בתחום הזה למודלים קטנים מ12b, [לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

[סנאי]

@המלאך כתב:

לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

בקיצור נראה לי לא רלוונטי לתשעים אחוז ממשתמשי אוצריא...

[יוסי כהן]

@סנאי @המלאך
זה יכול לעזור לעניין?
SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0

[י. פל.]

@יוסי-כהן
אין כמוך... זה של @א.מ.ד. - הוא אימן לנו את הLLM. אתה לא צריך להראות את זה להמלאך...!

[המלאך]

@יוסי-כהן אולי.
אבל זה איטי בטירוף.
יכול להגיע לכמה טוקנים בודדים לדקה..

[א.מ.ד.]

@המלאך למה להוציא שם רע? 4 טוקנים לשניה בממוצע...

[המלאך]

@א.מ.ד. 🙂

בסדר, תפוס ת'עיקרון..

[קובי-קובי]

יש סיכוי שהדבר הזה עובד גם באנדרואיד?
ועם איזה מודל?