בקשת מידע | תוסף AI

[המלאך]

@סנאי תן לי להבין.
בנית תוסף שדרך שרת מקומי מתממשק עם למאה סי פי פי, למודל מקומי?
איזה מודל אתה משתמש?

[סנאי]

@המלאך האמת היא שאני לא באמת מבין. פעלתי לפי ההנחיות של קלוד, אבל הרעיון הוא כמו שאתה אומר דרך שרת מקומי, הורדתי את Ollama ואח"כ הורדתי מודל qwen2.5:7b-instruct
אולי יש מודלים יותר טובים באופליין בעברית?

[המלאך]

@סנאי וודאי שיש.
כל סידרת דיקטא.
חוץ מזה שאל תצפה לתוצאות טובות בתחום הזה למודלים קטנים מ12b, [לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

[סנאי]

@המלאך כתב:

לא רלוונטי למחשבים מתחת 32 ג'יגה ראם]

בקיצור נראה לי לא רלוונטי לתשעים אחוז ממשתמשי אוצריא...

[יוסי כהן]

@סנאי @המלאך
זה יכול לעזור לעניין?
SparkMoE - מערכת להרצת מודלי AI גדולים ועוצמתיים באופן מקומי על חומרה חלשה, עדכון - גרסה V0.3.0

[י. פל.]

@יוסי-כהן
אין כמוך... זה של @א.מ.ד. - הוא אימן לנו את הLLM. אתה לא צריך להראות את זה להמלאך...!

[המלאך]

@יוסי-כהן אולי.
אבל זה איטי בטירוף.
יכול להגיע לכמה טוקנים בודדים לדקה..

[א.מ.ד.]

@המלאך למה להוציא שם רע? 4 טוקנים לשניה בממוצע...

[המלאך]

@א.מ.ד. 🙂

בסדר, תפוס ת'עיקרון..

[קובי-קובי]

יש סיכוי שהדבר הזה עובד גם באנדרואיד?
ועם איזה מודל?