הצעת ייעול | צ'אט ai של ספריא

[סנאי]

בהזדמנות מסויימת יצא לי להשתמש במשהו חדש של ספריא - צ'אט aiבאתר שלהם. הופתעתי ממש לטובה! ואז מיד חשבתי האם יתכן שזה משהו שיהיה ניתן ליישם באוצריא? אני מאמין שזה פרוייקט שדורש עבודה אבל בכל אופן מעלה את זה כרעיון.

Spoiler

התכתבות עם ג'מיני:
שאלה: ראיתי שבספריא יש משהו חדש של צ'אט ai, התכנים של אוצריא כולם חינמיים ופתוחים לשימוש, מעניין אותי האם גם הצ'אט הזה אפשר לקחת את הקוד שלו לתוכנות אחרות? תוכל לבדוק את זה?
תשובה: ## קוד פתוח לגמרי: הצ'אט של ספריא
התשובה הקצרה היא כן, בהחלט! בדיוק כמו המדיניות המוכרת של ספריא (וגם של פרויקט אוצריא שציינת), גם רכיב הצ'אט החדש שלהם מבוסס על קוד פתוח לחלוטין ונגיש לכל מפתח שרוצה לשלב אותו בתוכנה או באתר שלו.
ספריא שחררו את מערכת הצ'אט הזו לגיטהאב (GitHub), והיא זמינה לשימוש חופשי, העתקה והתאמה אישית.

מה כולל רכיב הצ'אט (ai-chatbot)?

הפרויקט הרשמי נקרא Sefaria/ai-chatbot, והוא מעוצב במקור כווידג'ט (Widget) שקל להטמיע בפלטפורמות אחרות. הנה הנתונים הטכניים המרכזיים עליו:

• טכנולוגיה: צד הלקוח (Frontend) בנוי ב-Svelte, וצד השרת (Backend) מבוסס על Django (Python).
• מודל שפה: הצ'אט מופעל באמצעות ה-API של מודל Claude (מבית Anthropic), והוא כולל גישה ישירה (Tools) למאגרי המידע והמקורות של ספריא.
• אופן ההטמעה: הווידג'ט בנוי כאלמנט מותאם אישית בקוד (<lc-chatbot>). כל מה שצריך זה להריץ את השרת אצלך, להגדיר את מפתחות ה-API הרלוונטיים (כמו ה-API Key של Anthropic ומסד הנתונים), ולהטמיע את תגית ה-HTML בתוכנה או באתר שלך.

תוספת חזקה למפתחים: ה-MCP של ספריא

אם אתה מתעניין בשילוב של בינה מלאכותית וטקסטים תורניים, ספריא השיקו לאחרונה כלי משלים חזק במיוחד – שרתי MCP (Model Context Protocol).
זהו פרוטוקול פתוח שמאפשר לך לחבר כלי AI שונים שבהם אתה משתמש לפיתוח (כמו Cursor, Claude Code, או ChatGPT) ישירות למאגר הנתונים החי של ספריא. בצורה הזו, ה-AI שבו אתה נעזר יכול לשלוף מקורות מדויקים, לבצע חיפושים במאגר ולכתוב עבורך קוד שמבוסס ישירות על הארכיטקטורה והמידע של ספריא.
הקוד כולו זמין ופתוח בגיטהאב של ספריא, ואתה יכול לעשות לו Fork ולהתחיל לשחק איתו בתוכנות שלך.
שאלה: אני חוזר לשאול לגבי הai שלהם, יש אפשרות בעיקרון ליישם אותו בתוכנה שהיא לא מקוונת?
תשובה: בשורה התחתונה: כשהוא מגיע "מהקופסה" – לא. אבל בעיקרון, כפרויקט קוד פתוח – בהחלט כן, עם כמה התאמות ושינויים ארכיטקטוניים.
הסיבה שהוא לא יעבוד אופליין כרגע היא שהקוד הנוכחי של ספריא בנוי על חיבור קבוע ל-API של מודל חיצוני (Claude של חברת Anthropic), שמחייב שרתים בענן וחיבור לאינטרנט.
אם המטרה שלך היא לקחת את הרעיון והקוד של ספריא וליישם אותו בתוכנה מקומית לחלוטין (כמו "אוצריא" שעובדת אופליין), תצטרך לבצע הסבה (Porting) של שני רכיבים מרכזיים:

מה צריך לעשות כדי להפוך את הצ'אט לאופליין?

1. החלפת מנוע ה-AI במודל מקומי (Local LLM)

במקום שהשרת של התוכנה (ה-Django) ישלח בקשות ל-API של Claude בענן, תצטרך להריץ מודל שפה מקומי על המחשב של המשתמש.

• איך עושים את זה? משתמשים בכלים כמו Ollama או Llama.cpp שמריצים מודלים בקוד פתוח ישירות על המעבד או כרטיס המסך המקומי.
• באיזה מודל משתמשים? מודלים כמו Llama 3 (של מטא), Gemma 2 (של גוגל) או Mistral.

2. הורדת מאגר הטקסטים למחשב (Local RAG)

הצ'אט של ספריא עובד בשיטת RAG (שליפת מידע ממסד נתונים והזנתו למודל). בעוד שהצ'אט המקוון מושך טקסטים מהשרתים של ספריא, בתוכנת אופליין תצטרך שהמידע ישב פיזית על המחשב.

• איך עושים את זה? ספריא מציעה את כל מאגר הספרים שלה להורדה חופשית (בפורמט JSON או כמסד נתונים). תוכנות כמו אוצריא כבר מחזיקות את כל הספרים האלו אצל המשתמש. תצטרך לבנות אינדקס חיפוש מקומי (למשל באמצעות SQLite או מסד נתונים וקטורי מקומי כמו Chroma/FAISS) כדי שהתוכנה תשלוף את המקורות ותציג אותם למודל המקומי ללא אינטרנט.

האתגרים שצריך לקחת בחשבון

• דרישות חומרה: הרצת מודל AI איכותי על המחשב בצורה מקומית דורשת משאבים (בעיקר זיכרון RAM גבוה או כרטיס מסך חזק). אם התוכנה מיועדת למחשבים חלשים, המודל המקומי ירוץ לאט מאוד.
• איכות השפה (עברית וארמית): מודלים בענן כמו Claude או GPT-4o מבינים עברית, ארמית וסגנון תורני ברמה מדהימה. מודלים מקומיים קטנים (שמסוגלים לרוץ על מחשב ביתי ממוצע) עדיין מתקשים לפעמים בניתוח עמוק של עברית תורנית, אם כי הם משתפרים במהירות עצומה.
  לסיכום: הקוד והארכיטקטורה של ספריא יכולים לשמש לך כספר הדרכה ותשתית מצוינת (במיוחד ממשק המשתמש ב-Svelte), אבל כדי שהצ'אט יפעל במערכת מנותקת מרשת, תצטרך "לחתוך" את החיבור של Claude ולחבר במקומו מנוע AI מקומי כמו Ollama.

[י. פל.]

שמת לב שהדפוק הזה לא נתן לך קישור לקוד?
הוא סתם חרטט!
כלומר, וודאי שזה קוד פתוח - אבל גם וודאי שהוא לא יודע את זה, רק מחרטט.

[arieldaniely]

@י.-פל. כתב:

שמת לב שהדפוק הזה לא נתן לך קישור לקוד?

הוא הפנה למקום המתאים! הפרייקט הרשמי נקרא Sefaria/ai-chatbot - https://github.com/Sefaria/ai-chatbot

[י. פל.]

@arieldaniely
צודק, טעיתי.

[shishko]

פוסט זה נמחק!

[י. פל.]

@shishko

מה הטעם?