להורדה | חדש! מאגר גיטאב - לספרים מותאמים לאוצריא

[יאיר דניאל]

@רר-רר יכול להיות.
בעיקרון הDB שלי בנוי באותו מבנה של אוצריא, אבל אבדוק את זה.

[יאיר דניאל]

@רר-רר כתב:

רר-רר כתב:

@יאיר-דניאל
הורדתי עובד מצוין תודה רבה נראה מדהים
יכול להיות שהתוסף לא תומך באפליקציה של אנדרואיד?

לשם התענינות, למה הdb של אוצריא אותו גודל ויש בו פי שנים ספרים, האם אפשר לצמצם גם את שלך?

בדקתי - זו טעות

תגובת קלוד:

סיכום בדיקה: המסד הרשמי של אוצריא לעומת המסד האישי שלנו

מסקנה בקצרה

• ההנחה "הרשמי שוקל כמונו ויש בו כפול ספרים" אינה מדויקת. הרשמי גדול בערך פי 2.4 והוא מכיל בערך פי 2.4 ספרים, כלומר היחס לתוכן דומה.
• הקטנת המסד ב-50% שהצוות הרשמי עשה אכן קרתה, אבל בדיסק אחרי ההתקנה ולא בקובץ ההורדה.
• אותו שינוי כבר קיים אצלנו (סכמה 6 דחוסה). מה שחסר אצלנו הוא מילון דחיסה קבוע, והוא הסיבה להורדה של כ-700MB בכל עדכון.

גדלים

	רשמי (SeforimLibrary v32)	אצלנו (db-v23)
קובץ להורדה (zst)	1.85GB	779MB
על הדיסק אחרי התקנה	כ-3.5GB (נמדד בגרסה 30)	1.66GB
ספרים	7,876	כ-3,200 קבצי טקסט (לא אומת כספרים)
שורות	7.08 מיליון	לא נמדד
קישורים	6.35 מיליון	2.17 מיליון (שורות בקבצי הקישורים)

מה הצוות הרשמי שינה (palmoni5, ב-Otzaria/SeforimLibrary)

1. PR #45: הסרת 3 אינדקסים שלא בשימוש, בערך 409MB.
2. PR #48 (סכמה 6): טקסט השורות עבר מ-line.content לטבלה נפרדת line_content. כפילויות של טקסט בגרסאות הוסרו (בערך 590MB). נוסף שלב VACUUM INTO.
3. PR #62 (השינוי המרכזי): כל שורה ב-line_content נדחסת לבד ב-zstd, רמה 19, עם מילון קבוע של 2MB (dictID 32768, נשמר בטבלה zstd_dict).
   • line_content: מ-5.4GB ל-1.4GB. יחס דחיסה בערך פי 3.8 לשורה.
   • בדיסק: מ-7.56GiB ל-3.49GiB.
   • קובץ ההורדה לא קטן ואף גדל בכ-320MB, כי ה-zst החיצוני כבר דחס היטב את הטקסט הרגיל.
4. סכמה 7 (PR #94 ואחרים): קיימת בפיתוח בלבד, עדיין לא בגרסה יציבה. צריך לעקוב אחריה.

תאימות האפליקציה (Otzaria/otzaria, ענף dev)

• PR #1629: קריאה של סכמה 5 וסכמה 6.
• PR #1699: פענוח zstd עם מילון. האפליקציה קוראת גם BLOB דחוס וגם TEXT רגיל.
• אפליקציה שלא מכירה סכמה חדשה מסרבת לייבא ומבקשת עדכון תוכנה.

המסד האישי שלנו

• compress_personal_db.py כבר מייצר סכמה 6 דחוסה, עם אותו dictID (32768) ו-VACUUM.
• כלומר החיסכון בדיסק כבר מנוצל, והאפליקציה קוראת אותו.

למה יורדים כ-700MB בכל עדכון (נמדד)

גרסה	מסד מלא (zst)	דלתא מהגרסה הקודמת
21	784MB	707MB
22	783MB	706MB
23	779MB	696MB

• הדלתאות קיימות והאפליקציה בוחרת בהן (רק מגרסה אחת מתוך הרשומות ב-manifest, עד 4 גרסאות אחורה).
• הדלתא כמעט באותו גודל כמו המלא, כלומר כמעט כל הבייטים משתנים בכל בנייה.
• מי שדילג על יותר מגרסאות שב-manifest מקבל את הקובץ המלא.

הסיבה הסבירה (השערה, מהקוד, עדיין לא אומתה על קבצים)

• אצלנו המילון מאומן מחדש בכל בנייה ממדגם של השורות, ואצל הרשמי הוא קבוע.
• כשספר נוסף, המדגם והמילון משתנים, ולכן כל הבלוקים הדחוסים משתנים.
• מספרי השורות גם מוזזים כשספר נוסף באמצע.

מה בבדיקה עכשיו

סוכן בונה מקומית שני מסדי ניסוי קטנים, מודד את גודל הדלתא, ובודק תיקון של מילון קבוע וסדר שורות יציב. הוא מוודא תאימות לאפליקציה (dictID 32768, PRAGMA integrity_check). הוא לא עושה commit ולא push.

לא אומת

• מספר הספרים האמיתי במסד שלנו.
• הגודל הלא-דחוס המדויק של v32 הרשמי.
• התוכן הפנימי של המסד שלנו (המסקנה מבוססת על הסקריפט ועל הגודל).
• ההשערה על המילון, עד שהניסוי יסתיים.

קישורים

• https://github.com/Otzaria/SeforimLibrary/pull/45
• https://github.com/Otzaria/SeforimLibrary/pull/48
• https://github.com/Otzaria/SeforimLibrary/pull/62
• https://github.com/Otzaria/otzaria/pull/1629
• https://github.com/Otzaria/otzaria/pull/1699

[רר רר]

@יאיר-דניאל
עשיתי עכשיו עדכון ל 24 היה לי 22 זה הוסיף לי בגודל של האפליקציה כמעט 2 ג'יגה זה הגיוני?

[יאיר דניאל]

@רר-רר כתב:

@יאיר-דניאל
עשיתי עכשיו עדכון ל 24 היה לי 22 זה הוסיף לי בגודל של האפליקציה כמעט 2 ג'יגה זה הגיוני?

ממש לא.

לפי הקוד של אוצריא, אחרי עדכון מוצלח נשאר מסד אחד בלבד: הקובץ החדש מחליף את הישן, והגיבוי והדלתא נמחקים בסוף ההתקנה. לכן 2GB לא אמורים לבוא מהעדכון עצמו.
אם נשארו בתיקייה %APPDATA%\otzaria\מסדים אישיים (כולל .updates) קבצים כמו .bak-update, .update-new או .download, סגור את אוצריא, ודא שהמסד הנוכחי בגרסה 24, ואז אפשר למחוק אותם.
סביר שהגידול נובע מאינדקס החיפוש והקישורים (index\ ו-cache.db), שנבנים מחדש אחרי עדכון. כדאי לשלוח לנו את גדלי התיקיות ב-%APPDATA%\otzaria כדי לראות מה תופס מקום.

אזהרה חשובה בניקוי: אל תמחק .bak-update לפני שמוודאים שהמסד הפעיל בגרסה 24. אם האפליקציה תיסגר ותיפתח כשהוא קיים, היא תשחזר אותו ותחזור לגרסה 22.

[רר רר]

@יאיר-דניאל
באפליקציה אין גישה לנתונים שלה, אין לי דרך לראות איזה קבצים יש בפנים
אולי האינדקס הישן נשאר?
יש לך רעיון מה אפשר לעשות?

בדקתי אולי הפתרון הוא שזה אינדקס שלא נמחק כלומר המסד הישן נמחק אבל לא האינדקס, מחקתי את כל האינדקס הכללי ועשיתי על הכל חדש וזה עכשיו 12 ג'יגה כמו שהיה עם המסד 22

[MAKRO]

@יאיר-דניאל כתב:

@רר-רר לא קיבלתי עד היום תלונה על זה. ואין סיבה שזה יהיה כך.

זה לא עבד מאז ומעולם.
תייגתי אותך כבר מזמן...
https://otzaria.org/forum/post/41627

@רר-רר
אחרי שזה עובד לך, אשמח שתכתוב בקצרה מה התהליך להוספת המאגר לאנדרואיד.

[רר רר]

@MAKRO
הורדתי את המסד מהגיטהאב של יאיר דניאל ואחר כך הוספתי אותו דרך הוספת מסד בהגדרות של האפליקציה, זה עבד ממש טוב

[צפניה]

@מצפה-לישועת-ה כתב:

טוב,
אני לא כ"כ יודע אם המקום לכתוב את זה זה פה,
או בבאגים באוצריא אז אני כותב פה ועושה התראה ל @י.-פל. ול @פלמנמוני

כשאני ממזג את המסד של המאגר של יאיר דניאל
בחיפוש הוא לא מצליח לפתוח את הספרים
בלי מיזוג הוא פותח
אני ידייק יותר הוא לא פותח בחיפוש את הספר כשאני מגיע לתוצאה ע"י עץ הספרים בצד לא בדקתי באופן של גלילת התוצאות
תודה

[לומד ומתעניין]

אם אפשר לשאול הרבה ספרים מהמאגר כמו הגהות וחידושים על המסכת וחק נתן לא מופעים ברשימת המפרשים על סדר הדף יש פתרון לזה

[צדיק]

יש הרבה ראשונים בתיקיית אחרונים בתלמוד בבלי:

[יהודה זקש]

@יאיר-דניאל
לגעתי הספרים כאן פחות מתאימים לאוצריא

[יאיר דניאל]

@יהודה-זקש כי?
לא מוצא חן בעינך שיש משהו נגד המזרחי?
או משהו שונה?

[יאיר דניאל]

@צדיק תודה!
טופל.

ככל שיתקבלו הערות כאלו - המאגר יהיה יותר מסודר - לטובת כולנו!

[יאיר דניאל]

@MAKRO כתב:

@יאיר-דניאל כתב:

@רר-רר לא קיבלתי עד היום תלונה על זה. ואין סיבה שזה יהיה כך.

זה לא עבד מאז ומעולם.
תייגתי אותך כבר מזמן...
https://otzaria.org/forum/post/41627

@רר-רר
אחרי שזה עובד לך, אשמח שתכתוב בקצרה מה התהליך להוספת המאגר לאנדרואיד.

מניין לי לדעת שמדובר באנדרואיד, הכי נביא אני או בן נביא, או שאתה מחשיבני לשוטה?

[anjv]

ברמח"ל יש ספרים כפולים
מאמר החכמה
דרך ה
משכני עליון
דרך חכמה
גם לא ברור מה נמצא בקבלה ומה נמצא במחשבת ישראל

בקבלה יש תקיות שצריך למזג
רבי משה בן שם טוב די ליאון
ספרי רבי משה די ליאון

[יאיר דניאל]

@anjv כתב:

גם לא ברור מה נמצא בקבלה ומה נמצא במחשבת ישראל

אדרבה, כוון אותי מה צריך להיות ואיפה, לצערי הרבה זמן כבר לא למדתי בספריו, ואינני זוכר לפי שמות הספרים באיזה עניין הם עוסקים.

[יאיר דניאל]

@anjv כתב:

מאמר החכמה

הספר אצלי הוא יותר מפורט עם הקדמה ושות', לא יודע מה לעשות. חבל לי למחוק.

@anjv כתב:

דרך ה
משכני עליון

מחקתי. תודה.

@anjv כתב:

דרך חכמה

הספר אצלי מפורט ומחולק יותר לפי נושאים. נראה לי אשאיר כרגע (עד שיחולק יותר ברור הספר באוצריא @יום-חדש-מתחיל)

[anjv]

באמת זה מורכב ודי חופף אבל אלו לכאו' יותר מתאימים לקבלה
תיקוני זוהר
פירוש משנה ראשונה לספר יצירה
מאמר הרעותין
ואלו יותר מתאימים למחשבת ישראל
דעת תבונות
מאמר החכמה

סוד המרכבה וסוד היחוד נמצא בנפרד במחשבת ישראל ונמצא גם מחובר בקבלה

נ.ב. עכשיו אני אוחז שלא הכל קשור אליך חלק זה החלטות של אוצריא

[יאיר דניאל]

@anjv כתב:

נמצא גם מחובר בקבלה

אצלי במאגר?

[anjv]

לא אצלך זה בנפרד במחשבת ישראל ובאוצריא זה מחובר בקבלה