להורדה | חדש! מאגר גיטאב - לספרים מותאמים לאוצריא

[יאיר דניאל]

@דורש-טוב כתב:

וגם יש שם 'ספרי המחשבה'

נראה לי אשאיר את זה כך - כדי להפריד את זה מספרי המוסר, מה אומר?

@דורש-טוב כתב:

וכן שתי תיקיות של ר' צדוק הכהן ו 2 איזביצא

איפה, לא מצאתי

תודה על ההערות!

@דורש-טוב כתב:

יש עוד מקרים כאלו לא זוכר כרגע, אולי אבדוק בהמשך

אשמח ממש!

[דורש טוב]

@יאיר-דניאל כתב:

נראה לי אשאיר את זה כך - כדי להפריד את זה מספרי המוסר, מה אומר?

יכול להיות, אבל א"כ צריך להעביר את זה לכאו' לתקיית מחשבת ישראל, לא בדיוק בדקתי מה יש שם

@יאיר-דניאל כתב:

איפה, לא מצאתי

התכוונתי באוצריא אחרי המיזוג, אחת שלך ואחת של אוצריא

[מצפה לישועת ה']

אגרות משה יש פעמיים רק במאגר,
ויש באוצריא גם את הרוב

[רר רר]

מה זה אומר?

[יאיר דניאל]

@רר-רר כתב:

מה זה אומר?

לא יודע. זה נראה שגיאה בטעינת הקובץ של התוסף - קובץ הHTML.
אצלי עובד מצויין.
תסגור את אוצריא ופתח מחדש.

[יאיר דניאל]

@מצפה-לישועת-ה כתב:

אגרות משה יש פעמיים רק במאגר,

תודה. מחקתי אתמול את מה שלא מחולק - עוד לא עלה העדכון הזה.

@מצפה-לישועת-ה כתב:

ויש באוצריא גם את הרוב

?
באוצריא יש רק אורח חיים, אצלי יש הכל חוץ מאו"ח

[רר רר]

@יאיר-דניאל כתב:

@רר-רר כתב:

מה זה אומר?

לא יודע. זה נראה שגיאה בטעינת הקובץ של התוסף - קובץ הHTML.
אצלי עובד מצויין.
תסגור את אוצריא ופתח מחדש.

יש לי אנדרואיד יכול להיות שזה קשור לזה?
הפעלתי את הכל מחדש ועדיין יש שגיאה
אם אני יוריד את ה db ויעדכן מסד זה עושה את אותה הפעולה?

[יאיר דניאל]

@רר-רר אתה יכול להוריד את הDB העדכני מהגיטאב - קישור ישיר:
https://github.com/YairDaniel11/Otzarya-Unofficial-Books/releases/download/db-v22/otzarya-unofficial-books-22.db

התוסף סה"כ מנגיש את ההורדה - ומוריד קובץ דחוס יותר ומחלץ אותו במכשיר.

ולגבי העדכונים - כן, זה יעשה את אותה עבודה. התוסף נועד רק להורדה ראשונית

[רר רר]

@יאיר-דניאל
הורדתי עובד מצוין תודה רבה נראה מדהים
יכול להיות שהתוסף לא תומך באפליקציה של אנדרואיד?

[יאיר דניאל]

@רר-רר לא קיבלתי עד היום תלונה על זה. ואין סיבה שזה יהיה כך.

@צבי-דורש-ציון ?

[צבי דורש ציון]

@יאיר-דניאל אני חושב שגם אצלי זה לא עבד ופשוט עוד לא 'הגעתי' לבקש כי עוד לא הגעתי לבדוק את המאגר אפילו. אבל אני חושב שהיה כתוב שם קובץ חסר או משהו.

[רר רר]

רר-רר כתב:

@יאיר-דניאל
הורדתי עובד מצוין תודה רבה נראה מדהים
יכול להיות שהתוסף לא תומך באפליקציה של אנדרואיד?

לשם התענינות, למה הdb של אוצריא אותו גודל ויש בו פי שנים ספרים, האם אפשר לצמצם גם את שלך?

[יאיר דניאל]

@רר-רר יכול להיות.
בעיקרון הDB שלי בנוי באותו מבנה של אוצריא, אבל אבדוק את זה.

[יאיר דניאל]

@רר-רר כתב:

רר-רר כתב:

@יאיר-דניאל
הורדתי עובד מצוין תודה רבה נראה מדהים
יכול להיות שהתוסף לא תומך באפליקציה של אנדרואיד?

לשם התענינות, למה הdb של אוצריא אותו גודל ויש בו פי שנים ספרים, האם אפשר לצמצם גם את שלך?

בדקתי - זו טעות

תגובת קלוד:

סיכום בדיקה: המסד הרשמי של אוצריא לעומת המסד האישי שלנו

מסקנה בקצרה

• ההנחה "הרשמי שוקל כמונו ויש בו כפול ספרים" אינה מדויקת. הרשמי גדול בערך פי 2.4 והוא מכיל בערך פי 2.4 ספרים, כלומר היחס לתוכן דומה.
• הקטנת המסד ב-50% שהצוות הרשמי עשה אכן קרתה, אבל בדיסק אחרי ההתקנה ולא בקובץ ההורדה.
• אותו שינוי כבר קיים אצלנו (סכמה 6 דחוסה). מה שחסר אצלנו הוא מילון דחיסה קבוע, והוא הסיבה להורדה של כ-700MB בכל עדכון.

גדלים

	רשמי (SeforimLibrary v32)	אצלנו (db-v23)
קובץ להורדה (zst)	1.85GB	779MB
על הדיסק אחרי התקנה	כ-3.5GB (נמדד בגרסה 30)	1.66GB
ספרים	7,876	כ-3,200 קבצי טקסט (לא אומת כספרים)
שורות	7.08 מיליון	לא נמדד
קישורים	6.35 מיליון	2.17 מיליון (שורות בקבצי הקישורים)

מה הצוות הרשמי שינה (palmoni5, ב-Otzaria/SeforimLibrary)

1. PR #45: הסרת 3 אינדקסים שלא בשימוש, בערך 409MB.
2. PR #48 (סכמה 6): טקסט השורות עבר מ-line.content לטבלה נפרדת line_content. כפילויות של טקסט בגרסאות הוסרו (בערך 590MB). נוסף שלב VACUUM INTO.
3. PR #62 (השינוי המרכזי): כל שורה ב-line_content נדחסת לבד ב-zstd, רמה 19, עם מילון קבוע של 2MB (dictID 32768, נשמר בטבלה zstd_dict).
   • line_content: מ-5.4GB ל-1.4GB. יחס דחיסה בערך פי 3.8 לשורה.
   • בדיסק: מ-7.56GiB ל-3.49GiB.
   • קובץ ההורדה לא קטן ואף גדל בכ-320MB, כי ה-zst החיצוני כבר דחס היטב את הטקסט הרגיל.
4. סכמה 7 (PR #94 ואחרים): קיימת בפיתוח בלבד, עדיין לא בגרסה יציבה. צריך לעקוב אחריה.

תאימות האפליקציה (Otzaria/otzaria, ענף dev)

• PR #1629: קריאה של סכמה 5 וסכמה 6.
• PR #1699: פענוח zstd עם מילון. האפליקציה קוראת גם BLOB דחוס וגם TEXT רגיל.
• אפליקציה שלא מכירה סכמה חדשה מסרבת לייבא ומבקשת עדכון תוכנה.

המסד האישי שלנו

• compress_personal_db.py כבר מייצר סכמה 6 דחוסה, עם אותו dictID (32768) ו-VACUUM.
• כלומר החיסכון בדיסק כבר מנוצל, והאפליקציה קוראת אותו.

למה יורדים כ-700MB בכל עדכון (נמדד)

גרסה	מסד מלא (zst)	דלתא מהגרסה הקודמת
21	784MB	707MB
22	783MB	706MB
23	779MB	696MB

• הדלתאות קיימות והאפליקציה בוחרת בהן (רק מגרסה אחת מתוך הרשומות ב-manifest, עד 4 גרסאות אחורה).
• הדלתא כמעט באותו גודל כמו המלא, כלומר כמעט כל הבייטים משתנים בכל בנייה.
• מי שדילג על יותר מגרסאות שב-manifest מקבל את הקובץ המלא.

הסיבה הסבירה (השערה, מהקוד, עדיין לא אומתה על קבצים)

• אצלנו המילון מאומן מחדש בכל בנייה ממדגם של השורות, ואצל הרשמי הוא קבוע.
• כשספר נוסף, המדגם והמילון משתנים, ולכן כל הבלוקים הדחוסים משתנים.
• מספרי השורות גם מוזזים כשספר נוסף באמצע.

מה בבדיקה עכשיו

סוכן בונה מקומית שני מסדי ניסוי קטנים, מודד את גודל הדלתא, ובודק תיקון של מילון קבוע וסדר שורות יציב. הוא מוודא תאימות לאפליקציה (dictID 32768, PRAGMA integrity_check). הוא לא עושה commit ולא push.

לא אומת

• מספר הספרים האמיתי במסד שלנו.
• הגודל הלא-דחוס המדויק של v32 הרשמי.
• התוכן הפנימי של המסד שלנו (המסקנה מבוססת על הסקריפט ועל הגודל).
• ההשערה על המילון, עד שהניסוי יסתיים.

קישורים

• https://github.com/Otzaria/SeforimLibrary/pull/45
• https://github.com/Otzaria/SeforimLibrary/pull/48
• https://github.com/Otzaria/SeforimLibrary/pull/62
• https://github.com/Otzaria/otzaria/pull/1629
• https://github.com/Otzaria/otzaria/pull/1699

[רר רר]

@יאיר-דניאל
עשיתי עכשיו עדכון ל 24 היה לי 22 זה הוסיף לי בגודל של האפליקציה כמעט 2 ג'יגה זה הגיוני?

[יאיר דניאל]

@רר-רר כתב:

@יאיר-דניאל
עשיתי עכשיו עדכון ל 24 היה לי 22 זה הוסיף לי בגודל של האפליקציה כמעט 2 ג'יגה זה הגיוני?

ממש לא.

לפי הקוד של אוצריא, אחרי עדכון מוצלח נשאר מסד אחד בלבד: הקובץ החדש מחליף את הישן, והגיבוי והדלתא נמחקים בסוף ההתקנה. לכן 2GB לא אמורים לבוא מהעדכון עצמו.
אם נשארו בתיקייה %APPDATA%\otzaria\מסדים אישיים (כולל .updates) קבצים כמו .bak-update, .update-new או .download, סגור את אוצריא, ודא שהמסד הנוכחי בגרסה 24, ואז אפשר למחוק אותם.
סביר שהגידול נובע מאינדקס החיפוש והקישורים (index\ ו-cache.db), שנבנים מחדש אחרי עדכון. כדאי לשלוח לנו את גדלי התיקיות ב-%APPDATA%\otzaria כדי לראות מה תופס מקום.

אזהרה חשובה בניקוי: אל תמחק .bak-update לפני שמוודאים שהמסד הפעיל בגרסה 24. אם האפליקציה תיסגר ותיפתח כשהוא קיים, היא תשחזר אותו ותחזור לגרסה 22.

[רר רר]

@יאיר-דניאל
באפליקציה אין גישה לנתונים שלה, אין לי דרך לראות איזה קבצים יש בפנים
אולי האינדקס הישן נשאר?
יש לך רעיון מה אפשר לעשות?

בדקתי אולי הפתרון הוא שזה אינדקס שלא נמחק כלומר המסד הישן נמחק אבל לא האינדקס, מחקתי את כל האינדקס הכללי ועשיתי על הכל חדש וזה עכשיו 12 ג'יגה כמו שהיה עם המסד 22

[MAKRO]

@יאיר-דניאל כתב:

@רר-רר לא קיבלתי עד היום תלונה על זה. ואין סיבה שזה יהיה כך.

זה לא עבד מאז ומעולם.
תייגתי אותך כבר מזמן...
https://otzaria.org/forum/post/41627

@רר-רר
אחרי שזה עובד לך, אשמח שתכתוב בקצרה מה התהליך להוספת המאגר לאנדרואיד.

[רר רר]

@MAKRO
הורדתי את המסד מהגיטהאב של יאיר דניאל ואחר כך הוספתי אותו דרך הוספת מסד בהגדרות של האפליקציה, זה עבד ממש טוב

[צפניה]

@מצפה-לישועת-ה כתב:

טוב,
אני לא כ"כ יודע אם המקום לכתוב את זה זה פה,
או בבאגים באוצריא אז אני כותב פה ועושה התראה ל @י.-פל. ול @פלמנמוני

כשאני ממזג את המסד של המאגר של יאיר דניאל
בחיפוש הוא לא מצליח לפתוח את הספרים
בלי מיזוג הוא פותח
אני ידייק יותר הוא לא פותח בחיפוש את הספר כשאני מגיע לתוצאה ע"י עץ הספרים בצד לא בדקתי באופן של גלילת התוצאות
תודה