1
אין סיבה לא לתרום מודל כזה גם לאוצר החכמה
אין שום סיבה שאוצה״ח לא יתנו את התוכנה שלהם מתנה לכל תאב-תורה.
הם רוצםי לעשות כסף.
ואנחנו רוצים בחינם.
אלו 2 השקפות עולם רחוקות מאוד, אני בטוח שאתה לא מתחיל לקלוט את הרעיון בכלל.
ולכן, אנו לא רוצים לתת להם שום דבר שעשוי לשפר את התוכנה, כי זה רק יגרום להם להמשיך ולקחת סכומי ענק מאברכים.
זה שכל או רגש?
א. ברור שאני שמח לתרום לאוצריא. אבל זה לא סותר את הרצון להשתמש בזה לצרכיים חיוביים אחרים. אם מטרת אוצריא זה להרבות תורה בעם, אין סיבה לא לתרום מודל כזה גם לאוצר החכמה, להיברובוקס ולכל יקותיאל וכל שאלתיאל שירצו.
ב. ההבדל בין שחרור הקוד המודל בקוד פתוח לשאיבת המידע שלו באופן עצמאי, זה פחות מיום עבודה. אם היה מדובר על מודל פנימי כמו של אוצר החכמה, אני מבין את ההיגיון, אבל באוצריא אין לי שום בעיה לקחת את הטקסט שעבר OCR טוב, להשוות עם טקסט קודם של היברובוקס לפני הOCR הטוב, ולהנחות את רבי קלוד שליט"א שייצר לי OCR תקין. זה כמה שעות בודדות של עבודה ושני ארגזי טוקנים. אז למה? (שיטת זיקוק מודל בינה מלאכותית, כל סיני מצוי לומד בכולל איך לעשות את זה).
@אני-רוצה-משיח כפי שכתבו - הוא עדיין מתאמן...
לאחר גמר האימון יתכן והוא ישוחרר לציבור בתנאי רשיון מגבילים.
היה ראוי שדבר כזה תגיד לפני ששחקתי את האצבעות והזמן בתיקוני טעויות שוב ושוב.
רוב הספרים של גוגל אוכסנו גם בארכיון האינטרנט. אפשר לסנן של לפי ספריות ולפי שפה ולקבל
https://archive.org/
@יום-חדש-מתחיל כתב לפני חודש
לאחרונה התגלה לי שיש הרבה ספרים שלא נמצאים בהיברובוקס, אבל נמצאים באתר של ספרים של > גוגל, בכתובת הזו: https://books.google.com/
דא עקא, שהאתר הזה סגור בנטפרי (באתרוג הוא פתוח). ניתן לבקש מהם לפתוח כתובות ספציפיות של ספרים.כיוון שגם לי חסום גוגל בוקס ואין לי מושג אפילו איך נראה האתר שם (אני מבין שזה רק ספרים סרוקים, נכון?) שלפתי את רשימת הספרים שעלולים להיות רלוונטים דרך הAPI הרשמי של הספרייה הלאומית (יתכן ויש עוד ספרים שעלולים להיות רלוונטים בגוגל בוקס אבל לא מופיעים ברשימות הספריה הלאומית)
ראשית הורדתי רשימה ענקית של הספרים בעברית בספרייה הלאומית 116,400 במספר (אלק בספרייה רובם באוצר החכמה, היברבוקס, גוגל בוקס, וכו')
אם מעניין מישהוא להלן הרשימה:
ספרים בעברית בספריה הלאומית.xlsxלאחמ"כ מיינתי לקובץ קטן יותר את כל הספרים שמופיעים גם בגוגל בוקס 12,160
זה עדיין כולל ספרים שנמצאים גם בגוגל בוקס וגם היברבוקס וכו'
וזה כולל גם הרבה ספרי חול ועיתונים, ספרי חיצוניים ודעות כוזבות וכו'להלן הרשימה
ספרים בעברית בספרייה הלאומית מגוגלבוקס.xlsxשלב הבא צריך להמשיך למיין ולסנן להעיף את כמויות הזבל ולסנן ע"פ שאר הפרמטרים כמו שנת הוצאה וזכויות שימוש וכו' וכמובן מה שכבר קיים באוצריא.
למישהוא יש רעיונות, הערות, השגות וכו' ?
מקווה שהמשך יבוא ...
אתה יכול לסנן בקלות דרך הAPI של הספריה הלאומית (שפתוח לכל) את הספרים לפי הקטלוג שלהם, ותקבל פחות או יותר מה שאתה רוצה.
אבל לענ"ד ספרי גוגל בוקס נועדו לשימוש אישי, ולא בטוח שכדאי לריב איתם על זכויות יוצרים והפצה ציבורית.
האפשרות הפשוטה ביותר לפי מה שאני יודע מניסיוני הדל, הוא לבנות משחק ילדים לבין הזמנים, שבו יאשרו צורת אותיות, וכל אות א' שתאושר תכנס למאגר בכל מקום שבו יש עד סטיית 4 פיקסלים.
לאמן מודל על אותיות לבד זה עלול להיות בזבוז זמן.
צריך לאמן על משפטים, כדי שיהיה הקשר
בדיוק הפוך. לאמן על אותיות בחיזוק מילון.
כלומר בערך כך: אם ניקח מילון של כל המילים, ונייצר מודל אימון שיציף לנו רק את המילים שאינן קיימות במילון, נקבל את התיקונים הכי טובים. זה מה שגוגל עשו, וחכמה בגויים תאמין.
באמת גוגל עשו את זה פעם ועבד להם מדהים - הם עשו "אני לא רובוט" בו צריך להקליד מילים מטושטשות כאשר הם ידעו רק חלק מהם וכך אימנו מודל שהיה טוב יותר מבני אדם! [בני אדם מצליחים בשיעור של 66% בערך והוא בערך 98%!]
מעניין.
יש לך את המקור?הפרמטרים הייחודים למאגר תורני כמו היברובוקס,
כלומר?
יש כמה פרמטרים שמייעלים, כמו צבעים שחור ולבן בלבד. ללא מספרים.
אבל בעיקר נתון מאוד בסיסי וחשוב, שמשום מה לא נראה שנעזרו בו: כל הספרים שהפענוח שלהם גרוע,כלומר 70-100 שנה ואחורה, הם כולם מכמה עשרות בודדות של בתי דפוס, שהיו להם בסך הכל גופן או שנים לכל בית דפוס לאורך כל חייו.
כלומר, ספק אם בכלל יש מאה גופנים שונים בכל הספרים הישנים שבכל אוצר החכמה/היברובוקס כולו. (בחדשים יש הרבה, אבל זה הקריאים יותר).
אם יש 27 אותיות בעברית פחות או יותר, ויש נניח 100 גופנים, זה אומר שלכל היותר יש 2700 סימנים שונים. אם אנחנו מזהים את כולם ומוודאים שכל מי שנדפס בבתי הדפוס הללו לא יוכל להכיל שום דבר מלבד זה, נקבל מהר מאוד תוצאה מושלמת (כולל אפשרות לחידוד גופניםב קלות).
משחק מחשב לזיהוי 2700 גופנים שיחולק בין כל ילדי ישראל (1200 סניפי אבות ובנים כפול 60 ילד בממוצע) יש לנו למעלה מ25 ילדים לזיהוי כל תו.
(המספרים האחרונים משוערים בואכה מומצאים).
האפשרות הפשוטה ביותר לפי מה שאני יודע מניסיוני הדל, הוא לבנות משחק ילדים לבין הזמנים, שבו יאשרו צורת אותיות, וכל אות א' שתאושר תכנס למאגר בכל מקום שבו יש עד סטיית 4 פיקסלים.
אלוף האותיות יזכה בכתר.
(נכתב קצת פשטני ומאוד עממי, אבל שילוב הפרמטרים הייחודים למאגר תורני כמו היברובוקס, בשילוב חכמת המונים קלה, הוא מצב שיש כאן יתרון גדול שאין לחברות הOCR).
תסביר
בבסיס כן
אם זו היתה תשובה של כן ולא הייתי עונה לך. זה יותר קרוב לכן מאשר ללא, אבל זה לא מדוייק
יודע.
כתבתי בדיוק מה עשיתי ....
התחלתי להכניס את הפונקציות לכפתורים...
וסתם הערה קטנה, repomix זה כבר שייך לעבר. זה כל כך 2025...
כתבתי לבוט האהוב עלי פרומפט כזה:
אתה סתם עובד קשה...
יש לך מנויי פרו?
אז לך לgpt, שים במצב חשיבה + (העמוק), בקש ממנו ליצור לך תוכנית ארכיטקטית מפורטת.
לאח״מ לך לקלודש, בקש ממנו הערות.
בשלב זה תוכל ללכת שוב לראשוןו, לבקש תגובות.
לאחר מכן, כשבידך תוכנית מפורטת, תוכל ללכת אפילו לבוט זבל, דוגמת ג׳מיני, שיכתוב לך את הקוד.
ואז תיצור ממנו קובץ repomix, תעלה אותו לai-studio בצירוף התוכנית המקורי, לאחר ביצוע התיקונים תעלה את הקובץ המעודכן בחזרה לgpt, ואז סיימת, בגדול...
גאון אתה. אבל זה מה שעשיתי בשלב ראשון שלא עבד (נכשל די מהר). ובדרך הקשה גיליתי שעדיף ללכת במסלול השני.
אגב, במקביל הרצתי בקשה מכל הבוטים שיתנו לי תוכנית, ושילבתי בבסיס את הרעיונות.
בפועל, כפי שאתה בוודאי יודע, אין שום בעיה לפתח כל דבר, הבעיה היא למצוא אנושית מה הבעיות. ולכן אעלה די בהקדם גירסה ראשונית מלאה באגים, ואתקן לפי הבקשות. (בניגוד לגישה של אוצריא שמבקשים סיוע בתכנות, הסיוע שצריך לבקש מאנשים הוא בשימוש והגדרה של מה הם רוצים, אחר כך קלוד יודע להפוך את זה די בקלות לצ'ונט מהביל).
