עדכון | עדכון: הocr החדש! צריכים את עזרתכם!
-
א. עדיף לצורך אימון ושיפור המודל.
ב. לכאורה אין צורך, כותרת הספר אינה אמורה להיכנס לייצוא של הספר למאגר.לכאו' שני התשובות סותרות זו את זו, שהרי אם הכותרות לא נכנסים למאגר א"כ לאיזה צורך צריך לאמן את המודל בדבר הזה, ועוד נ"ל שעדיף לאמן את המודל במילים שנכנסים למאגר ולא בסתם אימונים על מילים סתמיות.
עוד כתב @סתם-אחד:
מקווה בעז"ה כשקלוד יחזור ממנוחה עם חבילת טוקנים חדשה שיהיה ניתן להגדיר בצורה כל שהיא תיקונים שלא יכנסו לאימון.
ואני הקטן שואל שאולי זה טוב לאמן את המודל גם על מילים שבורות בספר שנראות כמו מילים אחרות [שכידוע ישנם הרבה כאלו] שידע לזהות אותם ולכתוב במקומם את המילה הנכונה, אפי' שלא מופיע כך בספר.
לכאו' שני התשובות סותרות זו את זו, שהרי אם הכותרות לא נכנסים למאגר א"כ לאיזה צורך צריך לאמן את המודל בדבר הזה, ועוד נ"ל שעדיף לאמן את המודל במילים שנכנסים למאגר ולא בסתם אימונים על מילים סתמיות.
המודל מורכב ממספר שלבים, כשבהם זיהוי מבנה הדף וזיהוי התווים עצמם. סימון מה נכלל בכותרת יעזור לאימון עתידי של הבנת מבנה הדף.
בנוסף, המודל אמור בסוף לפגוש ספר חדש שהוא לא הכיר עד היום ולהצליח לזהות אותו באופן נכון. כל אימון על כל סוג אותיות שרק קיים מקדם אותו להצליח לזהות בצורה טובה יותר את הספר הבא.ואני הקטן שואל שאולי זה טוב לאמן את המודל גם על מילים שבורות בספר שנראות כמו מילים אחרות [שכידוע ישנם הרבה כאלו] שידע לזהות אותם ולכתוב במקומם את המילה הנכונה, אפי' שלא מופיע כך בספר.
ממחקרים שבוצעו בעולם על מודלים שונים התקבל שלרוב מודל בינה מלאכותית מעדיף לנחש מילה על בסיס ההקשר מאשר לעבוד על זיהוי של הכתב עצמו. מהסיבה הזאת בספרי קודש יש עדיפות רבה שלא לתת לו את האפשרות לנחש מילים על בסיס הקשר.
-
@סתם-אחד
אין הגדרה לכותרת הרצה של ההערות (ריהוט עמוד - כותרת הערות או משהו כזה)כל מה שבריהוט עמוד אוטומטי לא מופיע במסגרות וזה קצת מפריע כי חושב שזה לא קיים ואז מגיד אותו בתור מסגרת חדשה למרות שזה היה טוב
@סתם-אחד
אין הגדרה לכותרת הרצה של ההערות (ריהוט עמוד - כותרת הערות או משהו כזה)כל מה שבריהוט עמוד אוטומטי לא מופיע במסגרות וזה קצת מפריע כי חושב שזה לא קיים ואז מגיד אותו בתור מסגרת חדשה למרות שזה היה טוב
לא הצלחתי להבין את השאלה.
אבל יש את זה:
-
-
-
-
-
-
משום מה העמוד שלי כבר יממה שלמה בסטטוס הוגש מחכה למנהל, מה הפשט ? גם צריך לעשות שם לחלק זיהוי מחדש והוא לא נמצא ברשימה של זיהוי מחדש
-
-
@שמואלשםחדש חושב שלא.
@י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdb -
לפני הפוסט, אני חושב שמגיע לכם הסברים על התהליך שעבר הocr, והעבודה שעשיתם.
אז ככה. @פלמנמוני התחיל ביצירת ocr מ-0. זו הייתה עבודה מפרכת, ואתם נרתמתם אליה - ושיפרתם מאוד את המודלים.
המודלים התקדמו, והגיען לאחוזי דיוק יפים (כ94%-96%).
(יש 2 מודלים: אחד לכתב רש״י ואחד לכתב מרובע).
דא עקא, ש96% זה נורא ואיום: בכל שורה יש כ13 מילים, כפול 5 תווים (כולל הרווח) - 65 תווים בעמוד, שזה אומר שגיאה כל 2 שורות...
ולכן הוחלט שפחות מ98% לא מספיק, והיעד הראשוני הוא 99-99.5%, בשאיפה להגיע ל99.8%.
פלמוני לקח חופש לקראת סוף הקיץ, לאח״מ התקדם מעט, אך הפיתוח לא המשיך משמעותית (בין השאר, כי זה זלל לנו את כל הטוקנים של כולם...)
בלי קשר בכלל, הרב @סתם-אחד החליט להכנס לעניין - מזווית שונה: לא לאמן מודל מ-0, אלא לקחת מודל קיים - ולאמן אותו על עברית.
ההבדל בין 2 הגישות הוא ענק: בעוד שאת המודל של פלמוני יכולנו לשלב בתוכנה (כל מודל שקל פחות מ10MB, רץ על הCPU), המודלים של סתם-אחד הם גדולים בהרבה, ובריצה על מחשב רגיל כל עמוד לוקח מעל ל-10 דקות, ולעת עתה הם ירוצו על המחשב-שרת שהשאיל לנו הרב @dudua99 .
אחרי שהם יהיו מוכנים - הם כמובן יוכלו לשמש לאימון זול למודל של @פלמנמוני שיתכן שיגיע עם זה לאחוזים הרצויים, אבל את זה אי אפשר לחזות מראש.
המודלים של @סתם-אחד אכן ממלאים את עבודתם נאמנה: אחוזי דיוק גבוהים מאוד בזיהוי התווים הן של כתב רש"י והן של כתב מרובע (למען הידע במודל רש"י אנו אוחזים כעת בגירסה 06).
השלב הבא בפיתוח המערכת היא יכולת זיהוי נכון של מבנה הדף ומה קיים בדף.
כלומר, האם הדף מכיל טקסט ראשי והערות, אלו שורות נכללות בטקסט הראשי ואלו בהערות, אלו שורות הן בהגדרה של ריהוט דף - כותרת רצה, כותרת מעל הערות, מספרי עמוד ועוד.
בנוסף יכולת זיהוי של אלו שורות הן כותרות ואלו הטקסט רץ.
הגירסא המופיעה כרגע באתר הינה גירסת בטא ראשונית הדורשת את האימון והשיפור של מתנדבים.
כתובת האתר: https://otzaria.org/library/page-proofכרגע עלה לאתר הספר חכמת אדם וחלק ראשון של הספר גדולי תרומה. ספרים אלו הם בתכנון להכניס אותם למאגר הספרים לאחר השלמת ההגהה.
בנוסף יעלו בעז"ה בהמשך החלקים הנוספים של הספר גדולי תרומה וחלקי ספרים נוספים אשר בתכנון להכניס אותם למאגר ומשמשים כרגע לאימון המערכת.כל הגהה ותיקון באתר משמשים לשיפורן ואימון עתידי של המערכת!
- המערכת מבוססת על זיהוי של שורות שלמות בבת אחת, ולכן היא חותכת את העמוד לשורות הנשלחות לזיהוי. בידקו האם השורות נחתכו כראוי ושום שורה לא נחתכה לשניים או שהיא זולגת לטור אחר.
- בכדי לזהות את מבנה הדף המערכת מנסה לצייר מסגרות סביב אזורי טקסט המגדירות את סוג הטקסט האם מדובר בטקסט ראשי או הערות וכן את סדר הקריאה. נדרש לתקן את המסגרות השונות על הדף בכדי לאמן את המערכת לעתיד.
- חלוקה נכונה לפסקאות. יש לעבור ולבדוק האם המערכת חילקה בצורה נכונה את הטקסט לפסקאות, ובמקרה של שיבוש לתקן.
- סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.
- הגהת הטקסט. ב"ה והמערכת הגיעה לתוצאות גבוהות במיוחד בזיהוי תווים אך עדיין היא יכולה לטעות. כל הגהה של הטקסט ואישור של שורות מתוקנות משמש לאימון של מודל חדש משופר יותר.
ואו הרב @י.-פל. כל פעם אני נפעם מחדש....
לא רק מפיתוח הפרוייקט שהוא ללא ספק נכס עצום לקב"ה, לתורה ולישראל.
אלא מהאיכפתיות מכל בקשה, והרצון באמת לעשות טוב ולא להתגדל, שזה מעיד על לשמה גמור, ואהבת הקב"ה התורה וישראל באמת.
איך שכל בקשה מקבלת יחס רציני, ובטופלת בחשיבות בלי לזלזל בשום דבר.
נ.ב. יש"כ גדול על הכנסת הספר גידולי תרומה שביקשתי לפרוייקט החדש.
הקב"ה יברך אותך ואת כל העוסקים במלאכה, שתזכו להגדיל תורה ולהאדירה, ותיזכו להצלחה בכל מעשי ידיכם, ונחת רוח מכל יצאי חלציכם. אמן. -
@י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdb@י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdbלמשל בהסכמות לחכמת אדם:
-
-
יש מקומות שזה לא קריאה לא נכונה אלא בעיה בספר ואם נתקן אז הוא יתבלבל במקומות אחרים כמו:
זה נראה כה אבל זה אמור להיות כח, מה לעשות?זאת שאלה שנשאלה כבר מספר פעמים.
מקווה בעז"ה כשקלוד יחזור ממנוחה עם חבילת טוקנים חדשה שיהיה ניתן להגדיר בצורה כל שהיא תיקונים שלא יכנסו לאימון.
כרגע תנסה לתקן כפי שאמור להיות מוצג בספר, והשורה הזאת לא תיכנס בעז"ה לאימון עתידי.
נ.ב כשחסר אות בספר המקורי, להשאיר את הטעות?
זאת שאלה שנשאלה כבר מספר פעמים.
מקווה בעז"ה כשקלוד יחזור ממנוחה עם חבילת טוקנים חדשה שיהיה ניתן להגדיר בצורה כל שהיא תיקונים שלא יכנסו לאימון.
תנסה לתקן כפי שאמור להיות מוצג בספר, והשורה הזאת לא תיכנס בעז"ה לאימון עתידי. -
איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.
כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)
יישר כח, נראה ממש ברמה גבוהה -
איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.
כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)
יישר כח, נראה ממש ברמה גבוהה -
-
-
-
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות