עדכון | חדש באתר העריכה - עזרה באימון מודל OCR משוכלל!
-
ובכן, לאחר ש @elie-gambache הצליח ליצור מודל OCR מעולה, ניסינו לחקות מעט את ההצלחה שלו, למען גם לאוצריא יהיה משהו טוב משלה, ומיניה ומיניה ייתקלס עילאה.
המודל נמצא כבר בשלבים די מתקדמים, אולים עדיין צריך את עזרת הציבור באימון המודל ע"י טקסטים.
לשם כך, יצרנו אזור מיוחד באתר העריכה שבו משתמשים יוכלו לעזור ולהקליד טקסטים במקביל לשורות מסויימות.ככל שהציבור ייענה יותר נוכל להכניס תמונות נוספות ולהגדיל את איכות המודל עשרת מונים! מחכים לכם!
לכניסה לאזור הייעודי:
https://otzaria.org/library/ocr-lines
הוראות מפורטות באתר. אם יש למישהו שאלה - נשמח לענות.תמונה מתמלול המודל אתמול בבוקר:
התקלה סודרה ב"ה.
נא ונא! שמרו על נושא זה נקי ואל תיגררו לכל מיני נושאים שונים ומשונים, ולא משנה מה הם.
-
למה לא להשתמש בדאטה סינטתי - כלומר בספרים מאוצריא עם רשיון פתוח לגמרי - פונטים שונים כנ"ל ויצירת אוגמנטציות שונות - סיבוב קל, עיוות ,רקע שונה , ניפוח, וכו' - ככה אתה מקבל תמונות שונות עם טקסט מתוייג היטב
אני לא יודע מה ארכיקטורת המודל ומה השכבות השונות - אבל מציע שכבה שתנקה את הדף , שכבת זיהוי למילים [ביחס לתמונות למשל - וקביעת ישויות בשביל האימות אח"כ] ושכבה שתזהה מה הפונט מרובע\רשי\סתם וכו' , שכבת זיהוי , ושכבת אימות מול מילון או קורפוס מילים או משפטים [אם לא משתמשים עם LLM] -
למה לא להשתמש בדאטה סינטתי - כלומר בספרים מאוצריא עם רשיון פתוח לגמרי - פונטים שונים כנ"ל ויצירת אוגמנטציות שונות - סיבוב קל, עיוות ,רקע שונה , ניפוח, וכו' - ככה אתה מקבל תמונות שונות עם טקסט מתוייג היטב
אני לא יודע מה ארכיקטורת המודל ומה השכבות השונות - אבל מציע שכבה שתנקה את הדף , שכבת זיהוי למילים [ביחס לתמונות למשל - וקביעת ישויות בשביל האימות אח"כ] ושכבה שתזהה מה הפונט מרובע\רשי\סתם וכו' , שכבת זיהוי , ושכבת אימות מול מילון או קורפוס מילים או משפטים [אם לא משתמשים עם LLM]למה לא להשתמש בדאטה סינטתי - כלומר בספרים מאוצריא עם רשיון פתוח לגמרי - פונטים שונים כנ"ל ויצירת אוגמנטציות שונות - סיבוב קל, עיוות ,רקע שונה , ניפוח, וכו' - ככה אתה מקבל תמונות שונות עם טקסט מתוייג היטב
הטקסטים באוצריא לא מתוייגים לפי שורה, כך שזה לא יעיל כמו באזור הנ"ל
יש לי כבר כ-130,000 שורות כאלו, והם יהיו לעזר רב אחרי שיהיה מודל בסיסי אמיןאני לא יודע מה ארכיקטורת המודל ומה השכבות השונות - אבל מציע שכבה שתנקה את הדף , שכבת זיהוי למילים [ביחס לתמונות למשל - וקביעת ישויות בשביל האימות אח"כ] ושכבה שתזהה מה הפונט מרובע\רשי\סתם וכו' , שכבת זיהוי , ושכבת אימות מול מילון או קורפוס מילים או משפטים [אם לא משתמשים עם LLM]
אל דאגה... הכל מתוכנן וממופה היטב, והאמת שכמעט הכל עובד תקין על רוב הספרים, עיקר מה שחסר זה הOCR עצמו שיהיה מעולה...
-
נשמח לשיתוף הארכיקטורה זה נושא מעניין
ולמה צריך תיוג לפי שורה - סקריפט פשוט בפייתון יצור לך תמונות מתויגות היטב לפי איך שתבחר - גם באתר העריכה עכשיו לא הכל הוא שורה מלאה -
נשמח לשיתוף הארכיקטורה זה נושא מעניין
ולמה צריך תיוג לפי שורה - סקריפט פשוט בפייתון יצור לך תמונות מתויגות היטב לפי איך שתבחר - גם באתר העריכה עכשיו לא הכל הוא שורה מלאהסקריפט פשוט בפייתון יצור לך תמונות מתויגות היטב
מה יקשר בוודאות את הטקסט הקיים לתמונה מסויימת מתוך העמוד המלא?
נשמח לשיתוף הארכיקטורה זה נושא מעניין
ככל הנראה הכל יפורסם בסוף בקוד פתוח, אני לא סגור על זה עדיין.
-
סקריפט פשוט בפייתון יצור לך תמונות מתויגות היטב
מה יקשר בוודאות את הטקסט הקיים לתמונה מסויימת מתוך העמוד המלא?
נשמח לשיתוף הארכיקטורה זה נושא מעניין
ככל הנראה הכל יפורסם בסוף בקוד פתוח, אני לא סגור על זה עדיין.
-
@פלמנמוני 1 אפשר ליצור תמונה נפרדת לכל טקסט 2 אפשר להגדיר כמו שאתה עושה עכשיו [אני משער שזה לפי קואורדינטות?]
-
1 אפשר ליצור תמונה נפרדת לכל טקסט
זה מה שנעשה עכשיו. גם השורות באזור הנ"ל חולקו אוטומטית עם סקריפט
-
@פלמנמוני אז למה לא ליצור דאטה סינטתי?
@HAIM-TEPRMAN נמשיך בפרטי
-
אתם אלופים,
איזה רמה של ממשק ואיזה רמה של זיהוי...
ישר כח!!!! -
המודל לכאורה כבר אמור לזהות טוב, אולי במקום להקליד ידנית יהיה את הזיהוי האוטומטי של המודל ויסמנו אם זה טוב או שצריך לתקן [ללמידת חיזוקים], או שאם זה לא טוב יתקנו בפועל [ללמידה מונחית], להקליד ידנית לוקח זמן, לאשר משהו כתוב אפשר עשרות בדקה...
-
המודל לכאורה כבר אמור לזהות טוב, אולי במקום להקליד ידנית יהיה את הזיהוי האוטומטי של המודל ויסמנו אם זה טוב או שצריך לתקן [ללמידת חיזוקים], או שאם זה לא טוב יתקנו בפועל [ללמידה מונחית], להקליד ידנית לוקח זמן, לאשר משהו כתוב אפשר עשרות בדקה...
המודל לכאורה כבר אמור לזהות טוב, אולי במקום להקליד ידנית יהיה את הזיהוי האוטומטי של המודל ויסמנו אם זה טוב או שצריך לתקן [ללמידת חיזוקים], או שאם זה לא טוב יתקנו בפועל [ללמידה מונחית], להקליד ידנית לוקח זמן, לאשר משהו כתוב אפשר עשרות בדקה...
זה השלב הבא בעז"ה, המודל לא מספיק חזק בשביל כל סוגי הכיתובים
-
המודל לכאורה כבר אמור לזהות טוב, אולי במקום להקליד ידנית יהיה את הזיהוי האוטומטי של המודל ויסמנו אם זה טוב או שצריך לתקן [ללמידת חיזוקים], או שאם זה לא טוב יתקנו בפועל [ללמידה מונחית], להקליד ידנית לוקח זמן, לאשר משהו כתוב אפשר עשרות בדקה...
המודל לכאורה כבר אמור לזהות טוב, אולי במקום להקליד ידנית יהיה את הזיהוי האוטומטי של המודל ויסמנו אם זה טוב או שצריך לתקן [ללמידת חיזוקים], או שאם זה לא טוב יתקנו בפועל [ללמידה מונחית], להקליד ידנית לוקח זמן, לאשר משהו כתוב אפשר עשרות בדקה...
זה השלב הבא בעז"ה, המודל לא מספיק חזק בשביל כל סוגי הכיתובים
-
בנוסף - יש שורות שזה נראה שהגיעו משני עמודות נפרדות של הספר - מה עושים איתם? כותבים רגיל?
לדוגמא:
יש המון כאלו...
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות