הצעת ייעול | אימון מודל לפיענוח טקסטים

[יאיר דניאל]

Spoiler

> @Elie-Gambache כתב:

אתם לא יכולים להמשיך לעבוד כמו נמלים ככה

"לך אל נמלה עצל, ראה דרכיה וחכם..."

[חד צורבא]

פוסט זה נמחק!

[11]

האפשרות הפשוטה ביותר לפי מה שאני יודע מניסיוני הדל, הוא לבנות משחק ילדים לבין הזמנים, שבו יאשרו צורת אותיות, וכל אות א' שתאושר תכנס למאגר בכל מקום שבו יש עד סטיית 4 פיקסלים.
אלוף האותיות יזכה בכתר.
(נכתב קצת פשטני ומאוד עממי, אבל שילוב הפרמטרים הייחודים למאגר תורני כמו היברובוקס, בשילוב חכמת המונים קלה, הוא מצב שיש כאן יתרון גדול שאין לחברות הOCR).

[arieldaniely]

@11

Spoiler

באמת גוגל עשו את זה פעם ועבד להם מדהים - הם עשו "אני לא רובוט" בו צריך להקליד מילים מטושטשות כאשר הם ידעו רק חלק מהם וכך אימנו מודל שהיה טוב יותר מבני אדם! [בני אדם מצליחים בשיעור של 66% בערך והוא בערך 98%!]

[צדיק וטוב לו]

@arieldaniely כתב:

באמת גוגל עשו את זה פעם ועבד להם מדהים - הם עשו "אני לא רובוט" בו צריך להקליד מילים מטושטשות כאשר הם ידעו רק חלק מהם וכך אימנו מודל שהיה טוב יותר מבני אדם! [בני אדם מצליחים בשיעור של 66% בערך והוא בערך 98%!]

מעניין.
יש לך את המקור?

@11 כתב:

הפרמטרים הייחודים למאגר תורני כמו היברובוקס,

כלומר?

[אהרן]

הנושא הזה הוא דחוף, וצריך שמישהו פשוט יבנה משהו קל לאמן את המודל, כמו שיש אתר עריכה, שיהיה אתר אימון, אני בטוח שהציבור יתרום הרבה שעות עבודה לדבר כזה.

[דנדי]

@י.-פל. כתב:

אנו מנסים את ההשתדלויות שלנו, בכמה כיוונים וה׳ יעשה את שלו.

תוכל לחשוף בפנינו חלק מהתהליך?
אולי נוכל לעזור?

עצם הדיבור על האופציות יכול להביא רעיונות

Spoiler

וגם הרבה סקרנות :)

[ע"ה דכו"ע]

@11 כתב:

האפשרות הפשוטה ביותר לפי מה שאני יודע מניסיוני הדל, הוא לבנות משחק ילדים לבין הזמנים, שבו יאשרו צורת אותיות, וכל אות א' שתאושר תכנס למאגר בכל מקום שבו יש עד סטיית 4 פיקסלים.

לאמן מודל על אותיות לבד זה עלול להיות בזבוז זמן.

צריך לאמן על משפטים, כדי שיהיה הקשר

[u88]

@ע-ה-דכו-ע אני מוכן להצטרף בלאמן למרות שאין לי שמץ מה ואיך אבל אם יש לך את הידע והכלים החבר'ה כאן יהיו מוכנים להצטרץ לחגיגה....

[11]

@צדיק-וטוב-לו כתב:

@arieldaniely כתב:

באמת גוגל עשו את זה פעם ועבד להם מדהים - הם עשו "אני לא רובוט" בו צריך להקליד מילים מטושטשות כאשר הם ידעו רק חלק מהם וכך אימנו מודל שהיה טוב יותר מבני אדם! [בני אדם מצליחים בשיעור של 66% בערך והוא בערך 98%!]

מעניין.
יש לך את המקור?

@11 כתב:

הפרמטרים הייחודים למאגר תורני כמו היברובוקס,

כלומר?

יש כמה פרמטרים שמייעלים, כמו צבעים שחור ולבן בלבד. ללא מספרים.
אבל בעיקר נתון מאוד בסיסי וחשוב, שמשום מה לא נראה שנעזרו בו: כל הספרים שהפענוח שלהם גרוע,כלומר 70-100 שנה ואחורה, הם כולם מכמה עשרות בודדות של בתי דפוס, שהיו להם בסך הכל גופן או שנים לכל בית דפוס לאורך כל חייו.
כלומר, ספק אם בכלל יש מאה גופנים שונים בכל הספרים הישנים שבכל אוצר החכמה/היברובוקס כולו. (בחדשים יש הרבה, אבל זה הקריאים יותר).
אם יש 27 אותיות בעברית פחות או יותר, ויש נניח 100 גופנים, זה אומר שלכל היותר יש 2700 סימנים שונים. אם אנחנו מזהים את כולם ומוודאים שכל מי שנדפס בבתי הדפוס הללו לא יוכל להכיל שום דבר מלבד זה, נקבל מהר מאוד תוצאה מושלמת (כולל אפשרות לחידוד גופניםב קלות).
משחק מחשב לזיהוי 2700 גופנים שיחולק בין כל ילדי ישראל (1200 סניפי אבות ובנים כפול 60 ילד בממוצע) יש לנו למעלה מ25 ילדים לזיהוי כל תו.
(המספרים האחרונים משוערים בואכה מומצאים).

[11]

@ע-ה-דכו-ע כתב:

@11 כתב:

האפשרות הפשוטה ביותר לפי מה שאני יודע מניסיוני הדל, הוא לבנות משחק ילדים לבין הזמנים, שבו יאשרו צורת אותיות, וכל אות א' שתאושר תכנס למאגר בכל מקום שבו יש עד סטיית 4 פיקסלים.

לאמן מודל על אותיות לבד זה עלול להיות בזבוז זמן.

צריך לאמן על משפטים, כדי שיהיה הקשר

בדיוק הפוך. לאמן על אותיות בחיזוק מילון.
כלומר בערך כך: אם ניקח מילון של כל המילים, ונייצר מודל אימון שיציף לנו רק את המילים שאינן קיימות במילון, נקבל את התיקונים הכי טובים. זה מה שגוגל עשו, וחכמה בגויים תאמין.

[איש גמזו]

@11 כתב:

אם יש 27 אותיות בעברית פחות או יותר, ויש נניח 100 גופנים, זה אומר שלכל היותר יש 2700 סימנים שונים. אם אנחנו מזהים את כולם ומוודאים שכל מי שנדפס בבתי הדפוס הללו לא יוכל להכיל שום דבר מלבד זה, נקבל מהר מאוד תוצאה מושלמת (כולל אפשרות לחידוד גופניםב קלות).
משחק מחשב לזיהוי 2700 גופנים שיחולק בין כל ילדי ישראל (1200 סניפי אבות ובנים כפול 60 ילד בממוצע) יש לנו למעלה מ25 ילדים לזיהוי כל תו.
(המספרים האחרונים משוערים בואכה מומצאים).

הבעיה היותר גדולה, זה שהמילים בד״כ שבורות ומטושטשות, ובזה משום מה לא היה לבתי הדפוס דעה ברורה מתי ואיך לטשטש כל אות.

[אהרן]

מידיעה על עולם הAI בשביל ההמרה (אני עובד עם ההמרה של דיקטה), אני אומר שנכון שצריך אימון של הרבה אותיות, וגם מילים, אבל מ"מ זה לא כ"כ מעכב בהמרה גם שיש מילים שבורות מטושטשות, בגלל שיש הבנה של הנושא והשלמה אוטומטית.

[כח התורה]

@אהרן אם זה היה כזה פשוט אז כבר מזמן היה מודל

[u88]

@כח-התורה יש לך פה אפשרות לעזור למודל כמו שפורסם
https://otzaria.org/library/ocr-lines

תראה מה שפרסם @פלמנמוני כאן https://otzaria.org/forum/post/26008

[כח התורה]

לצערי מעולם לא הצלחתי להתחבר לשם, כולל נסיון איפוס סיסמא

[u88]

@כח-התורה דבר עם @פלמנמוני

[הלומד]

@י.-פל. @פלמנמוני
תסגרו את הנושא הזה לאחר הפרסום הבוקר, חבל סתם כפולות שיראו את הנושא המרכזי שם צריך לעזור

[י. פל.]

@הלומד
צודק: השרשור ננעל.