בקשה | אימון OCR - שלב ב'

[פלמנמוני]

נכנסו כעת לאתר בכתובת https://otzaria.org/library/ocr-lines אלפי שורות נוספות, עם טיוטות מהמודל עצמו, בין לכתב רש"י ובין למרובע.

תפקידכם - להגיה, לתקן ולשמור.

וכן, אני יודע שברגע הראשון תסתכלו על הטיוטות ותגידו- זה התוצאות? אלו הטיוטות שהמודל הוציא? בשביל זה עבדנו?

אבל התשובה היא בדיוק להיפך:
מודל המרובע הגיע כבר ל86 אחוזי דיוק, ומודל הרש"י ל94 אחוזים!

אז למה הטיוטות די גרועות?
התשובה היא כי השורות שנכנסו כעת הם דוקא השורות בו המודלים כשלו הכי הרבה, השורות בו הוא הצליח - לא היה טעם להכניס...

בהצלחה!

שימו לב כי בסבב זה אין להשמיט ספרות או כל מה שמוצג, רק מה שלא ברשימה המותרת.

[חד צורבא]

@פלמנמוני אולי כדאי שיהיה כתוב כמה נשארו ?

[פלמנמוני]

@חד-צורבא בשביל מה?

[עכ''פ]

@פלמנמוני כתב:

שימו לב כי בסבב זה אין להשמיט ספרות או כל מה שמוצג, רק מה שלא ברשימה המותרת.

כלומר גם הפניות להערות שוליים?

[פלמנמוני]

@עכ-פ כן

[חד צורבא]

@פלמנמוני מוטיבציה, וכפי שנוכחת לראות בסבב הקודם

[חד צורבא]

@פלמנמוני אין לי מושג מה עשיתם אבל איך שזה נראה כל מה שהוא מסופק הוא כותב את שתי האפשרויות יחד
והרבה פעמים אותיות כפולותהוא עושה פעם אחת וכן להיפך כופל את שאינן כפולות לחינם ללא סיבה הנראית לעין
בנוסף יש לו הרבה בלבולים בין ״ ל-י ולהיפך ובכתב רש"י בין מ ל-נו

[צבי דורש ציון]

@פלמנמוני יש פה משהו באנגלית בטעות

[יין ישן]

מה עם זה

[יין ישן]

לכתוב עם רוחים?
שימין הגשמי לבד
או: שימיןהגשמילבד

[צדיק וטוב לו]

@צבי-דורש-ציון כתב:

@פלמנמוני יש פה משהו באנגלית בטעות

יש המון שורות באנגלית
אני מסמן את זה כ'לא קריא'.

[דנדי]

@פלמנמוני כתב:

מודל המרובע הגיע כבר ל86 אחוזי דיוק, ומודל הרש"י ל94 אחוזים!

ואווו.....
זה מטורף....
אפשר לראות כבר את מה שיצא אני לא ישן בלילה

@פלמנמוני כתב:

התשובה היא כי השורות שנכנסו כעת הם דוקא השורות בו המודלים כשלו הכי הרבה, השורות בו הוא הצליח - לא היה טעם להכניס...

אז איך הם יגיעו למאה אחוז? רק שואל...

[אהרן]

עוד אימון ועוד אימון...

[דנדי]

@אהרן ענית לי?
אבל הוא אומר שהוא לא הכניס את הטובים לאימון

[אהרן]

ענייתי לך, הכוונה היא שאין עניין להכניס להגה, כי זה יסבך את האימון, ורק על אלו יש עניין להגיה שוב ולמן יותר ויותר

[דנדי]

@אהרן לא ענית...
כי אני שאלתי על מה שכבר הגיע ל94% איך הוא יגיע למאה, אם בכלל?

[אלי ויל]

@דנדי כתב:

כי אני שאלתי על מה שכבר הגיע ל94% איך הוא יגיע למאה, אם בכלל

100 אחוז זה מאוד מאוד שאפתני,
בכל מקרה המודל די בתחילת האימון, אבל להגהה עושים את זה על איפה שהוא ממש לא טוב.

במילים אחרות זה לא יישאר על 94% כי זה יעבור אימונים נוספים על חומרים גדולים בהמשך.

[דנדי]

@אלי-ויל אתה מתכוון לומר שאימון זה לא ההגהה שאנחנו עושים באתר?
אז לא הבנתי מה זה אומר אימון
אשמח להסבר

[הנגבי]

@דנדי כתב:

אני לא ישן בלילה

למה? אתה תהיה עייף!

[י. פל.]

@דנדי
לא מאוד הבנתי את השאלה שלך, אבל בקיצור, הדברים עובדים בערך כך:
בהתחלה מלמדים את המודל מה המשמעות של המילים, עם דאטה סינטטי (יוצרים מגופנים המון תמונות, מעוותים אותם ומטשטשים אותם קצת, ואז אומרים לו שתמונה פלונית היא טקסט @פלמנמוני )
לאחר מכן מלמדים אותו עם טקסט מהעולם האמיתי.
לאחר מכן בוחנים את התוצאות, ובודקים אם יש דברים שהוא מפספס באופן קבוע. אם יש - מלמדים אותו את הדברים הללו ספציפית.
כמובן שמאוד מאוד פישטתי את התהליך, מה גם שאני לא מתעסק בו בכלל - זה הכל פלמוני + פייבל...