פורום אוצריא

@shishko כתב:

אמצ"ש = אמצע שבוע

עוד יותר למה לא לעבוד על אוצריה באמצע שבוע? אז מתי לעבוד?

@י.-פל. כתב:

(אני משתדל לא לעבוד על אוצריא באמצ״ש... מקווה שאצליח להחזיק בכך).

סתם שאלה לא קשורה
למה לא לעבוד במוצ"ש

@פלמנמוני שלוש דברים
אני חושב שכדאי בבניית המודל לבנות שיעבוד בכמה שלבים
א. זיהוי הפונט והכתב מתוך רשימה של פונטים שתאמן אותו יזהה גם את גודל הכתב ככה שלא יתבלבל בין אותיות
ב. זיהוי העימוד צורות עימוד נפוצות ואז זיהוי שיצליח להבין מה זה מפרש מה זה הטקסט הפנימי מה זה הערות שולים וכן אם זה בצורה של ברכיים אז ידע האם זה שני מפרשים או מפרש אחד על שני העמודים לפי הכותרות למעלה וכן ספר רב טקסט לפי כל כותרת שידע שזה המפרש
ג. זיהוי אותיות ודאיות מאותו הספר כגון במילים שהם ודאי ככה כמו אלא או שמש וכן הלאה ואז יהיה לו בסיס לתקן באותיות שבורות
ד. נסיון לגלות אותיות שבורות לאיזה אותיות הם דומות בהתאם להקשר של המילה או המילה או המשפט

דבר שני יכול להיות שתוכל להריץ אימון מספר שהוא כבר מוקלד ואז ככה לתקן את האימון
דהיינו לתת לו לסרוק ספר שכבר יש לך ואז לתקן לו את הטעויות מספר שכבר מוקלד ואז ככה יתאמן לבד ללא צורך באנשים שיאמנו אותו
כמו כן אפשר לתת לקלוד או קודקס לנסות לתקן ולאמן אותו

דבר שלישי אני חושב אתה צריך את הפונטים של דניאל וויסמן (מיצר תוכנת תג הותיקה) יש לו את הרש"י ופרנקהיל ווילנא הותיקים שהשתמשו בהם ברוב הספרים הישנים תשאל אותו אולי אפילו יסכים להביא בחינם תגיד לו שזה לא לצורך עימוד רק לצורך מאגר תורני חינמי ואתה צריך את זה לזיהוי הטקסטים ולא מתכווון לעשות מזה שימוש מסחרי

@פלמנמוני אם אפשר אופציה להגדיל את הכתב לפעמים למגיה יוצא העיניים במיוחד אם יש לו מסך קטן

הנה במתמחים לא מתיאש הצליח להכין תוך כמה ימים מודל שכזה
רק שהוא כרגע לא רוצה לשחרר אותו
אני חושב שאנחנו כאן בתור צוות ודאי שנוכל להכין כזה מודל ואפילו לאמן אותו יותר בבדיקות של העורכים

@זאב-לבן כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

איך למעשה דיקטה מצליחה גם על ספרים ישנים ואותיות שבורות?

תשאל אותם
אתה יכול לראות כאן שהם מסבירים קצת אבל לא מגלים בדיוק איך הם עובדים
https://jewishaction.com/cover-story/artificial-intelligence-the-newest-revolution-in-torah-study/

@חנניה כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

@amram
אם כבר,
למה לא להתנדב לדיקטה וא"כ להתאים את הספרים שלהם?

אם אני אתנדב לדיקטה זה לא כל כך יעזור אחד לפה אחד לשם
אם נצליח להכניס את מנוע הסריקה שלהם לספריה
אז יעזור לכל העורכים יש כמה מאות אתה מבין שזה עולם אחר להקליד לבין לסרוק ויעבוד עם מודל חכם וכן מודל שפה שיתן תוצאות טובות כמו של דיקטה ורק העורך מתקן פה ושם

@ע-ה-דכו-ע כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

זה ס"ה מודל של tesseract שאומן על כתב רש"י, אבל המודל הזה מראש לא מספיק טוב.
דווקא ניסיתי להכניס אותו לפחות לאופציה של הOCR הרגיל שבאתר ספריית אוצריא, שהוא גם כן עובד ע"י tesseract, אבל זה לא הצליח כנראה בגלל אי תאימות של הגירסאות

משום מה בספריה אצלי גם הגימיני וגם הOCR לא עובד לי כותב שגיאה

ניסיתם לדבר עם דיקטה אולי יתנו לנו את המודל שלהם?

@י.-פל. כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

בשביל לאמן מודל, צריך המון דאטה, והמון ידע.
אני לא חושב שהידע הצבר בכלל משתמשי הפורום הזה מספיק לכך.

אם אתה אומר אתה יודע
בכל אופן אפשר ללכת על ההצעה השניה לקחת מודל מוכן ורק לאמן בו את השיפור לשפה התלמודית

@arieldaniely כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

כמו שאמרתי... אולי כדאי ללכת בכיוון של https://yakobov-dev.co.il/כלים/OcrChecker.aspx שרק מתקן שגיאות, זה אמור להיות קל ומהיר יותר [ואולי אפילו לא יהיה צריך לאמן מודל אלא רק אלגוריתמים פשוטים שיתקנו שגיאות כתיב].

אני מסכים שיותר קל רק תיקון שגיאות אבל בהשקעה לטווח ארוך עדיף נראלי לאמן מודל מבוסס AI
תחשוב שיש עשרות אלפי ספרי קודש וככל שהמודל יהיה יותר חכם ככה יחסוך עבודה בהמשך
אולי יהיה זמן שנוכל כבר להכניס ישירות מהמודל לתוכנה ללא צורך בהגהה

@דוד-משה-1 כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

אם אתם מאוד רוצים אני התחלתי משהו כזה https://github.com/mosh-dvd/ocr-hebrew

האם זה נראה לך מתאים לפרוייקט שלנו?
אם תוכל קצת לפרט מה המעלות שלו
האם הוא מבוסס AI
איזה שיטה של סריקה ועיבוד הוא משתמש

קודם צריכים לבחור מודל בקוד פתוח לסריקת טקסט הכי טוב ומתאים לנו משהו מבוסס AI ולא בשיטה הישנה של פעם
אחר כך הרעיון של האימון למודל זה בעיקר על ידי המשתמשים כל תיקון שלהם יעזור למודל לקלוט פעם הבאה את הטעויות כמובן שזה יהיה תלוי בפונטים בכתב רשי לדוגמא מסתבר שהטעויות יהיו אחרות
האימון שלנו זה רק להתאים אותו לשפה התלמודית

@arieldaniely כתב בהצעת ייעול | אימון מודל לפיענוח טקסטים:

לאמן מאפס פחות פרקטי, אולי יהיה אפשר למצוא מודל קוד פתוח ולשפר אותו ע"י המשתמשים

ברור שכדאי השאלה אם זה יהיה טוב מכיון שבעברית המודרנית שונה מהעברית הספרותית
תראה לדוגמא יעקובוב פיתח משהו
https://yakobov-dev.co.il/כלים/OcrChecker.aspx
אפשר גם לבקש מדיקטה מה שיש להם לא רע בכלל ואז לאמן אותו

יש לי כיון אבל כמובן שצריך לעבוד על זה
השאלה אם אתה לא חושב שזה יותר יעיל
במקום שיצטרכו להקליד את הכל פשוט רק יתקנו וככה לאט לאט ילמד
בעבר נתקלתי במשהו דומה רק של שמע לטקסט ובו משתמשים נרשמים ואז מאמנים אותו
משמיעים להם קטע וטקסט ואז הם צריכים לאשר או לתקן וכך הוא לומד
אצלנו אם נעשה כזה דבר הרווח יהיה כפול גם בסופו של יום הספר יהיה מוגה וגם המודל ילמד לאט לאט ופחות טעויות

חשבתי על רעיון במקום שננסה לסמוך כל הזמן על אחרים
כדאי נפתח מודל פינעוח טקסט מתמונה מתאים ללשון הקודש ולספרות הקודש
והמודל יאומן על ידי המשתמשים היקרים
כל משתמש יקבל קטע ויצטרך לתקן את הטעויות שלו וכך ילמד לאט לאט להשתפר
במקום שכל משתמש יקבל להקליד חומר יצטרך לעבור על הפיענוח שלו ולתקן ואז כך המודל ילמד וישתפר ויתאים עצמו לספרות היהודית

אני אנסה לברר רק תגידו מה צריך בדיוק
כפי מה שהזכירו הרבה משם זה כתבי יד וPDF שכעת לא נמצאים באוצריא