דילוג לתוכן
0
  • דף הבית
  • חוקי הפורום
  • מדריכים
  • פוסטים אחרונים
  • לא נפתר
  • תגיות
  • פופולרי
  • משתמשים
  • תרומות לאוצריא
  • צור קשר
  • דף הבית
  • חוקי הפורום
  • מדריכים
  • פוסטים אחרונים
  • לא נפתר
  • תגיות
  • פופולרי
  • משתמשים
  • תרומות לאוצריא
  • צור קשר
עיצובים
  • בהיר
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • כהה
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • ברירת מחדל (ללא עיצוב (ברירת מחדל))
  • ללא עיצוב (ברירת מחדל)
כיווץ
לוגו אתר

פורום אוצריא

אוצריא - דף הבית
|
קח שותפות בהוספת ספרים
|
תרום לאוצריא
  1. דף הבית
  2. הכרזות ועדכונים
  3. בקשות מהציבור
  4. עדכון | עדכון: הocr החדש! צריכים את עזרתכם!

עדכון | עדכון: הocr החדש! צריכים את עזרתכם!

מתוזמן נעוץ נעול הועבר בקשות מהציבור
143 פוסטים 22 כותבים 2.1k צפיות 20 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
    תגובה
    • תגובה כנושא
    התחברו כדי לפרסם תגובה
    נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
    • י. פל.י י. פל.

      @שמואלשםחדש חושב שלא.

      ori bensimonO
      ori bensimonO
      ori bensimon
      כתב נערך לאחרונה על ידי ori bensimon
      #78

      @י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
      בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdb

      ש תגובה 1 תגובה אחרונה
      3
      • י. פל.י י. פל.

        לפני הפוסט, אני חושב שמגיע לכם הסברים על התהליך שעבר הocr, והעבודה שעשיתם.


        אז ככה. @פלמנמוני התחיל ביצירת ocr מ-0. זו הייתה עבודה מפרכת, ואתם נרתמתם אליה - ושיפרתם מאוד את המודלים.
        המודלים התקדמו, והגיען לאחוזי דיוק יפים (כ94%-96%).
        (יש 2 מודלים: אחד לכתב רש״י ואחד לכתב מרובע).
        דא עקא, ש96% זה נורא ואיום: בכל שורה יש כ13 מילים, כפול 5 תווים (כולל הרווח) - 65 תווים בעמוד, שזה אומר שגיאה כל 2 שורות...
        ולכן הוחלט שפחות מ98% לא מספיק, והיעד הראשוני הוא 99-99.5%, בשאיפה להגיע ל99.8%.
        פלמוני לקח חופש לקראת סוף הקיץ, לאח״מ התקדם מעט, אך הפיתוח לא המשיך משמעותית (בין השאר, כי זה זלל לנו את כל הטוקנים של כולם...)


        בלי קשר בכלל, הרב @סתם-אחד החליט להכנס לעניין - מזווית שונה: לא לאמן מודל מ-0, אלא לקחת מודל קיים - ולאמן אותו על עברית.
        ההבדל בין 2 הגישות הוא ענק: בעוד שאת המודל של פלמוני יכולנו לשלב בתוכנה (כל מודל שקל פחות מ10MB, רץ על הCPU), המודלים של סתם-אחד הם גדולים בהרבה, ובריצה על מחשב רגיל כל עמוד לוקח מעל ל-10 דקות, ולעת עתה הם ירוצו על המחשב-שרת שהשאיל לנו הרב @dudua99 .
        אחרי שהם יהיו מוכנים - הם כמובן יוכלו לשמש לאימון זול למודל של @פלמנמוני שיתכן שיגיע עם זה לאחוזים הרצויים, אבל את זה אי אפשר לחזות מראש.


        המודלים של @סתם-אחד אכן ממלאים את עבודתם נאמנה: אחוזי דיוק גבוהים מאוד בזיהוי התווים הן של כתב רש"י והן של כתב מרובע (למען הידע במודל רש"י אנו אוחזים כעת בגירסה 06).

        השלב הבא בפיתוח המערכת היא יכולת זיהוי נכון של מבנה הדף ומה קיים בדף.
        כלומר, האם הדף מכיל טקסט ראשי והערות, אלו שורות נכללות בטקסט הראשי ואלו בהערות, אלו שורות הן בהגדרה של ריהוט דף - כותרת רצה, כותרת מעל הערות, מספרי עמוד ועוד.
        בנוסף יכולת זיהוי של אלו שורות הן כותרות ואלו הטקסט רץ.


        הגירסא המופיעה כרגע באתר הינה גירסת בטא ראשונית הדורשת את האימון והשיפור של מתנדבים.
        כתובת האתר: https://otzaria.org/library/page-proof

        כרגע עלה לאתר הספר חכמת אדם וחלק ראשון של הספר גדולי תרומה. ספרים אלו הם בתכנון להכניס אותם למאגר הספרים לאחר השלמת ההגהה.
        בנוסף יעלו בעז"ה בהמשך החלקים הנוספים של הספר גדולי תרומה וחלקי ספרים נוספים אשר בתכנון להכניס אותם למאגר ומשמשים כרגע לאימון המערכת.

        כל הגהה ותיקון באתר משמשים לשיפורן ואימון עתידי של המערכת!

        1. המערכת מבוססת על זיהוי של שורות שלמות בבת אחת, ולכן היא חותכת את העמוד לשורות הנשלחות לזיהוי. בידקו האם השורות נחתכו כראוי ושום שורה לא נחתכה לשניים או שהיא זולגת לטור אחר.
        2. בכדי לזהות את מבנה הדף המערכת מנסה לצייר מסגרות סביב אזורי טקסט המגדירות את סוג הטקסט האם מדובר בטקסט ראשי או הערות וכן את סדר הקריאה. נדרש לתקן את המסגרות השונות על הדף בכדי לאמן את המערכת לעתיד.
        3. חלוקה נכונה לפסקאות. יש לעבור ולבדוק האם המערכת חילקה בצורה נכונה את הטקסט לפסקאות, ובמקרה של שיבוש לתקן.
        4. סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.
        5. הגהת הטקסט. ב"ה והמערכת הגיעה לתוצאות גבוהות במיוחד בזיהוי תווים אך עדיין היא יכולה לטעות. כל הגהה של הטקסט ואישור של שורות מתוקנות משמש לאימון של מודל חדש משופר יותר.
        הלמדן הטכנאיה
        הלמדן הטכנאיה
        הלמדן הטכנאי
        כתב נערך לאחרונה על ידי
        #79

        ואו הרב @י.-פל. כל פעם אני נפעם מחדש....
        לא רק מפיתוח הפרוייקט שהוא ללא ספק נכס עצום לקב"ה, לתורה ולישראל.
        אלא מהאיכפתיות מכל בקשה, והרצון באמת לעשות טוב ולא להתגדל, שזה מעיד על לשמה גמור, ואהבת הקב"ה התורה וישראל באמת.
        איך שכל בקשה מקבלת יחס רציני, ובטופלת בחשיבות בלי לזלזל בשום דבר.
        נ.ב. יש"כ גדול על הכנסת הספר גידולי תרומה שביקשתי לפרוייקט החדש.
        הקב"ה יברך אותך ואת כל העוסקים במלאכה, שתזכו להגדיל תורה ולהאדירה, ותיזכו להצלחה בכל מעשי ידיכם, ונחת רוח מכל יצאי חלציכם. אמן.

        תגובה 1 תגובה אחרונה
        10
        • ori bensimonO ori bensimon

          @י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
          בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdb

          ש
          ש
          שמואלשםחדש
          כתב נערך לאחרונה על ידי
          #80

          @ori-bensimon כתב:

          @י.-פל. אני חושב שקצת חבל, פעמים רבות יש גם בהסכמות חומר תורני רב ערך וכמובן שלא מעט חומר היסטורי חשוב, כמובן שהתורני הוא יותר קריטי...
          בסופו של דבר לא מדובר על הגדלה משמעותית של נפח הdb

          למשל בהסכמות לחכמת אדם: image.jpeg

          תגובה 1 תגובה אחרונה
          2
          • MoteleM
            MoteleM
            Motele
            כתב נערך לאחרונה על ידי Motele
            #81

            מה עושים כשיש סעיף ממוספר ודיבור המתחיל באותה שורה? זה לא נותן להגדיר פר מילה אלא רק פר שורה..
            אשמח לפתרון
            נ.ב כשחסר אות בספר המקורי, להשאיר את הטעות?

            סתם אחדס תגובה 1 תגובה אחרונה
            0
            • סתם אחדס סתם אחד

              @eli8565 כתב:

              יש מקומות שזה לא קריאה לא נכונה אלא בעיה בספר ואם נתקן אז הוא יתבלבל במקומות אחרים כמו:
              image.jpeg
              זה נראה כה אבל זה אמור להיות כח, מה לעשות?

              זאת שאלה שנשאלה כבר מספר פעמים.

              מקווה בעז"ה כשקלוד יחזור ממנוחה עם חבילת טוקנים חדשה שיהיה ניתן להגדיר בצורה כל שהיא תיקונים שלא יכנסו לאימון.

              כרגע תנסה לתקן כפי שאמור להיות מוצג בספר, והשורה הזאת לא תיכנס בעז"ה לאימון עתידי.

              שמואל5ש
              שמואל5ש
              שמואל5
              כתב נערך לאחרונה על ידי שמואל5
              #82

              נ.ב כשחסר אות בספר המקורי, להשאיר את הטעות?

              זאת שאלה שנשאלה כבר מספר פעמים.

              מקווה בעז"ה כשקלוד יחזור ממנוחה עם חבילת טוקנים חדשה שיהיה ניתן להגדיר בצורה כל שהיא תיקונים שלא יכנסו לאימון.
              תנסה לתקן כפי שאמור להיות מוצג בספר, והשורה הזאת לא תיכנס בעז"ה לאימון עתידי.

              תגובה 1 תגובה אחרונה
              0
              • א
                א
                א.ד
                תורם לאוצריא
                כתב נערך לאחרונה על ידי
                #83

                איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.
                כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)
                יישר כח, נראה ממש ברמה גבוהה

                נתנאל_26נ סתם אחדס 2 תגובות תגובה אחרונה
                0
                • א א.ד

                  איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.
                  כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                  אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)
                  יישר כח, נראה ממש ברמה גבוהה

                  נתנאל_26נ
                  נתנאל_26נ
                  נתנאל_26
                  כתב נערך לאחרונה על ידי
                  #84

                  @א.ד כתב:

                  איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.

                  תעשה מסגרת חדשה, ריהוט עמוד

                  תגובה 1 תגובה אחרונה
                  2
                  • MoteleM
                    MoteleM
                    Motele
                    כתב נערך לאחרונה על ידי
                    #85

                    למה בדיקה חוזרת מתחילה מהתחלה?
                    אפשר לבדוק את מה שהקודם תיקן ולבדוק שעשה נכון.
                    לא תמיד יש כח לבדוק את העמוד מתחילה..

                    תגובה 1 תגובה אחרונה
                    0
                    • ר
                      ר
                      רפאל אא
                      כתב נערך לאחרונה על ידי
                      #86

                      יש פה מילה שלא הבנתי אם מישהו יכול לעזור

                      image.jpeg

                      נתנאל_26נ צדיק וטוב לוצ 2 תגובות תגובה אחרונה
                      0
                      • ר רפאל אא

                        יש פה מילה שלא הבנתי אם מישהו יכול לעזור

                        image.jpeg

                        נתנאל_26נ
                        נתנאל_26נ
                        נתנאל_26
                        כתב נערך לאחרונה על ידי
                        #87

                        @רפאל-אא
                        אם מותא להתיק רק מילה אחת אז כך מפה https://hebrewbooks.org/20835

                        תגובה 1 תגובה אחרונה
                        2
                        • ש
                          ש
                          שמואלשםחדש
                          כתב נערך לאחרונה על ידי
                          #88

                          מה זו הקטגוריה של "ממתין לזיהוי מחדש"?
                          אם זה גורם שיהיה צורך שהOCR יסרוק מחדש למה שזה לא יקרה מייד?
                          בינתיים חבל על הזמן...
                          יש"כ

                          סתם אחדס תגובה 1 תגובה אחרונה
                          1
                          • ש
                            ש
                            שמואלשםחדש
                            כתב נערך לאחרונה על ידי
                            #89

                            איך מבטלים קישורים שהתוכנת סריקה יצרה והם לא קשורים?

                            תגובה 1 תגובה אחרונה
                            0
                            • ר רפאל אא

                              יש פה מילה שלא הבנתי אם מישהו יכול לעזור

                              image.jpeg

                              צדיק וטוב לוצ
                              צדיק וטוב לוצ
                              צדיק וטוב לו
                              תורם לאוצריא
                              כתב נערך לאחרונה על ידי צדיק וטוב לו
                              #90

                              @רפאל-אא
                              'בקטנן'.

                              תגובה 1 תגובה אחרונה
                              1
                              • הלמדן הטכנאיה
                                הלמדן הטכנאיה
                                הלמדן הטכנאי
                                כתב נערך לאחרונה על ידי
                                #91

                                באמצע הטקסט יש כותרת "חלק ה" וכאשר אני מסמן אותה בתור כותרת הוא מעביר אותה לתחילת העמוד, וכשאני מסמן הבא או 2, הוא מעביר אותה לקטע אחד אחרי.
                                ומשום מה בשום פנים ואופן הוא לא מוכן להשאיר אותו במקומו.

                                סתם אחדס תגובה 1 תגובה אחרונה
                                0
                                • ש שמואלשםחדש

                                  מה זו הקטגוריה של "ממתין לזיהוי מחדש"?
                                  אם זה גורם שיהיה צורך שהOCR יסרוק מחדש למה שזה לא יקרה מייד?
                                  בינתיים חבל על הזמן...
                                  יש"כ

                                  סתם אחדס
                                  סתם אחדס
                                  סתם אחד
                                  כתב נערך לאחרונה על ידי
                                  #92

                                  @שמואלשםחדש כתב:

                                  מה זו הקטגוריה של "ממתין לזיהוי מחדש"?
                                  אם זה גורם שיהיה צורך שהOCR יסרוק מחדש למה שזה לא יקרה מייד?
                                  בינתיים חבל על הזמן...
                                  יש"כ

                                  בעת שינוי של מבנה השורות נדרשת זיהוי מחדש.

                                  השרת שבו מתבצע הזיהוי לא פנוי כל הזמן לביצוע ולכן נדרשת המתנה.

                                  ח תגובה 1 תגובה אחרונה
                                  2
                                  • MoteleM Motele

                                    מה עושים כשיש סעיף ממוספר ודיבור המתחיל באותה שורה? זה לא נותן להגדיר פר מילה אלא רק פר שורה..
                                    אשמח לפתרון
                                    נ.ב כשחסר אות בספר המקורי, להשאיר את הטעות?

                                    סתם אחדס
                                    סתם אחדס
                                    סתם אחד
                                    כתב נערך לאחרונה על ידי
                                    #93

                                    @Motele כתב:

                                    מה עושים כשיש סעיף ממוספר ודיבור המתחיל באותה שורה? זה לא נותן להגדיר פר מילה אלא רק פר שורה..
                                    אשמח לפתרון

                                    שניהם מוגדרים כסגנונות פיסקה ולכן אין אפשרות להגדיר 2 סגנונות לפיסקה אחת.

                                    היכן יצא לך למצוא דבר כזה בספר?

                                    תגובה 1 תגובה אחרונה
                                    0
                                    • סתם אחדס סתם אחד

                                      @שמואלשםחדש כתב:

                                      מה זו הקטגוריה של "ממתין לזיהוי מחדש"?
                                      אם זה גורם שיהיה צורך שהOCR יסרוק מחדש למה שזה לא יקרה מייד?
                                      בינתיים חבל על הזמן...
                                      יש"כ

                                      בעת שינוי של מבנה השורות נדרשת זיהוי מחדש.

                                      השרת שבו מתבצע הזיהוי לא פנוי כל הזמן לביצוע ולכן נדרשת המתנה.

                                      ח
                                      ח
                                      חד צורבא
                                      כתב נערך לאחרונה על ידי
                                      #94

                                      @סתם-אחד כתב:

                                      א פנוי כל הזמן לביצוע

                                      גם לא באמצע הלילה ? זה ממש הרבה זמן המתנה, למעלה מיממה

                                      פלמנמוניפ נתנאל_26נ י. פל.י 3 תגובות תגובה אחרונה
                                      0
                                      • א א.ד

                                        איך להתייחס למילה בודדת ששייכת לעמוד הבא כמו הדרך בספרים הישנים שבסוף העמוד מחוץ לשורה מופיעה המילה הראשונה של העמוד הבא.
                                        כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                                        אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)
                                        יישר כח, נראה ממש ברמה גבוהה

                                        סתם אחדס
                                        סתם אחדס
                                        סתם אחד
                                        כתב נערך לאחרונה על ידי סתם אחד
                                        #95

                                        @א.ד כתב:

                                        כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                                        אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)

                                        @Motele כתב:

                                        למה בדיקה חוזרת מתחילה מהתחלה?
                                        אפשר לבדוק את מה שהקודם תיקן ולבדוק שעשה נכון.
                                        לא תמיד יש כח לבדוק את העמוד מתחילה..

                                        @שמואלשםחדש כתב:

                                        איך מבטלים קישורים שהתוכנת סריקה יצרה והם לא קשורים?

                                        אלו באגים ושיפורים לאתר.

                                        מקווה שיהיה אפשר לתקן אותם בהקדם.

                                        ש תגובה 1 תגובה אחרונה
                                        1
                                        • ח חד צורבא

                                          @סתם-אחד כתב:

                                          א פנוי כל הזמן לביצוע

                                          גם לא באמצע הלילה ? זה ממש הרבה זמן המתנה, למעלה מיממה

                                          פלמנמוניפ
                                          פלמנמוניפ
                                          פלמנמוני
                                          כתב נערך לאחרונה על ידי פלמנמוני
                                          #96

                                          @חד-צורבא כתב:

                                          גם לא באמצע הלילה ?

                                          נראה לך שבלילה ישנים פה?

                                          ח תגובה 1 תגובה אחרונה
                                          5
                                          • פלמנמוניפ פלמנמוני

                                            @חד-צורבא כתב:

                                            גם לא באמצע הלילה ?

                                            נראה לך שבלילה ישנים פה?

                                            ח
                                            ח
                                            חד צורבא
                                            כתב נערך לאחרונה על ידי
                                            #97

                                            @פלמנמוני תכל'ס מה שנכון נכון, חוזרני בי
                                            אם כי כמה כבר לוקח לעשות זיהוי לעמוד, אי אפשר לשחרר לכמה דקות ?

                                            סתם אחדס תגובה 1 תגובה אחרונה
                                            0

                                            שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.

                                            נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.

                                            בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗

                                            הרשמה התחברות

                                            • התחברות

                                            • אין לך חשבון עדיין? הרשמה

                                            • התחברו או הירשמו כדי לחפש.
                                            • פוסט ראשון
                                              פוסט אחרון