דילוג לתוכן
0
  • דף הבית
  • חוקי הפורום
  • מדריכים
  • פוסטים אחרונים
  • לא נפתר
  • תגיות
  • פופולרי
  • משתמשים
  • תרומות לאוצריא
  • צור קשר
  • דף הבית
  • חוקי הפורום
  • מדריכים
  • פוסטים אחרונים
  • לא נפתר
  • תגיות
  • פופולרי
  • משתמשים
  • תרומות לאוצריא
  • צור קשר
עיצובים
  • בהיר
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • כהה
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • ברירת מחדל (ללא עיצוב (ברירת מחדל))
  • ללא עיצוב (ברירת מחדל)
כיווץ
לוגו אתר

פורום אוצריא

אוצריא - דף הבית
|
קח שותפות בהוספת ספרים
|
תרום לאוצריא
  1. דף הבית
  2. הכרזות ועדכונים
  3. בקשות מהציבור
  4. עדכון | עדכון: הocr החדש! צריכים את עזרתכם!

עדכון | עדכון: הocr החדש! צריכים את עזרתכם!

מתוזמן נעוץ נעול הועבר בקשות מהציבור
143 פוסטים 22 כותבים 2.1k צפיות 20 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
    תגובה
    • תגובה כנושא
    התחברו כדי לפרסם תגובה
    נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
    • ח חד צורבא

      @סתם-אחד כתב:

      א פנוי כל הזמן לביצוע

      גם לא באמצע הלילה ? זה ממש הרבה זמן המתנה, למעלה מיממה

      י. פל.י
      י. פל.י
      י. פל.
      כתב נערך לאחרונה על ידי
      #101

      @חד-צורבא כתב:

      גם לא באמצע הלילה ? זה ממש הרבה זמן המתנה, למעלה מיממה

      יש לך תלונות????

      ח תגובה 1 תגובה אחרונה
      0
      • י. פל.י י. פל.

        @חד-צורבא כתב:

        גם לא באמצע הלילה ? זה ממש הרבה זמן המתנה, למעלה מיממה

        יש לך תלונות????

        ח
        ח
        חד צורבא
        כתב נערך לאחרונה על ידי
        #102

        @י.-פל. כתב:

        יש לך תלונות????

        אחר המחילה, לא ראיתי כאן תלונה רק שאלה מתוך רצון להשלים את מה שכבר התחלתי לעשות אבל מחמת אורך הזמן כמעט ואינו מתאפשר

        תגובה 1 תגובה אחרונה
        1
        • י. פל.י י. פל.

          לפני הפוסט, אני חושב שמגיע לכם הסברים על התהליך שעבר הocr, והעבודה שעשיתם.


          אז ככה. @פלמנמוני התחיל ביצירת ocr מ-0. זו הייתה עבודה מפרכת, ואתם נרתמתם אליה - ושיפרתם מאוד את המודלים.
          המודלים התקדמו, והגיען לאחוזי דיוק יפים (כ94%-96%).
          (יש 2 מודלים: אחד לכתב רש״י ואחד לכתב מרובע).
          דא עקא, ש96% זה נורא ואיום: בכל שורה יש כ13 מילים, כפול 5 תווים (כולל הרווח) - 65 תווים בעמוד, שזה אומר שגיאה כל 2 שורות...
          ולכן הוחלט שפחות מ98% לא מספיק, והיעד הראשוני הוא 99-99.5%, בשאיפה להגיע ל99.8%.
          פלמוני לקח חופש לקראת סוף הקיץ, לאח״מ התקדם מעט, אך הפיתוח לא המשיך משמעותית (בין השאר, כי זה זלל לנו את כל הטוקנים של כולם...)


          בלי קשר בכלל, הרב @סתם-אחד החליט להכנס לעניין - מזווית שונה: לא לאמן מודל מ-0, אלא לקחת מודל קיים - ולאמן אותו על עברית.
          ההבדל בין 2 הגישות הוא ענק: בעוד שאת המודל של פלמוני יכולנו לשלב בתוכנה (כל מודל שקל פחות מ10MB, רץ על הCPU), המודלים של סתם-אחד הם גדולים בהרבה, ובריצה על מחשב רגיל כל עמוד לוקח מעל ל-10 דקות, ולעת עתה הם ירוצו על המחשב-שרת שהשאיל לנו הרב @dudua99 .
          אחרי שהם יהיו מוכנים - הם כמובן יוכלו לשמש לאימון זול למודל של @פלמנמוני שיתכן שיגיע עם זה לאחוזים הרצויים, אבל את זה אי אפשר לחזות מראש.


          המודלים של @סתם-אחד אכן ממלאים את עבודתם נאמנה: אחוזי דיוק גבוהים מאוד בזיהוי התווים הן של כתב רש"י והן של כתב מרובע (למען הידע במודל רש"י אנו אוחזים כעת בגירסה 06).

          השלב הבא בפיתוח המערכת היא יכולת זיהוי נכון של מבנה הדף ומה קיים בדף.
          כלומר, האם הדף מכיל טקסט ראשי והערות, אלו שורות נכללות בטקסט הראשי ואלו בהערות, אלו שורות הן בהגדרה של ריהוט דף - כותרת רצה, כותרת מעל הערות, מספרי עמוד ועוד.
          בנוסף יכולת זיהוי של אלו שורות הן כותרות ואלו הטקסט רץ.


          הגירסא המופיעה כרגע באתר הינה גירסת בטא ראשונית הדורשת את האימון והשיפור של מתנדבים.
          כתובת האתר: https://otzaria.org/library/page-proof

          כרגע עלה לאתר הספר חכמת אדם וחלק ראשון של הספר גדולי תרומה. ספרים אלו הם בתכנון להכניס אותם למאגר הספרים לאחר השלמת ההגהה.
          בנוסף יעלו בעז"ה בהמשך החלקים הנוספים של הספר גדולי תרומה וחלקי ספרים נוספים אשר בתכנון להכניס אותם למאגר ומשמשים כרגע לאימון המערכת.

          כל הגהה ותיקון באתר משמשים לשיפורן ואימון עתידי של המערכת!

          1. המערכת מבוססת על זיהוי של שורות שלמות בבת אחת, ולכן היא חותכת את העמוד לשורות הנשלחות לזיהוי. בידקו האם השורות נחתכו כראוי ושום שורה לא נחתכה לשניים או שהיא זולגת לטור אחר.
          2. בכדי לזהות את מבנה הדף המערכת מנסה לצייר מסגרות סביב אזורי טקסט המגדירות את סוג הטקסט האם מדובר בטקסט ראשי או הערות וכן את סדר הקריאה. נדרש לתקן את המסגרות השונות על הדף בכדי לאמן את המערכת לעתיד.
          3. חלוקה נכונה לפסקאות. יש לעבור ולבדוק האם המערכת חילקה בצורה נכונה את הטקסט לפסקאות, ובמקרה של שיבוש לתקן.
          4. סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.
          5. הגהת הטקסט. ב"ה והמערכת הגיעה לתוצאות גבוהות במיוחד בזיהוי תווים אך עדיין היא יכולה לטעות. כל הגהה של הטקסט ואישור של שורות מתוקנות משמש לאימון של מודל חדש משופר יותר.
          בננהב
          בננהב
          בננה
          כתב נערך לאחרונה על ידי
          #103

          @י.-פל. כתב:

          סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.

          אם אני לא מכיר את כללי הקידוד הרלוונטים, יש לי במה לעזור?

          סתם אחדס תגובה 1 תגובה אחרונה
          0
          • א
            א
            א.ד
            תורם לאוצריא
            כתב נערך לאחרונה על ידי
            #104

            לי אישית אני מרגיש שעושה לי הרבה בלגן שיש כ"כ הרבה פרטים להתייחס עליהם, השאלה היא האם יש איך לתת מיקוד נפרד על כל חלק (הגהת הספר לבד, ריהוט לבד וכותרת לבד)

            סתם אחדס תגובה 1 תגובה אחרונה
            0
            • בננהב בננה

              @י.-פל. כתב:

              סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.

              אם אני לא מכיר את כללי הקידוד הרלוונטים, יש לי במה לעזור?

              סתם אחדס
              סתם אחדס
              סתם אחד
              כתב נערך לאחרונה על ידי
              #105

              @בננה כתב:

              @י.-פל. כתב:

              סגנונות פיסקה ותו, קישורים להערות. כל ספר באוצריא מקודד בצורה שהתוכנה מזהה פסקאות שונות כפסקאות כותרת והדגשות של מילים באמצע פיסקה ובנוסף כוללת דף מידע על הקישורים השונים בין הטקסט הראשי להערות. המערכת כרגע אינה מסוגלת לזהות אותם באופן אוטומטי ויש ליצור אותם ידנית.

              אם אני לא מכיר את כללי הקידוד הרלוונטים, יש לי במה לעזור?

              לכאורה כן.
              תיכנס ותראה.

              תגובה 1 תגובה אחרונה
              0
              • א א.ד

                לי אישית אני מרגיש שעושה לי הרבה בלגן שיש כ"כ הרבה פרטים להתייחס עליהם, השאלה היא האם יש איך לתת מיקוד נפרד על כל חלק (הגהת הספר לבד, ריהוט לבד וכותרת לבד)

                סתם אחדס
                סתם אחדס
                סתם אחד
                כתב נערך לאחרונה על ידי
                #106

                @א.ד כתב:

                לי אישית אני מרגיש שעושה לי הרבה בלגן שיש כ"כ הרבה פרטים להתייחס עליהם, השאלה היא האם יש איך לתת מיקוד נפרד על כל חלק (הגהת הספר לבד, ריהוט לבד וכותרת לבד)

                תוכל למקד ולפרט יותר מה מפריע לך, כדי שאוכל לנסות להנגיש זאת יותר.

                תגובה 1 תגובה אחרונה
                0
                • א
                  א
                  א.ד
                  תורם לאוצריא
                  כתב נערך לאחרונה על ידי
                  #107

                  אני מתכוון שבכל דף צריך לטפל במלא דברים. א. הגהת הכתב. (ובמקרים מסוימים לציין שזה שגיאת דפוס) ב. הגדרת פסקה אחת. ג. לבדוק איזה סוג כותרת. ד. להגדיר מה שייך לריהוט הדף. ה. לבדוק את השורות שכל הפסקה מוקפת.
                  ההצעה שלי היא לחלק את זה או עכ"פ לתת אפשרות כזאת שקודם כל יוצגו רק הטיפול באותיות א' וב' ולאח"כ הטיפול בגוף הפסקה (כלומר בזיהוי הכותרות והמקטעים). בטיפול בגוף הפסקה אפשר לעשות שיוצג הפידיאף על מסך מלא ללא הטקסט לצידו.
                  כמו כן לתת אפשרות שיוצג במה טיפלתי כבר מתוך הפסקאות.
                  יישר כח על ההיענות והטרחה המרובה

                  סתם אחדס תגובה 1 תגובה אחרונה
                  1
                  • א
                    א
                    א.ד
                    תורם לאוצריא
                    כתב נערך לאחרונה על ידי
                    #108

                    מה עושים אם מילה שקשה לפענח (יש הסתברות של הקשר, אך בכתב זה לא מזוהה טוב)

                    סתם אחדס תגובה 1 תגובה אחרונה
                    0
                    • הלמדן הטכנאיה
                      הלמדן הטכנאיה
                      הלמדן הטכנאי
                      כתב נערך לאחרונה על ידי הלמדן הטכנאי
                      #109

                      לוקח לשרת לעשות זיהוי מחדש המוווווווווון זמן (אני מחכה לעמודים כבר יומיים) וזה ממש תוקע את העבודה.
                      יש"כ לכולם.

                      בגידולי תרומה בכלל, בגלל שיש לו צורת הדף רוב הבעיות הם השורות שהמערכת לא זיהתה נכון או דלגה עליהם.
                      לעומת בחכמת אדם שבו כמעט אין צורך לשלוח לזיהוי מחדש, למרות שיש בו כמעט פי 2 שגיאות וטעויות דפוס

                      תגובה 1 תגובה אחרונה
                      0
                      • ח
                        ח
                        חד צורבא
                        כתב נערך לאחרונה על ידי
                        #110

                        בכה"ג לעשות כפי האמור להיות כיון שזה באמת ר כפי הנראה אבל צריך להיות ד ("דגרסינן" ולא "רגרסינן")

                        image.jpeg

                        סתם אחדס תגובה 1 תגובה אחרונה
                        0
                        • דאנציגד
                          דאנציגד
                          דאנציג
                          תורם לאוצריא
                          כתב נערך לאחרונה על ידי
                          #111

                          מה עושים במקרה שבו המסגרת והשורות נכונות, אך שורה אחת הקדימה את רעותה?
                          הסוף:
                          image.jpeg
                          לפני השורה שקודמת לה:
                          image.jpeg

                          סתם אחדס תגובה 1 תגובה אחרונה
                          0
                          • א א.ד

                            מה עושים אם מילה שקשה לפענח (יש הסתברות של הקשר, אך בכתב זה לא מזוהה טוב)

                            סתם אחדס
                            סתם אחדס
                            סתם אחד
                            כתב נערך לאחרונה על ידי
                            #112

                            @א.ד כתב:

                            מה עושים אם מילה שקשה לפענח (יש הסתברות של הקשר, אך בכתב זה לא מזוהה טוב)

                            דובר כבר מספר פעמים.

                            בעז"ה יעלה בקרוב עדכון עם אפשרות של לחצן שבשעה שהוא פועל כל התיקונים שיבוצעו לא יכנסו לאימון עתידי, ויהיה ניתן לתקן על בסיס הקשר או על בסיס ספרים אחרים בצורה שקטה.

                            MoteleM תגובה 1 תגובה אחרונה
                            0
                            • א א.ד

                              אני מתכוון שבכל דף צריך לטפל במלא דברים. א. הגהת הכתב. (ובמקרים מסוימים לציין שזה שגיאת דפוס) ב. הגדרת פסקה אחת. ג. לבדוק איזה סוג כותרת. ד. להגדיר מה שייך לריהוט הדף. ה. לבדוק את השורות שכל הפסקה מוקפת.
                              ההצעה שלי היא לחלק את זה או עכ"פ לתת אפשרות כזאת שקודם כל יוצגו רק הטיפול באותיות א' וב' ולאח"כ הטיפול בגוף הפסקה (כלומר בזיהוי הכותרות והמקטעים). בטיפול בגוף הפסקה אפשר לעשות שיוצג הפידיאף על מסך מלא ללא הטקסט לצידו.
                              כמו כן לתת אפשרות שיוצג במה טיפלתי כבר מתוך הפסקאות.
                              יישר כח על ההיענות והטרחה המרובה

                              סתם אחדס
                              סתם אחדס
                              סתם אחד
                              כתב נערך לאחרונה על ידי
                              #113

                              @א.ד כתב:

                              אני מתכוון שבכל דף צריך לטפל במלא דברים. א. הגהת הכתב. (ובמקרים מסוימים לציין שזה שגיאת דפוס) ב. הגדרת פסקה אחת. ג. לבדוק איזה סוג כותרת. ד. להגדיר מה שייך לריהוט הדף. ה. לבדוק את השורות שכל הפסקה מוקפת.
                              ההצעה שלי היא לחלק את זה או עכ"פ לתת אפשרות כזאת שקודם כל יוצגו רק הטיפול באותיות א' וב' ולאח"כ הטיפול בגוף הפסקה (כלומר בזיהוי הכותרות והמקטעים). בטיפול בגוף הפסקה אפשר לעשות שיוצג הפידיאף על מסך מלא ללא הטקסט לצידו.
                              כמו כן לתת אפשרות שיוצג במה טיפלתי כבר מתוך הפסקאות.
                              יישר כח על ההיענות והטרחה המרובה

                              אמור להיכנס בעז"ה בקרוב עדכון המחלק את ההגהה לשני שלבים, הראשון תיקון השורות והמסגרות, ורק לאחר מכן אפשרות להגהת הטקסט.

                              תגובה 1 תגובה אחרונה
                              2
                              • ח חד צורבא

                                בכה"ג לעשות כפי האמור להיות כיון שזה באמת ר כפי הנראה אבל צריך להיות ד ("דגרסינן" ולא "רגרסינן")

                                image.jpeg

                                סתם אחדס
                                סתם אחדס
                                סתם אחד
                                כתב נערך לאחרונה על ידי
                                #114

                                @חד-צורבא כתב:

                                בכה"ג לעשות כפי האמור להיות כיון שזה באמת ר כפי הנראה אבל צריך להיות ד ("דגרסינן" ולא "רגרסינן")

                                image.jpeg

                                נדמה שזאת טעות במקור.

                                יתאפשר לתקן זאת בעז"ה עם האפשרות של הגהה שלא נכנסת לאימון.

                                תגובה 1 תגובה אחרונה
                                0
                                • דאנציגד דאנציג

                                  מה עושים במקרה שבו המסגרת והשורות נכונות, אך שורה אחת הקדימה את רעותה?
                                  הסוף:
                                  image.jpeg
                                  לפני השורה שקודמת לה:
                                  image.jpeg

                                  סתם אחדס
                                  סתם אחדס
                                  סתם אחד
                                  כתב נערך לאחרונה על ידי
                                  #115

                                  @דאנציג כתב:

                                  מה עושים במקרה שבו המסגרת והשורות נכונות, אך שורה אחת הקדימה את רעותה?
                                  הסוף:
                                  image.jpeg
                                  לפני השורה שקודמת לה:
                                  image.jpeg

                                  תנסה לשחק עם חיתוכי השורות להקטין או להגדיל את גובה השורה.
                                  באם זה לא עוזר אשמח לעדכון.

                                  דאנציגד תגובה 1 תגובה אחרונה
                                  0
                                  • הלמדן הטכנאיה
                                    הלמדן הטכנאיה
                                    הלמדן הטכנאי
                                    כתב נערך לאחרונה על ידי
                                    #116

                                    סליחה אם השאלה כבר נשאלה (ומסתמא שכבר נשאלה... רק אין לי כח לעבור על כ"כ הרבה הודעות)
                                    איך מתקנים קישור לא נכון בספר.

                                    תגובה 1 תגובה אחרונה
                                    0
                                    • סתם אחדס סתם אחד

                                      @א.ד כתב:

                                      כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                                      אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)

                                      @Motele כתב:

                                      למה בדיקה חוזרת מתחילה מהתחלה?
                                      אפשר לבדוק את מה שהקודם תיקן ולבדוק שעשה נכון.
                                      לא תמיד יש כח לבדוק את העמוד מתחילה..

                                      @שמואלשםחדש כתב:

                                      איך מבטלים קישורים שהתוכנת סריקה יצרה והם לא קשורים?

                                      אלו באגים ושיפורים לאתר.

                                      מקווה שיהיה אפשר לתקן אותם בהקדם.

                                      ש
                                      ש
                                      שמואלשםחדש
                                      כתב נערך לאחרונה על ידי
                                      #117

                                      @הלמדן-הטכנאי כתב:

                                      סליחה אם השאלה כבר נשאלה (ומסתמא שכבר נשאלה... רק אין לי כח לעבור על כ"כ הרבה הודעות)
                                      איך מתקנים קישור לא נכון בספר.

                                      לעיל:

                                      @סתם-אחד כתב:

                                      @א.ד כתב:

                                      כמו כן יש לשים לב שיום שבת לא מתחשב עם 48 שעות.
                                      אשמח לדעת האם כאשר סימנתי וי על חלק מהפסקאות זה נשמר אע"פ שעזבתי את העמוד ליותר מ - 48 שעות (עכ"פ שישמר לבא שתופס)

                                      @Motele כתב:

                                      למה בדיקה חוזרת מתחילה מהתחלה?
                                      אפשר לבדוק את מה שהקודם תיקן ולבדוק שעשה נכון.
                                      לא תמיד יש כח לבדוק את העמוד מתחילה..

                                      @שמואלשםחדש כתב:

                                      איך מבטלים קישורים שהתוכנת סריקה יצרה והם לא קשורים?

                                      אלו באגים ושיפורים לאתר.

                                      מקווה שיהיה אפשר לתקן אותם בהקדם.

                                      תגובה 1 תגובה אחרונה
                                      1
                                      • ש
                                        ש
                                        שמואלשםחדש
                                        כתב נערך לאחרונה על ידי
                                        #118

                                        קודם כל יש"כ גדול על שיפור האתר!
                                        מה עושים עם מילים שלא מופיעות משום מה?

                                        image.jpeg

                                        סתם אחדס תגובה 1 תגובה אחרונה
                                        0
                                        • ש שמואלשםחדש

                                          קודם כל יש"כ גדול על שיפור האתר!
                                          מה עושים עם מילים שלא מופיעות משום מה?

                                          image.jpeg

                                          סתם אחדס
                                          סתם אחדס
                                          סתם אחד
                                          כתב נערך לאחרונה על ידי
                                          #119

                                          @שמואלשםחדש כתב:

                                          קודם כל יש"כ גדול על שיפור האתר!
                                          מה עושים עם מילים שלא מופיעות משום מה?

                                          image.jpeg

                                          מוזר מאוד.

                                          תנסה אולי לשנות קצת את השורה ולשלוח אותו שוב לזיהוי מחדש.

                                          ש תגובה 1 תגובה אחרונה
                                          1
                                          • סתם אחדס סתם אחד

                                            @שמואלשםחדש כתב:

                                            קודם כל יש"כ גדול על שיפור האתר!
                                            מה עושים עם מילים שלא מופיעות משום מה?

                                            image.jpeg

                                            מוזר מאוד.

                                            תנסה אולי לשנות קצת את השורה ולשלוח אותו שוב לזיהוי מחדש.

                                            ש
                                            ש
                                            שמואלשםחדש
                                            כתב נערך לאחרונה על ידי
                                            #120

                                            @סתם-אחד חזר עכשיו מהסריקה מחדש, לא עזר

                                            סתם אחדס תגובה 1 תגובה אחרונה
                                            0

                                            שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.

                                            נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.

                                            בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗

                                            הרשמה התחברות

                                            • התחברות

                                            • אין לך חשבון עדיין? הרשמה

                                            • התחברו או הירשמו כדי לחפש.
                                            • פוסט ראשון
                                              פוסט אחרון