@דאנציג כתב בהצעת ייעול | הגהה של ספרים באתר:
@11 כתב בהצעת ייעול | הגהה של ספרים באתר:
אולי יום יבוא.
https://gitlab.com/pninim.org/tessdata_heb_rashi יכול לזרז את היום שכבר יבוא?
לצערי לא.
היצר הרע שלי נהג בעבר לפתות אותי לכלות את הזמן על כאלו דברים, עד ששמתי לו גבול והודעתי לו שאני לא מצטרף לשום קבוצת תכנות בגיטהאב, ויהי מה.
דבר איתו.
התברר שזה יותר מורכב ממה שחשבתי. (ומלכתחילה חשבתי שזה מורכב). אז בינתיים אני משקיע את זמני בעזרה אחרת לעם ישראל. אולי יום יבוא.
@יום-חדש-מתחיל כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
אז למה אתה משוטט כאן כ"כ הרבה?
תענוגות העוה"ז
@צדיק-וטוב-לו כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
@צדיק-וטוב-לו כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.יש לך במקרה קשר לאוצה"ח?
אשמח לקבל התייחסות שלך לשאלתי.
שום קשר. אפילו לא כלקוח
@חנניה כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
מה שצריך זה ממשק נח לשימוש. לא הטכנולוגיה היא החסרה אלא הממשק הנח למשתמש.
@u88 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
עם יהיה שידרוג של החיפוש באוצריא בPDF
מה הדרמה הגדולה?
זה כזו התאמה ושינוי דרסטי בתוכנה? הממשק היום כמעט מתאים,- לפחות מבחינה עיצובית.
הדרמה היא לא בממשק ולא בהתאמות קטנות, אלא ביכולת לנהל נתונים עצומים בלי לקרוס בכל חיפוש קטן, או אפילו לפני.
@יום-חדש-מתחיל כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.
אתה מאמין בשכר ועונש?
[או שלא הבנתי את תגובתך]ואגב, כדאי לשמור על ניסוח מכבד. זכורני שגם אתה כתבת ל זה איכנשהו בפורום...
מאמין בשכר ועונש בלי שום פקפוק.
לא משוכנע שהמעשה המדובר הוא שמביא לשכר המובטח.
לא מדוייק שאי אפשר, יש דרכים ליצור תוספים.
אבל זה מוזר לגמרי לעשות תוספים כאלו, כרום מאפשרים תוספים כי משתמשים בזה מיליוני אנשים, וכל אחד עם הטעם שלו והצרכים שלו, ואי אפשר להכניס הכל לתוכנה אחת, כי אם יעשו כך תהיה תוכנה של עשרות ג'יגה אם לא יותר, ומערכת ההגדרות תהיה ארוכה כ-80 קילומטר (ר"ח נאה).
באוצריא משתמשים בסך הכל כעשרה מיליון איש (או פחות), וכולם רוצים פחות או יותר את אותם הדברים. הרבה יותר קל להכניס את זה כאפשרויות בתוכנה ולאפשר לכל אחד להגדיר איך שהוא רוצה את התוכנה.
@דאנציג כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
קצת היסטוריה:
אוצרות התורה קדם לאוצר החכמה, כמאגר ספרים סרוקים לתורה, ללא מטרת רווח, ולכן התוכנה לא מתקרבת לאוצר החכמה.
אוצר החכמה התחילו עם המאגר של אוצרות התורה, והוסיפו סריקות של כל הספרים שהם הצליחו להשיג עליהם את ידם, בזמנו זה התקרב לרבע ממה שיש היום בהיברו וכו', אבל עם סייעתא דשמיא, השקעה בתוכנת חיפוש, וממשק נוח מהיר ומאיר, הם כבשו אט אט את השוק, עד שכהיום אוצרות התורה נמחק מהמפה.
מקים אוצרות התורה נפטר, ובניו החליטו לנסות לשווק את התוכנה שאביהם השקיע בה רבות בשביל הפצת תורה, אבל הם כבר איחרו את המועד, כך שאוצר החכמה כבש את השוק, ולא היה להם ריווחיות להשקיע.
בנוסף אוצר החכמה השקיעו באתר שמניב הכנסות נאות, פרסומת לתוכנה ולספרים, והתווסף לכך הקורונה שסגרה את האנשים בבתים דבר שהביא לחשיפה אדירה לאוצר החכמה לנגישות הספרים ונוחות החיפוש, כך שכיום הם השולטים בשוק.
כדי להנגיש אפילו את כל הספרים של היברובוקס, לא מספיק בתוכנה שתציג את הספרים, צריך ממשק מאיר עיניים, נגישות לתוכן, והפיצ'ר העיקרי והמסובך בזה לדעתי הוא חיפוש מהיר בתוכן הספרים ותצוגת תוצאות.
כמובן, מי שירים את הכפפה, ויבנה תוכנה שתתן את התפוקה שכרו יהיה אדיר במרום, ובוודאי שגם בעולם הזה הוא יזכה לראות פירות.
הבל הבלים
אוצרות התורה הוקם כמאגר לרווח, אבל לא כמאגר תורני אלא על ידי הדפסת ספרים שאזלו מן השוק למי שמוכן לשלם. ברווח נאה. עד היום אפשר למצוא ספרים שהודפסו על ידו.
אוצר החכמה לא השתמש במאגר הזה מעולם, הוא החל לסרוק בספריית יד הרב הרצוג, ומשם המשיך דומני לספריית מוה"ק ועוד ספריות.
אוצרות התורה לא איחרו את המועד, הם שיווקו את זה באותו הזמן. הם הפסידו את השוק בגלל חוסר פעילות וחוסר עדכונים, מאז העדכון האחרון שלהם עברו כ-8 שנים ללא עדכון. בכל הזמן הם טענו שהעדכון קרוב. הם עדיין טוענים שבקרוב ממש יהיה עדכון. אולי. לו יהי.
ולגבי שאר הטענות.
חיפוש מהיר במסמכים זו לא המצאה שלהם. וגם אם את שלהם הם פיתחו לבד, יש כיום אין סוף מודלים שונים לכל שלבי החיפוש, אין צורך בפיתוח מיוחד לזה, מה שצריך זה ממשק נח לשימוש. לא הטכנולוגיה היא החסרה אלא הממשק הנח למשתמש.
לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.
לא צריך מאגרי ספרים, זה כבר קיים וכל מי שרוצה יוריד מהיברובוקס או ממקורות אחרים, מה שצריך זה תוכנה נוחה עבורם. וההיגיון אומר שזה צריך להיות משולב באוצריא למי שמחזיק מאגר PDF. אוצריא כיום מאפשר לראות PDF אבל כבן חורג. משער שיום יבוא ומישהו עם הרבה מרץ יפתח כזה דבר עבור אוצריא
יש בספריא מידע ברוב הספרים
@דאנציג כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:
@11 כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:
(עירובין שם, שם),
???
אז אחרי הכל זה כן בינה מלאכותית, או שאתה משתמש במילון תורני?
זה על דרך הבדיחותא, היתול, שחוק, הלצה (הלוצ"ע בלע"ז). אם באמת אתה מחפש עיין בדף נ"ז ע"ב.
אבל לגופו של ענין ברור שאני עושה שימוש נרחב בבינה מלאכותית ורוב חכמתי הימנה, אצלינו בכולל לא הספיקו את כל מה שאני יודע, ובפרט לא בענייני מחשבים.
זה סתם שפה גבוהה. זה מושגים פשוטים.
בינארציה אדפטיבית זה לזהות את השחור ולבן בצורה ברורה יותר לפי אזור הטקסט. זה סתם שפה מודרנית לזיל בתר רובא (בגדרי רוב וקרוב, שיזהה כל נקודה לפי רוב האזור שהיא נמצאת בו).
אופרטור סובל זה גם סתם שפה גבוהה שבאה לבטא איפה נמצא הגבול של הטקסט בזוויות, זה בדיוק כמו דין עיר העשויה כקשת לענין תחום שבת (עירובין שם, שם), אז אותו דבר בדיוק בדף של PDF.
העקרון מאוד פשוט, זה ענין של מילון.
אין קשר. ההגנה היחידה שיש למכונים זה החוק נגד הפרת זכויות יוצרים. מי שרוצה להוציא ספר המחסום של סריקה או OCR או אפילו הקלדה לא יהיה אצלו מחסום בכלל.
לא יודע מה עצרת ב2023. העולם עדיין משתמש בכל אלו
@י.-פל. כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:
@11
מיהו הAI המוכשר כל-כך?
אתה מזלזל בכישורים שלי?
לעשות OCR לספר, אין פשוט מזה, אסביר לך בשפה שווה לכל נפש:
בשביל תוצאה מקצועית אתה חייב לגשת ישר לסטרים של הקובץ ברמת הביט, צריך לחלץ את המידע הבינארי הגולמי ולבצע עליו ביטול כימות ידני כדי להימנע מארטיפקטים של דחיסה. אחרי שיש לך את המטריצה הגולמית, תפעיל מסנן מורפולוגי של פתיחה וסגירה כדי לנקות רעשי רקע סטוכסטיים, ומיד אחר כך תחשב את הגרדיאנטים עם אופרטור סובל כדי לבצע זיהוי קצוות וקטורי. רק אז תבצע בינאריזציה אדפטיבית מבוססת מקומותש תתחשב בשונות של הפיקסלים, אחרת הכל יצא לך מרוח בגלל חוסר תאימותפ אזה מרחבית.
בשלב השני, אתה בונה ארכיטקטורה של רשת עצבית רקורסיבית משולבת עם שכבות קונבולוציה, ומאמן אותה בשיטת על ערכת נתונים ייעודית שתייצר מהגופן של הספר עם אוגמנטציה של עיוותים גיאומטריים. את פלט ההסתברויות של הרשת תזרים לתוך אלגוריתם ויטרבי כדי למצוא את הרצף הסמנטי בעל הסבירות המקסימלית במרחב הוקטורי, ורק בסוף תבצע סריאליזציה חזרה לפורמט יוניקוד, בתנאי כמובן שהקצת נכון את הזיכרון במעבד הגרפי בזמן האינפרנס כדי לא לקבל גלישת מחסנית באמצע הריצה.
אבל היום יש גם תוכנות שעושות את כל זה לבד, אתה יכול להעזר בהן, יש ברחבי האינטרנט רבים כאלו חינמיים, כולל בעברית.
נ.ב. מכיר את הסיפור על וכו' שאמר שאם הוא שואל אם מותר לשתות חלב לארבע כוסות צריך לבדוק אם יש לו יין ובשר ומשמנים? ובכן גם כאן הרב אמר שאם יש לך ספר של 7000 עמודים, זה ודאי לא ספר סרוק, כי נפח כזה של ספר סרוק זה לא יפתח לך עעל מחשב נורמלי, ולכן בהכרח מדובר על קובץ וורד וכדומה שהפך לPDF, ללמדינו שמן הסתם כבר יש בו שכבת OCR.
ויהי לפלא.
כדאי לתת את הדעת על ענין שיש לו השלכות בזה, שיש הרבה הבדלים בין אותו ספר ממש. וההבדל בין חידושי הרמב"ן של מוה"ק לשל הירוקים לשל השחורים וכו' הם הבדלים עצומים. בבר אילן כתבו לכל ספר מה ההוצאה שלו. בספריא כנ"ל. בספריית אוצריא אם לא תהיה מדיניות כזו (בהנחה שלא יהיה קישור לPDF), צריך להתוות קו ברור איך בוחרים ספר.
@י.-פל. כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:
@יום-חדש-מתחיל כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:
כל זמן שאוצריא לא נותנת למשתמשים את קבצי ה PDF אין שום משמעות לדבריך.
אבל אפשר לעבור להיברובוקס.
כמו עד היום. מי לינק למעבר לעמוד המסויים. מי שיש לו על המחשב יוכל לפתוח ישירות
@הבל-הבלים כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:
@11 לא הבנתי את דבריך בכלל.
אנחנו לא הולכים להכניס לתוכנה קובץ PDF, אז איפה אתה חושב יאוחסן ה PDF עם הקישורים לטקסט? מי יזהה טעות? מי יבדוק את זה?
ולמה שלא יוציא את הספר מהארון, יפתח סימןX ס"ק Y, ויבדוק את המקור? למה צריך אאת מה שממנו עשו את הטקסט?
אסביר.
נניח שאני פותח כעת חוות דעת ורואה מילה שנראית לי משובשת. אם יש לי על המחשב את הPDF שממנו זה נעשה, ואני יכול בלחיצת כפתור קטנה לעבור למיקום המדוייק, אני מתקן את זה ברגע אחד. אם אני צריך ללכת לארון, ולגלות שאין לי את הספר, ואז ללכת לבית כנסת הסמוך לחפש, אבל גם שם אין, אז לפחות עוצר לשתות קפה, ואז מגיע זמן מעריב, ואחרי מעריב חוזר ושוכח מה רציתי, הסיכוי שמישהו יתקן משהו הוא אפסי עד מינוס.
@יום-חדש-מתחיל כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:
@11 לא חושב שרלוונטי להגדיר לפי מיקום בהוצאה ישנה כזו,
ואם מישהו ישיג PDF יותר טוב,
בסופו של דבר תמיד ניתן להגדיר ב PDF כותרות כמו בטקסט, לפי סימנים וכדו', ואז זה יעביר למיקום המדוייק,
ובקיצור, העבודה במקרה הזה צריכה להיות על ה PDF ולא על הטקסט.אגב, עבודה כזו כבר עשה @יהודי-צעיר על המשנה ברורה לדוגמא [וגם על עוד ספרים] נמצא במאגר הגיטאהב של @יאיר-דניאל ר
אם כל הטקסטים יהיו ישנים, אתה צודק. אבל יש טקסטים טובים.
ומלבד זאת, הגדרת סימן כל שהוא למעברי שורות ועמודים הוא דבר מאוד קל כיום, כל שינוי בתוכנית יעלה ביוקר רב. לא חבל?
