שאלה | איך מורידים / מקבלים את הטקסטים מהאתר הזה?
-
@ori-bensimon אכן כמו שאמרת, פניתי אליהם במייל והם לא הסכימו.
@מיכאלוש לא נוכל להשתמש בטקסטים שלהם בלי אישור שלהם.התשובה שקיבלתי בספוילר
-
@ori-bensimon אכן כמו שאמרת, פניתי אליהם במייל והם לא הסכימו.
@מיכאלוש לא נוכל להשתמש בטקסטים שלהם בלי אישור שלהם.התשובה שקיבלתי בספוילר
-
@ori-bensimon
אתה מדבר על האתר ש@יום-חדש-מתחיל הביא למעלה ?
קלי קלות לשלוף משם טקסטים
הרצתי את הקוד הפשוט הבא במסוף בדפדפן באתר שלהם(async () => { // מזהה הספר const MISHIBBUR = "280001"; const START_PAGE = 1; const MAX_PAGES = 10000; // מקסימום עמודים לסריקה const DELAY_MS = 25; const sleep = ms => new Promise(r => setTimeout(r, ms)); function cleanText(s) { return (s || "") .replace(/\u00a0/g, " ") .replace(/[ \t]+/g, " ") .replace(/\n\s*\n\s*\n+/g, "\n\n") .trim(); } function extractPageText(html) { const doc = new DOMParser().parseFromString(html, "text/html"); // באתר הטקסט נמצא בתוך divFullEssay1 / fullEssayContainer const root = doc.querySelector("#divFullEssay1") || doc.querySelector(".fullEssayContainer"); if (!root) return ""; // עדיף לשלוף רק מילים, בלי תפריטים וכפתורים const words = [...root.querySelectorAll(".tooltippedWord nobr, .tooltippedWord")] .map(el => el.innerText || el.textContent || "") .map(t => t.replace(/^\$/, "").trim()) .filter(Boolean); if (words.length) return cleanText(words.join(" ")); return cleanText(root.innerText || root.textContent || ""); } const all = []; for (let page = START_PAGE; page <= MAX_PAGES; page++) { const url = `https://maagarim.hebrew-academy.org.il/Pages/PMain.aspx?mishibbur=${MISHIBBUR}&page=${page}`; console.log(`מוריד עמוד ${page}...`, url); const res = await fetch(url, { credentials: "include" }); if (!res.ok) { console.warn(`עצירה: שגיאת HTTP ${res.status} בעמוד ${page}`); break; } const html = await res.text(); const text = extractPageText(html); if (!text || text.length < 5) { console.warn(`עצירה: לא נמצא טקסט בעמוד ${page}`); break; } all.push(`===== עמוד ${page} =====\n${text}`); await sleep(DELAY_MS); } const finalText = all.join("\n\n"); const bom = "\uFEFF"; const blob = new Blob([bom + finalText], { type: "text/plain;charset=utf-8" }); const a = document.createElement("a"); a.href = URL.createObjectURL(blob); a.download = `maagarim_book_${MISHIBBUR}.txt`; document.body.appendChild(a); a.click(); a.remove(); console.log(`הסתיים. ירדו ${all.length} עמודים.`); })();וממש פלאי פלאים ירד לי הקובץ הבא
כמובן אם רוצים להתאים את זה לעיצוב של אוצריא יש עוד קצת עבודה...
בכל מקרה עכשיו אני באמצע להריץ לולאה על רשימת הספרים שלהם מסתמא יגמר עוד כמה שעות...
-
-
@ori-bensimon אכן כמו שאמרת, פניתי אליהם במייל והם לא הסכימו.
@מיכאלוש לא נוכל להשתמש בטקסטים שלהם בלי אישור שלהם.התשובה שקיבלתי בספוילר
התשובה שקיבלתי בספוילר
מנוולים, כמה בוז ניכר בתשובה שלהם 'חוכמת ההמונים'. אוכלי חינם טפילים וכו'
צריך להגיש תביעה ייצוגית, יש פה עו"ד?
נמאס לי מהבעלות שהם (ועוד מוסדות אקדמאים שממומנים במלואם על ידי משלם המיסים שהוציאו מהדורות מעולות של ספרים לפני עשרות שנים) לא נותנים להשתמש בזה לציבור -
התשובה שקיבלתי בספוילר
מנוולים, כמה בוז ניכר בתשובה שלהם 'חוכמת ההמונים'. אוכלי חינם טפילים וכו'
צריך להגיש תביעה ייצוגית, יש פה עו"ד?
נמאס לי מהבעלות שהם (ועוד מוסדות אקדמאים שממומנים במלואם על ידי משלם המיסים שהוציאו מהדורות מעולות של ספרים לפני עשרות שנים) לא נותנים להשתמש בזה לציבור -
צריך להגיש תביעה ייצוגית, יש פה עו"ד?
מישהוא אמר מבקר המדינה ?
@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.
-
@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.
@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.
'פניה אליו' אתה מתכוון למבקר המדינה, יאללה תרוץ על זה
-
@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.
'פניה אליו' אתה מתכוון למבקר המדינה, יאללה תרוץ על זה
@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי. -
@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי.@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי.אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
אבל מנסיון זה לא עבד-עובד-יעבוד ופרויקטים שמזוהים עם אנשי אקדמיה ומקיימים שיתופי פעולה עם הוצאות אקדמאיות רבות (כמו יד יצחק בן צבי ומקיצי נרדמים ועוד) לא הצליחו לקבל מהם שום דבר
אני מדבר על 'על התורה' שניסה כמה וכמה פעמים, ואני קשור למערכת שם,
אז לנסות תמיד אפשר - תקוות פחות כדאי לתלות -
@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי.אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
אבל מנסיון זה לא עבד-עובד-יעבוד ופרויקטים שמזוהים עם אנשי אקדמיה ומקיימים שיתופי פעולה עם הוצאות אקדמאיות רבות (כמו יד יצחק בן צבי ומקיצי נרדמים ועוד) לא הצליחו לקבל מהם שום דבר
אני מדבר על 'על התורה' שניסה כמה וכמה פעמים, ואני קשור למערכת שם,
אז לנסות תמיד אפשר - תקוות פחות כדאי לתלותאדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
איך?
אני לא מנהל באוצריא.אבל מנסיון זה לא עבד-עובד-יעבוד
מישהו ניסה לפנות למבקר?
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
התשובה שלך אינה ממין הטענה. -
אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
איך?
אני לא מנהל באוצריא.אבל מנסיון זה לא עבד-עובד-יעבוד
מישהו ניסה לפנות למבקר?
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
התשובה שלך אינה ממין הטענה.איך?
אני לא מנהל באוצריא.א. אתה לא צריך להיות מנהל, אתה יכול לבקש עבור אוצריא כמו שתמיד מבקשים מבעלי זכויות עבור אוצריא ולא בשם אוצריא
ב. אם זה משנה אתה יכול לבקש מאחד המנהלים אישור לבקש בשם אוצריא -
אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
איך?
אני לא מנהל באוצריא.אבל מנסיון זה לא עבד-עובד-יעבוד
מישהו ניסה לפנות למבקר?
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
התשובה שלך אינה ממין הטענה.מישהו ניסה לפנות למבקר?
לא ידוע לי, איני בטוח שזה בכלל בתחום אחריותו אבל אין לזלזל בשום סיכוי
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
כאמור, וכפי שהגבתי ברגע שהועלה רעיון המבקר אמרתי שזה יכול להיות רעיון טוב ואדרבה שמישהו ירים את הכפפה
התשובה שלך אינה ממין הטענה.
לא הבנתי מה אתה רוצה, הגבתי לך על זה שאוצריא שזה פרויקט רשמי יש יותר סיכוי, ועל זה הגבתי שלמי שמזוהה עם האקדמיה ומקיים עם מוסדותיה שיתופי פעולה גדולים הם לא מוכנים לתת כלום על אחת כמה וכמה לחרדים שאתה יודע היטב כמה הם מתעבים
-
מישהו ניסה לפנות למבקר?
לא ידוע לי, איני בטוח שזה בכלל בתחום אחריותו אבל אין לזלזל בשום סיכוי
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
כאמור, וכפי שהגבתי ברגע שהועלה רעיון המבקר אמרתי שזה יכול להיות רעיון טוב ואדרבה שמישהו ירים את הכפפה
התשובה שלך אינה ממין הטענה.
לא הבנתי מה אתה רוצה, הגבתי לך על זה שאוצריא שזה פרויקט רשמי יש יותר סיכוי, ועל זה הגבתי שלמי שמזוהה עם האקדמיה ומקיים עם מוסדותיה שיתופי פעולה גדולים הם לא מוכנים לתת כלום על אחת כמה וכמה לחרדים שאתה יודע היטב כמה הם מתעבים
@ori-bensimon אתה מצליח להבין מה כתבת?!
אני חושב שפניה למבקר - יש סיכוי מסוים שתניב פירות.
ולא, פניה למבקר של אדם פרטי 'בשם אוצריא' - זה לא כמו פניה מאוצריא - וממייל רשמי של אוצריא (עם סיומת, לא של ג'ימייל).ומשכך - אין קשר לתגובתך על מוסדות שניסו לפעול מול האקדמיה ישירות.
-
@ori-bensimon אתה מצליח להבין מה כתבת?!
אני חושב שפניה למבקר - יש סיכוי מסוים שתניב פירות.
ולא, פניה למבקר של אדם פרטי 'בשם אוצריא' - זה לא כמו פניה מאוצריא - וממייל רשמי של אוצריא (עם סיומת, לא של ג'ימייל).ומשכך - אין קשר לתגובתך על מוסדות שניסו לפעול מול האקדמיה ישירות.
-
ומשכך - אין קשר לתגובתך על מוסדות שניסו לפעול מול האקדמיה ישירות.
אתה מסביר יפה, אבל גם אני לא הבנתי כך עד שהסברת...
לא נורא.@י.-פל. זה פשוט - צריך לרואת על מה הגבתי.
הגבתי על מילים אלו:'פניה אליו' אתה מתכוון למבקר המדינה, יאללה תרוץ על זה
מה שייך להבין אחרת?
-
@י.-פל. זה פשוט - צריך לרואת על מה הגבתי.
הגבתי על מילים אלו:'פניה אליו' אתה מתכוון למבקר המדינה, יאללה תרוץ על זה
מה שייך להבין אחרת?
@צדיק-וטוב-לו לי לא היה ברור כלל, על כל פנים סליחותי
-
@יום-חדש-מתחיל @ori-bensimon עזבו את הספרים שאין לנו.
תעשה סקריפט, תוריד את כל הספרים שיש לנו ותגיה את המאגר שלנו!
זה לא פרויקט השו"ת המסחרי. -
@יום-חדש-מתחיל
פרויקט המילון ההיסטורי הוא אחד המוסדות הכי נודניקים במדינת ישראל ובעולם כולו, הם מתקמצנים על כל טקסט שלהם ושומרים עליהם בקנאות רבה כאילו היו מוסד פרטי ולא ממומן על-ידי משלם המיסים הישראל (כולל חרדים...)
התעתיקים שלהם הם מהטובים ביותר בעולם כולו וכל טקסט שם עבר המון הגהות
לבינתיים שתי הדרכים היחידות שהצלחתי לחלץ משמם טקסטים היו או על ידי צילומי מסך או על ידי הדפסת הדף למדפסת PDF
בעבר נזקקתי למגילת ספר טוביה מקומראן ונאלצתי לשלם על כמה עמודי וורד בודדים בסביבות 10$
המלצתי שלא תבנה עליהם אבל תמיד יש סיכוי,
אם אתה צריך משהו ספציפי אולי אוכל למצוא מקור אחר,@ori-bensimon כתב:
התעתיקים שלהם הם מהטובים ביותר בעולם כולו וכל טקסט שם עבר המון הגהותלכן גם אם זה נראה שאי אפשר לקבל מהם קבצים, אבל ניתן להגיה על ידם את הקבצים שלנו.
@ori-bensimon כתב:
פרויקט המילון ההיסטורי הוא אחד המוסדות הכי נודניקים במדינת ישראל ובעולם כולו, הם מתקמצנים על כל טקסט שלהם ושומרים עליהם בקנאות רבה כאילו היו מוסד פרטי ולא ממומן על-ידי משלם המיסים הישראל (כולל חרדים...)לכן זה נראה לי מותר והוגן. זה לא פרויקט מסחרי, ואתה לא לוקח חומר שהם לא הרשו לך.
אם זה עדין לא מוצא חן בעיניך, אפשר לפנות על זה ספציפית לבקש יתכן שלזה באמת הם יסכימו, אם גם זה הם לא יסכימו הרי שהם באמת מנוולים.אני מקווה שפירשתי את "מה הסיפור?" כהוגן
-
@ori-bensimon כתב:
התעתיקים שלהם הם מהטובים ביותר בעולם כולו וכל טקסט שם עבר המון הגהותלכן גם אם זה נראה שאי אפשר לקבל מהם קבצים, אבל ניתן להגיה על ידם את הקבצים שלנו.
@ori-bensimon כתב:
פרויקט המילון ההיסטורי הוא אחד המוסדות הכי נודניקים במדינת ישראל ובעולם כולו, הם מתקמצנים על כל טקסט שלהם ושומרים עליהם בקנאות רבה כאילו היו מוסד פרטי ולא ממומן על-ידי משלם המיסים הישראל (כולל חרדים...)לכן זה נראה לי מותר והוגן. זה לא פרויקט מסחרי, ואתה לא לוקח חומר שהם לא הרשו לך.
אם זה עדין לא מוצא חן בעיניך, אפשר לפנות על זה ספציפית לבקש יתכן שלזה באמת הם יסכימו, אם גם זה הם לא יסכימו הרי שהם באמת מנוולים.אני מקווה שפירשתי את "מה הסיפור?" כהוגן
@הספריה-התורנית זה הרבה עבודה.
לעצם העניין, אני יכול לשאול אותם.
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות