שאלה | איך מורידים / מקבלים את הטקסטים מהאתר הזה?

[יום חדש מתחיל]

@otzaria-bot אני שואל האם יש שם אפשרות רשמית להורדת טקסטים?
או לפחות אפשרות לשליחת בקשה לקבלת טקסטים?
כמובן זה בשביל להכניס לאוצריא.

[Otzaria-Bot]

לא הצלחתי לשלוף את השרשור המלא כדי לראות על איזה אתר מדובר. ה-"האתר הזה" בשאלה מתייחס לאתר שצוין בפוסטים הקודמים, שאינם זמינים לי.

כדי לענות בצורה מדויקת — על איזה אתר מדובר?

[יום חדש מתחיל]

@otzaria-bot
בקשר לאתר הזה: https://maagarim.hebrew-academy.org.il/Pages/PMain.aspx
אני שואל האם יש שם אפשרות רשמית להורדת טקסטים?
או לפחות אפשרות לשליחת בקשה לקבלת טקסטים?
כמובן זה בשביל להכניס לאוצריא.

[Otzaria-Bot]

אתר מאגרים הוא מאגר הטקסטים של מפעל המילון ההיסטורי של האקדמיה ללשון העברית — ספרות עברית עתיקה עד המאה ה-11 עם ניתוח דקדוקי.

לגבי הורדת טקסטים:

האתר לא מציע הורדת bulk — הוא מיועד לחיפוש ועיון אונליין, לא להורדה מסיבית.

הדרך הרשמית היחידה: פנייה ישירה לאקדמיה ללשון העברית בבקשה לקבלת הטקסטים לצורך הכללה באוצריא.

כתובת ליצירת קשר: https://hebrew-academy.org.il/contact/

כדאי לציין בפנייה:

• מהי אוצריא ומה מטרתה
• אילו טקסטים ספציפיים מבוקשים
• שהאתר הוא פתוח וחינמי (זה לרוב מסייע לקבלת אישור)

הטקסטים עצמם (ספרות חז"ל, ראשונים וכד') הם נחלת הכלל, אבל העריכה המדעית והניתוח הדקדוקי של האקדמיה עשויים להיות מוגנים בזכויות יוצרים, ולכן הפנייה הרשמית היא הדרך הנכונה.

[מיכאלוש]

@יום-חדש-מתחיל
נראה אפשרי לגרד די בקלות...

אתה רוצה את כל האתר או ספרים מסויימים ?
חשוב לך הקישורים הפנימיים, השורשים והעיצוב או רק הטקסט הנקי?

[ori bensimon]

@יום-חדש-מתחיל
פרויקט המילון ההיסטורי הוא אחד המוסדות הכי נודניקים במדינת ישראל ובעולם כולו, הם מתקמצנים על כל טקסט שלהם ושומרים עליהם בקנאות רבה כאילו היו מוסד פרטי ולא ממומן על-ידי משלם המיסים הישראל (כולל חרדים...)
התעתיקים שלהם הם מהטובים ביותר בעולם כולו וכל טקסט שם עבר המון הגהות
לבינתיים שתי הדרכים היחידות שהצלחתי לחלץ משמם טקסטים היו או על ידי צילומי מסך או על ידי הדפסת הדף למדפסת PDF
בעבר נזקקתי למגילת ספר טוביה מקומראן ונאלצתי לשלם על כמה עמודי וורד בודדים בסביבות 10$
המלצתי שלא תבנה עליהם אבל תמיד יש סיכוי,
אם אתה צריך משהו ספציפי אולי אוכל למצוא מקור אחר,

[מיכאלוש]

@ori-bensimon
אתה מדבר על האתר ש@יום-חדש-מתחיל הביא למעלה ?
קלי קלות לשלוף משם טקסטים
הרצתי את הקוד הפשוט הבא במסוף בדפדפן באתר שלהם

 (async () => {
// מזהה הספר
  const MISHIBBUR = "280001";
  const START_PAGE = 1;
  const MAX_PAGES = 10000; // מקסימום עמודים לסריקה
  const DELAY_MS = 25;

  const sleep = ms => new Promise(r => setTimeout(r, ms));

  function cleanText(s) {
    return (s || "")
      .replace(/\u00a0/g, " ")
      .replace(/[ \t]+/g, " ")
      .replace(/\n\s*\n\s*\n+/g, "\n\n")
      .trim();
  }

  function extractPageText(html) {
    const doc = new DOMParser().parseFromString(html, "text/html");

    // באתר הטקסט נמצא בתוך divFullEssay1 / fullEssayContainer
    const root =
      doc.querySelector("#divFullEssay1") ||
      doc.querySelector(".fullEssayContainer");

    if (!root) return "";

    // עדיף לשלוף רק מילים, בלי תפריטים וכפתורים
    const words = [...root.querySelectorAll(".tooltippedWord nobr, .tooltippedWord")]
      .map(el => el.innerText || el.textContent || "")
      .map(t => t.replace(/^\$/, "").trim())
      .filter(Boolean);

    if (words.length) return cleanText(words.join(" "));

    return cleanText(root.innerText || root.textContent || "");
  }

  const all = [];

  for (let page = START_PAGE; page <= MAX_PAGES; page++) {
    const url = `https://maagarim.hebrew-academy.org.il/Pages/PMain.aspx?mishibbur=${MISHIBBUR}&page=${page}`;
    console.log(`מוריד עמוד ${page}...`, url);

    const res = await fetch(url, { credentials: "include" });
    if (!res.ok) {
      console.warn(`עצירה: שגיאת HTTP ${res.status} בעמוד ${page}`);
      break;
    }

    const html = await res.text();
    const text = extractPageText(html);

    if (!text || text.length < 5) {
      console.warn(`עצירה: לא נמצא טקסט בעמוד ${page}`);
      break;
    }

    all.push(`===== עמוד ${page} =====\n${text}`);
    await sleep(DELAY_MS);
  }

  const finalText = all.join("\n\n");
  const bom = "\uFEFF";
  const blob = new Blob([bom + finalText], { type: "text/plain;charset=utf-8" });

  const a = document.createElement("a");
  a.href = URL.createObjectURL(blob);
  a.download = `maagarim_book_${MISHIBBUR}.txt`;
  document.body.appendChild(a);
  a.click();
  a.remove();

  console.log(`הסתיים. ירדו ${all.length} עמודים.`);
})();

וממש פלאי פלאים ירד לי הקובץ הבא

maagarim_book_280001.txt

כמובן אם רוצים להתאים את זה לעיצוב של אוצריא יש עוד קצת עבודה...

בכל מקרה עכשיו אני באמצע להריץ לולאה על רשימת הספרים שלהם מסתמא יגמר עוד כמה שעות...

[יום חדש מתחיל]

@ori-bensimon אכן כמו שאמרת, פניתי אליהם במייל והם לא הסכימו.
@מיכאלוש לא נוכל להשתמש בטקסטים שלהם בלי אישור שלהם.

התשובה שקיבלתי בספוילר

Spoiler

[מיכאלוש]

@יום-חדש-מתחיל

אישור לספרים ספציפיים הם לא יתנו ?

[u88]

@מיכאלוש

Spoiler

הצעה אישית אל תציג את הסקריפט ככה בפומבי עדיף שתשים אותו בספוילר שלא יגידו לך שאתה גונב חומר וכו'

אבל אם אתה כבר מריץ חומר נשמח לקבל לשימוש אישי כמובן

[יום חדש מתחיל]

@מיכאלוש כתב:

אישור לספרים ספציפיים הם לא יתנו ?

שאלתי במפורש, והם לא הסכימו.

[ori bensimon]

@יום-חדש-מתחיל כתב:

התשובה שקיבלתי בספוילר

מנוולים, כמה בוז ניכר בתשובה שלהם 'חוכמת ההמונים'. אוכלי חינם טפילים וכו'

צריך להגיש תביעה ייצוגית, יש פה עו"ד?
נמאס לי מהבעלות שהם (ועוד מוסדות אקדמאים שממומנים במלואם על ידי משלם המיסים שהוציאו מהדורות מעולות של ספרים לפני עשרות שנים) לא נותנים להשתמש בזה לציבור

[מיכאלוש]

@ori-bensimon כתב:

צריך להגיש תביעה ייצוגית, יש פה עו"ד?

מישהוא אמר מבקר המדינה ?

[צדיק וטוב לו]

@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.

[ori bensimon]

@צדיק-וטוב-לו כתב:

@מיכאלוש אגב, מנסיון אישי בעבר - פניה אליו בנושא מסוים הועילה מאוד.

'פניה אליו' אתה מתכוון למבקר המדינה, יאללה תרוץ על זה

[צדיק וטוב לו]

@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי.

[ori bensimon]

@צדיק-וטוב-לו כתב:

@ori-bensimon פניה רשמית של אוצריא - תקבל התייחסות.
באדם פרטי ניתן להבין שהם לא יתנו את החומר.
אבל פרוייקט רשמי, זה כבר יותר בשרי.

אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,
אבל מנסיון זה לא עבד-עובד-יעבוד ופרויקטים שמזוהים עם אנשי אקדמיה ומקיימים שיתופי פעולה עם הוצאות אקדמאיות רבות (כמו יד יצחק בן צבי ומקיצי נרדמים ועוד) לא הצליחו לקבל מהם שום דבר
אני מדבר על 'על התורה' שניסה כמה וכמה פעמים, ואני קשור למערכת שם,
אז לנסות תמיד אפשר - תקוות פחות כדאי לתלות

[צדיק וטוב לו]

@ori-bensimon כתב:

אדרבה אתה יכול לנסות בשמחה, אם תצליח זה יכול להביא הרבה תועלת,

איך?
אני לא מנהל באוצריא.

@ori-bensimon כתב:

אבל מנסיון זה לא עבד-עובד-יעבוד

מישהו ניסה לפנות למבקר?
לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.
התשובה שלך אינה ממין הטענה.

[ori bensimon]

@צדיק-וטוב-לו כתב:

איך?
אני לא מנהל באוצריא.

א. אתה לא צריך להיות מנהל, אתה יכול לבקש עבור אוצריא כמו שתמיד מבקשים מבעלי זכויות עבור אוצריא ולא בשם אוצריא
ב. אם זה משנה אתה יכול לבקש מאחד המנהלים אישור לבקש בשם אוצריא

[ori bensimon]

@צדיק-וטוב-לו כתב:

מישהו ניסה לפנות למבקר?

לא ידוע לי, איני בטוח שזה בכלל בתחום אחריותו אבל אין לזלזל בשום סיכוי

לא שאני בטוח שזה יעזור, אבל זה כיוון מעניין.

כאמור, וכפי שהגבתי ברגע שהועלה רעיון המבקר אמרתי שזה יכול להיות רעיון טוב ואדרבה שמישהו ירים את הכפפה

התשובה שלך אינה ממין הטענה.

לא הבנתי מה אתה רוצה, הגבתי לך על זה שאוצריא שזה פרויקט רשמי יש יותר סיכוי, ועל זה הגבתי שלמי שמזוהה עם האקדמיה ומקיים עם מוסדותיה שיתופי פעולה גדולים הם לא מוכנים לתת כלום על אחת כמה וכמה לחרדים שאתה יודע היטב כמה הם מתעבים