קורס יסודות בינה מלאכותית RB26-21 : בינה מלאכותית

 

יצירת סרטוני וידאו מטקסט על ידי בינה מלאכותית – שימוש ב zebracat תומכת עברית 

 

תרגיל כיתה 1 : יצירת סרטוני וידאו מטקסט 

1. צור טקסט על ידי בינה מלאוכתית לפחות 200 מילים
2. הירשם לאתר https://www.zebracat.ai/ ו
3. צור סרטון וידאו
4. מחקר : חפש בעזרת בינה מלאכותית אתרים דומים תומכים בשפה העברית

 

תרגיל כיתה 2 : יצירת סרטוני וידאו מטקסט 

 

1. צור סרטון על המצאה כל שהיא  או מוצר מעניין שלכם
2. בנה טקסט ב chatgpt
3. הוסף לסרטון AVATAR וקול שנוצר על ידי בינה מלאכותית שמסביהרה על ההמצאה
4. הורד את הסרטון למחשב

 

 

 

---

 

מה זה NLP?

NLP = Natural Language Processing
עיבוד שפה טבעית – התחום במדעי המחשב שעוסק ביכולת של מחשבים להבין, לנתח, ליצור ולתרגם שפה אנושית.

איפה נכנס ה־Transformer? 2017

ה־Transformer הוא הטכנולוגיה המרכזית המובילה כיום ב־NLP.
מאז 2017 (המאמר: "Attention is All You Need") הוא הפך לבסיס של רוב ההתקדמות הגדולה בתחום.

https://arxiv.org/abs/1706.03762

הכותרת "Attention Is All You Need" מתארת רעיון מהפכני:

לא צריך יותר RNN, LSTM או מבנים מסובכים – רק מנגנון קשב (Attention) מספיק כדי להבין ולייצר שפה.

המאמר נחשב באבן דרך בתחום ה‑NLP, ונחשב לאחד מהמובילים בעשור האחרון— מצוטט מעל 170,000 פעמים

פותח את הדלת לדור שלם של מודלים כמו GPT, BERT, T5 שהפכו את התפיסה של עיבוד שפה וחיזוי טקסט

הם לא לגמרי הבינו את גודל המהפכה

• המאמר "Attention Is All You Need" נכתב כמו עוד מאמר מחקרי.

• המודל נבחן על תרגום שפות — הם לא דמיינו שב־6 שנים הוא יוביל ל־GPT-4 ולמהפכת AI עולמית.

• גם הקהילה האקדמית לא קלטה מיד את העוצמה — הציטוטים זינקו רק לאחר שנה.

במקביל — הייתה הבנה שזה כלי חזק

• הם ידעו שזה שיפור עצום על RNN ו-LSTM.

• לכן הם פרסמו מהר — כדי להיות הראשונים.

• הם אולי לא תיארו לעצמם שזה יהפוך לבסיס של מודלים מיליארדיים, אבל הבינו שזה חידוש משמעותי

---

מה בעצם הכותבים אומרים?

עד אז, כל מודלי השפה השתמשו:

• ב־RNN (שמעבירים מילה למילה, צעד אחרי צעד)

• או ב־LSTM (שזוכרים טווחים ארוכים יותר)

אבל זה היה איטי ולא תמיד מדויק.

המאמר של Google ב־2017 הציג משהו חדש:

אפשר להבין משפט שלם במכה אחת בעזרת מנגנון שנקרא Self-Attention, בלי שום לולאות.

מה זה Transformer?

Transformer הוא סוג של רשת נוירונים עמוקה שפותח בשנת 2017, ומטרתו לעבד טקסט בצורה חכמה.
הוא הבסיס למודלים כמו GPT, BERT, LLaMA ועוד.

 

הרעיון המרכזי:

כל מילה במשפט מקבלת תשומת לב למילים אחרות במשפט.
כך היא יכולה "להבין" מה התפקיד שלה לפי ההקשר.

דוגמה 1 – הקשר תחבירי:

"הילד ראה את הכלב שרץ ברחוב."

המילה "שרץ" מתייחסת ל־"הכלב", לא ל־"הילד".
ה־Self-Attention נותן משקל גבוה בין "שרץ" ל"הכלב", ומבין את הקשר.

המודל לא "יודע" כמו אדם, אבל הוא למד מהמון משפטים דומים, ולכן הוא לומד לזהות דפוסים תחביריים וסמנטיים.

1. למידת דפוסים סטטיסטיים

במיליוני משפטים בטקסטים שהוא למד מהם,
הוא ראה דוגמאות כמו:

• "הילד ראה את הכלב שנבח."

• "האיש עקב אחרי החתול שברח."

המבנה הזה:

X ראה את Y ש…
חוזר המון – והמילה ש… לרוב מתייחסת ל־Y, לא ל־X.

כך המודל לומד סטטיסטית:

"אם יש פועל + מושא + תיאור – אז התיאור לרוב מתאר את המושא."

"הילד ראה את הכלב שרץ ברחוב."

השאלה: איך המודל יודע ש**"שרץ"** מתייחס ל־"הכלב", ולא ל־"הילד"?

---

התשובה: דרך 3 רכיבים מרכזיים של Transformer:

1. למידת דפוסים סטטיסטיים

במיליוני משפטים בטקסטים שהוא למד מהם,
הוא ראה דוגמאות כמו:

• "הילד ראה את הכלב שנבח."

• "האיש עקב אחרי החתול שברח."

המבנה הזה:

X ראה את Y ש…
חוזר המון – והמילה ש… לרוב מתייחסת ל־Y, לא ל־X.

כך המודל לומד סטטיסטית:

"אם יש פועל + מושא + תיאור – אז התיאור לרוב מתאר את המושא."

---

2. Self-Attention

המילה "שרץ" מקבלת משקל גבוה ל־"הכלב",
כי הם קרובים, ובמיקום תחבירי מתאים (שניהם אחרי הפועל "ראה").

המילה "הילד" נמצאת רחוק יותר מהפועל "שרץ" –
והקשר שלה ל"שרץ" חלש יותר במבנה הזה.

---

3. מיקום ותחביר (Positional Encoding + קשרים תחביריים סמויים)

המבנה התחבירי והמרחק בין המילים מכווינים את הקשב.
המודל לומד שברוב המקרים:

• מה שבא מיד לפני הפועל המתאר (כמו "שרץ")
  הוא זה שמתואר (כמו "הכלב").

---

סיכום:

המודל לא "מבין שכלב רץ והילד לא" כמו אדם,
אבל הוא לומד מאלפי מקרים דומים
שבמבנה כזה – "שרץ" כנראה מתאר את הכלב.

זו סטטיסטיקה + הקשר + קשב עצמי —
ולכן זה עובד (ברוב המקרים) בצורה נכונה.

 

---

המשפט:

"הילד ראה את הכלב שרץ ברחוב."

השאלה: איך המודל יודע ש**"שרץ"** מתייחס ל־"הכלב", ולא ל־"הילד"?

לדוגמה:

במשפט: "הילדה חיבקה את הכלב כי היא שמחה"
המודל צריך להבין ש"היא" מתייחסת ל"הילדה", לא ל"כלב".

ה־Transformer מסוגל להבין זאת בעזרת הקשב.

 

למה הוא שונה ממודלים קודמים?

לפניו השתמשו ברשתות כמו RNN ו-LSTM, שעבדו מילה אחרי מילה (כלומר – לפי סדר).
ה־Transformer עובד אחרת:
הוא רואה את כל המשפט בבת אחת ומשווה כל מילה לכל מילה אחרת — זה נקרא:

Self-Attention — מנגנון הקשב העצמי

דורשת הבנה טובה של:

• אלגברה ליניארית (וקטורים, מטריצות, מכפלות)

• מכפלת סקלר (dot product)

• פונקציית softmax

• הבנה של איך פועלים Embedding ו־Normalization

 

החלקים המרכזיים במתמטיקה של Transformer:

1. Self-Attention — זה הלב:

החישוב:

• Q = Query

• K = Key

• V = Value

• כולם וקטורים שמופקים מהמילים בטקסט (דרך מטריצות למידה)

מפרש: כל מילה "שואלת" את שאר המילים כמה הן רלוונטיות אליה.

---

2. Softmax

משתמשים בה כדי להפוך ציוני הקשב להסתברויות:

• ציון גבוה → משקל גבוה בקשב

• ציון נמוך → כמעט מתאפס

---

3. Matrix Multiplication

כל שלב מבוסס על מכפלות מטריצות, מה שמאפשר עיבוד מהיר במקביל (GPU מאוד יעיל בזה).

העשרה

1. Hugging Face – Course on Transformers

הקורס הרשמי של Hugging Face (ללא תשלום, כולל קוד והסברים).

🔗 קישור: https://huggingface.co/learn/nlp-course

• מלמד מה זה Tokenization, Attention, Fine-tuning, שימושים ב-GPT וב-BERT

• כולל קוד ב־Python ו־PyTorch

• מתאים למתחילים עם רקע בסיסי בפייתון

 

קורסים מומלצים ב‑Udemy

1. Data Science: Transformers for Natural Language Processing

ניווט מעמיק – מיישום ועד תיאוריה
מנחה: Lazy Programmer Team
עדכון אחרון: יולי 2025
⭐ דירוג: 4.9 מתוך 5 (כ־9,000 סטודנטים)

• שימוש ב־Hugging Face, PyTorch ו‑TensorFlow

• פעולות מעשיות: סיווג טקסט, NER, Q&A, סיכום, שפה טבעית ועוד

• כולל חלק תיאורטי שמסביר Attention, Self-Attention, מבנה Encoder/Decoder ו־יישום מ־scratch Udemy+10Udemy+10Udemy+10MediumUdemy+4Udemy+4Udemy+4

---

2. Master Natural Language Processing with Transformers

מנחה: Pooja Dhouchak, FatheVision AI
עדכון: נובמבר 2024
דירוג: 4.6 מדריכים • סטודנטים בודדים

• מסביר את הבסיס של NLP, Tokenization, Attention, Multi‑head, Position encoding

• כולל יישומים ב‑BERT (סנטימנט), T5 (תרגום), GPT‑2 (יצירה) Udemy+1Udemy+1Udemy+2Udemy+2Udemy+2

---

3. NLP With Transformers in Python

קורס אנושי וישיר על שימוש פרקטי בטכנולוגיות NLP עם מודלים מודרניים כמו BERT, GPT

• תומך ב־spaCy, NLTK, TensorFlow, PyTorch

• ניתוח מקרים כמו sentiment, Q&A, NER, שחזור טקסט ועוד

• מתאים גם למתכנתים מתחילים שרוצים ליישם מהר עם ספריות מוכנות Udemy+2Udemy+2Udemy+2Udemy+11Udemy+11Udemy+11Udemy+2Udemy+2Udemy+2

 

 

 

 

---

מה זה LLM ?  Large Language Model

 

הנה טבלת השוואה בין GPT-4 (בגרסת GPT-4-o / GPT-4-turbo) לבין LLaMA 3 (8B ו־70B) – לשימוש מקומי או בענן, לפי פרמטרים חשובים:

איך LLM  נותן תשובה לשאלה:

---

1. קליטת השאלה

המודל מקבל טקסט קלט, לדוגמה:
"מי היה ראש ממשלת ישראל הראשון?"

---

2. המרה לטוקנים

הטקסט מומר ליחידות קטנות שנקראות טוקנים (כמו מילים, הברות או חלקי מילים), למשל:
["מי", "היה", "ראש", "ממשלת", "ישראל", "הראשון", "?"]

---

3. חישוב הסתברויות

המודל משתמש ברשת נוירונים ענקית כדי לחשב:

• מהו הטוקן (מילה/מקטע) הכי סביר שיבוא אחרי השאלה.

• לדוגמה: "דוד" עשויה להיות הטוקן הכי סביר, ואז "בן", ואז "גוריון".

---

4. בחירה והשלמה

המודל בוחר טוקנים לפי ההסתברויות ומחבר אותם למילים שלמות:
"דוד בן גוריון"

---

5. יצירת התשובה

הוא ממשיך עד שהוא "חושב" שהתשובה הושלמה, לפי הגדרות כמו אורך מקסימלי או טוקן סיום.

 

מה נוסחת המים?"

המודל מחשב:

• הסתברות גבוהה למילים כמו "H2O", "מולקולה", "מימן"

• בוחר את הטוקנים הכי סבירים לפי מה שראה בטקסטים מדעיים

תוצאה:
"נוסחת המים היא H₂O – שתי אטומי מימן ואטום חמצן.

---

 

איך מכינים חביתה?"

המודל מזהה שהשאלה נפוצה וראה הרבה מתכונים.

• מחשב שהמילים הכי סבירות הן "לשבור ביצים", "לטרוף", "לטגן".

תוצאה:
"שוברים 2–3 ביצים, טורפים עם מלח ופלפל, ומטגנים במחבת משומנת.

---

איך LLM כותב קוד פייתון לספירה מ־1 עד 4:

הסבר:

• range(1, 5) מייצר את המספרים: 1, 2, 3, 4

• print(i) מדפיס כל מספר בלולאה

---

איך מאמנים מודל LLM (Large Language Model):

שלבי האימון:

1. איסוף טקסטים (Dataset)

• מיליארדי מילים ממקורות כמו: ספרים, אתרי אינטרנט, קוד פתוח, ויקיפדיה, פורומים וכו'.

2. המרה לטוקנים

• הטקסט מפורק ליחידות קטנות (טוקנים) שהמודל יכול לעבד (למשל: "שלום" → ["ש", "לו", "ם"] או ["שלום"]).

3. הגדרת מטרה: חיזוי הטוקן הבא

• המודל לומד לחזות מהי המילה הבאה הכי סבירה, בהתבסס על המילים הקודמות.

4. שימוש ברשת Transformer

• המודל מבוסס על ארכיטקטורת Transformer עם מיליוני או מיליארדי פרמטרים.

• בכל שלב, הוא מחשב הסתברויות לטוקן הבא.

5. אימון עם Backpropagation

• המודל חוזה טוקן → משווה לתשובה הנכונה → מחשב שגיאה → מעדכן את המשקלים.

• נעשה באמצעות שיפוע ירידה (Gradient Descent) ואלגוריתם Adam או דומים.

6. שלבי אימון מתקדמים (אופציונלי)

• Fine-tuning: התאמה לנושא מסוים (למשל: רפואה, משפטים).

• RLHF (Reinforcement Learning from Human Feedback): שיפור איכות התשובות בעזרת דירוגים אנושיים.

 

 

---

המודל יוצר את הקוד לפי מיליוני דוגמאות קוד שראה באימון, ובוחר את המבנה הסביר והנכון ביותר (למשל for, range, print) – בדיוק כמו שהוא משלים טקסט, רק שהפעם מדובר בקוד.

 

 

---

דוגמא :  רובוטים מבשלים ? לא רק , הם כבר יוצרים

 

 

 

רובוטים במטבח  …ונחזור LLM –  Large Language Model

---

ביטחון ומודיעין:

13. זיהוי איומים טרוריסטיים – פרופילים, תבניות פעולה.

14. עיבוד מסמכים ביטחוניים – תרגום, סיווג, סיכום.

15. OSINT אוטומטי – ניתוח פוסטים, פרשנות חדשות.

 

תהליך אימון למודל LLaMA 3 (או דומה) עבור שלושה תתי-תחומים בתחום ביטחון ומודיעין, כולל סוגי המידע, שלבי ההכנה, האימון והבדיקה:

1. זיהוי איומים טרוריסטיים – פרופילים ותבניות פעולה

🔹 סוג המידע:

• דו"חות פיגועים (גלויים), מסמכי חקירה, תיאורים מודיעיניים, מאגרי נתונים כמו START (Global Terrorism Database).

• פרטי פרופיל של תוקפים (גיל, רקע, דפוס פעולה).

🔹 שלבים:

1. איסוף נתונים: איסוף תיאורים של מתקפות טרור אמיתיות, תרחישים מבצעיים ופרופילים של תוקפים.

2. תיוג: קיטלוג לפי:

   • סוג איום (IED, תקיפה רגלית, רחפן)

   • שלב תקיפה (תכנון, איסוף מודיעין, ביצוע)

   • מאפייני תוקף (פרופיל פסיכולוגי, רקע דתי/לאומי)

3. בנייה לפורמט אימון (Instruction format):

4. אימון – fine-tune על אוסף תרחישים מתויגים (ניתן לשלב עם LoRA).

5. בדיקה – המודל מקבל תרחיש חדש, צריך לזהות סוג האיום ופרופיל.

6. אימות מול מומחה – בדיקה ידנית ע"י אנליסטים או חוקרי טרור.

---

OLLMA התקנה במחשב : מקומי  OLLMA

 

 

 

 

 

 

---