חלק א:
חלק ב:
LLM (Large Language Model) הוא מודל בינה מלאכותית לשפה שמאומן על כמויות טקסט עצומות כדי להבין ולייצר טקסט (לדוגמה: להשלים משפטים, לענות על שאלות, לסכם, לתרגם, לכתוב קוד)
OPENAI – היסטוריה (איך הגיעו ל Attention Is All You Need )
מתי נוסדה:
2015
מי הקים:
Sam Altman, Elon Musk, Greg Brockman ואחרים
https://simple.wikipedia.org/wiki/ChatGPT
בשנת 2015 נוסדה OpenAI כארגון מחקר A.I , מתוך הבנה שבינה מלאכותית עומדת להפוך לטכנולוגיה בעלת השפעה עמוקה על האנושות. המייסדים זיהו פער ברור: היכולות מתקדמות במהירות, אך האחריות, הבטיחות והנגישות אינן מובטחות מאליהן. המטרה הוגדרה בצורה עניינית וברורה – לפתח בינה מלאכותית מתקדמת שתשרת את הציבור, ולא אינטרסים צרים
בשנים הראשונות OpenAI עסקה במחקר יסודי: למידת AI \ ML מכונה, רשתות נוירונים, ולמידת חיזוק. עם הזמן התברר שהמפתח להבנת שפה אנושית רחבה טמון במודלים גדולים מאוד, המאומנים על כמויות עצומות של טקסט. כך נולדה משפחת GPT – מודלים לשוניים שלמדו את מבנה השפה, ההקשר והמשמעות.
כדי לאפשר את המשך הפיתוח A.I הוקם מבנה ארגוני ייחודי שאפשר גיוס הון למחקר עתיר חישוב, תוך שמירה על היעד הערכי. השלב הבא היה קריטי: חיבור המודל לאדם. לא רק ידע, אלא דיאלוג. לשם כך הוכנס אימון באמצעות משוב אנושי, שמטרתו ליישר את התגובות לצרכים אמיתיים.
בסוף 2022 הושק ChatGPT – לא כקפיצה טכנולוגית בלבד, אלא כיישום שמנגיש בינה מלאכותית מתקדמת כשיחה פשוטה, ברורה ושימושית.
OPENAI – טכנולוגיה A.I – Attention Is All You Need
לפני 2017, רוב עולם ה-NLP התקדם על מסילות של רצפים: RNN ובעיקר LSTM. זה היה “המנוע” הטבעי לטקסט—מילה אחרי מילה, צעד אחרי צעד.
גם ב-OpenAI עבדו הרבה עם LSTM, בעיקר במודלים של למידת חיזוק וסוכנים שפועלים בזמן אמת (למשל בפרויקטים כמו Dota 2, שבהם השתמשו ברכיב LSTM כדי להחזיק “זיכרון” לאורך הזמן).
ואז הגיע 2017. פורסם המאמר “Attention Is All You Need” והציע משהו שונה: לא לרוץ לאורך המשפט כמו שעון, אלא להסתכל על כולו בעזרת Attention—וכך לקבל מודל שניתן לאמן מהר יותר ובמקביליות גבוהה, בלי תלות ברקורסיה של RNN/LSTM.
המאמר שממנו הכל התחיל https://arxiv.org/abs/1706.03762
מכאן התחיל המעבר הגדול. OpenAI אימצה את הכיוון הזה למודלי השפה שלה, וב-2018 פרסמה את GPT-1 (“Improving Language Understanding by Generative Pre-Training”) שכבר בנוי על Transformer ומדגיש את היתרון שלו לעומת רשתות רקורסיביות.
הסיפור “שהתחילו ב-LSTM לשפה ואז עברו ל-Transformer” הוא נכון ברמת התקופה והגישה של התחום כולו וב-OpenAI אכן היה שימוש משמעותי ב-LSTM בפרויקטים אחרים—אבל קו ה-GPT עצמו נולד כבר בעידן ה-Transformer (אחרי 2017).
חלק ג:
- עבודה עם CHATGPT
1.1 קישור לאתר https://chatgpt.com/
2.תרגיל כיתה
2.1 בקש מהבינה מלאכותית לכתוב ברכה ליום הולדת לאדם קרוב , בת \ בן זוג , ילד , מכר בעבודה ציין את שמו
2.2 על מנת שהברכה תהיה אישית ורגשית עליך לציין הרבה פרטים – שם , גיל , תחומי עיסוק , איך האדם עוזר , מה מיוחד בו , איזה עניין רגשי שאתה זוכר לטובה
2.3 למשל (בקשה מ CHATGPT)
כתוב ברכה מאבא , ל מתן בני היקר ואהוב ליום הולדת לבני מתן בכיתה ט , שאוהב לעבוד ביצרית סרטונים לעסקים , מתאמן באגרוף תאילנדי , אוהב להטיס רחפניים ולבנות רובוטים לא כל כך אוהב ללכת לבית ספר וקשה להעיר אותו בבוקר , אוהב לשחק כדור סל עם חברים ואחראי בבית מחוסר רצון לזריקת הזבל ופינו המדיח
כתוב בצורה מרגשת , מעריכה והדגש עד כמה אתה אוהב אותו וגאה בו
2.4 אם הברכה לא מספיק טובה : הסבר ( Feedback ) מה לא טוב
2.5 הברכה לא אישית מספיק , יש טעות במה לתקן , לא מרגשת – מה נידרש לתקן שיהיה מרגש
3. לאחר סיום הברכה ושהיא טובה : בקש באותו חלון כתוב שיר מרגש עבור מתן מאבא ליום הולדתו
3.1 אם השיר לא מספיק אישי , יש טעות במה לתקן , לא מרגשת – מה נידרש תרגש
חלק ד :
תרגיל כיתה 2
- המרצה יחלק דפים
- כתוב שאלה להסבר – על דף על נושא שאתה בקיא בו מאוד ומספר שאלות נוספות – קפל את הדף והחזר למרצה
2.1 למשל :
2.2 איך להחמיץ מלפפון שהיה פרוביוטי , האם דרוש מלח או חומץ ? למה חומץ לא טוב – איך להיזהר המלפפון לא ירכיב בזמן הכבישה ושיהיה קשה ולא רך ומושי ,
2.3 מה זה אלטרנטור ברכב , מה הוא תורם איך ניתן לזהות תקלה ואיך בודקים שהוא תקין ?
חלק ה: שאלות הגיון A.I מול בן אדם
בדיקת זמן – המרצה יכבה את המחשבים (לא להיעזר במחשב ) פתור ללא מחשב ובדוק זמן
1. מוצר עולה 100 ₪. מעלים את המחיר ב־10% ואז מורידים ב־10%. מה המחיר הסופי?
2.בחדר יש שלושה מתגים מחוץ לחדר ונורה אחת בתוך החדר. מותר להיכנס לחדר פעם אחת בלבד. איך ניתן לדעת איזה מתג מדליק את הנורה?
3.יש לך שתי כוסות שקופות: באחת יש חומץ ובשנייה יש מים.
יש לך סודה לשתייה וכפית. מה יקרה אם תוסיף כפית סודה לשתייה לכל כוס, ואיך תדע איזו כוס היא החומץ?
חלק ו: יצירת תמונות (שימוש בתוכנה A.I)
Text-to-Image – הוא מודל שמקבל תיאור במילים ומייצר תמונה חדשה שמתאימה לו.
הוא מתחיל מתמונה אקראית של “רעש” ומבצע הרבה צעדים שבהם הוא מנקה את הרעש בהדרגה.
בכל צעד הוא משתמש במשמעות של המילים כדי לכוון איך הפיקסלים צריכים להיראות.
בסוף מתקבלת תמונה ברורה, והסגנון נקבע לפי מילים כמו “ריאליסטי”, “ציור”, או “אנימה”.
(קישור לגוגל טרנאסליישן )
יצירת תמונה עם בינה מלאכותית – תרגיל כיתה יחד עם המרצה שלב אחרי שלב
תרגיל כיתה 1 – טקסט – לתמונה Text-to-Image
1. נכתוב את הטקסט הבא בתוכנה https://www.piclumen.com/
A fluffy pink cat riding a bicycle through a forest with a waterfall in the background
לימוד הרצת קוד של A.I בינה מלאכותית COLAB טקסט לקול
TTS (Text-to-Speech) = המרת טקסט כתוב לקול דיבור.
מה זה כולל בקצרה:
-
קלט: טקסט
-
פלט: אודיו (MP3/WAV) בקול אנושי
-
אפשר לבחור שפה, קול, מהירות, טון, ולעיתים גם רגש (תלוי במנוע)
דוגמאות שימוש:
-
קריינות לסרטונים
-
קריאת הודעות/מסמכים בקול
-
נגישות לעיוורים
-
בוטים טלפוניים ועוזרים קוליים
טקסט לקול (מתקדם – לא – קשה המרצה יסביר שלב אחר שלב ) לימוד הרצת קוד של A.I בינה מלאכותית COLAB
תרגיל כיתה 2 – הרצת קוד פיתיון של בינה מלאכותית (לא נידרש ידע בתכנות )
1. https://colab.research.google.com/drive/1PVp1-8UfoNDeROGjOSC9IfDVW6ixH5n1?usp=sharing
חלק ז : A.I – בינה מלאכותית ברפואה
בינה מלאכותית ברפואה – דגש על LLM (Large Language Models)
מודלי שפה גדולים הם רשתות נוירונים שאומנו על כמויות עצומות של טקסט רפואי וכללי, ומסוגלים להבין שפה טבעית, להפיק סיכומים, להסיק הקשרים ולהציע תשובות מבוססות ידע.
בינה מלאכותית בחדר המיון A.I
למשל בחדר במיון ובאשפוז לא עובדים עם “מודל אחד”, אלא עם מערכת AI מרובת-מודלים. המטרה: להפוך מידע רפואי מפוזר (דיבור, טקסט, בדיקות, תמונות) ל”תמונה קלינית” אחת, ולעזור לרופא לקבל החלטות מהר ובדיוק גבוה יותר.
1) מודל שפה גדול (LLM) – “המוח שמבין טקסט”
מה הוא עושה
-
קורא ומסכם מידע מהתיק: מחלות רקע, תרופות, אלרגיות, ביקורים קודמים.
-
“מקשיב” לתיאור המטופל (או לצוות) ומפיק סיפור מחלה מובנה.
-
מציע אבחנות אפשריות (דיפרנציאל) וצעדים מומלצים לפי קווים מנחים.
-
כותב מסמכים: סיכום מיון, סיכום אשפוז, מכתב שחרור והנחיות.
מה חשוב להבין
LLM טוב מאוד בשפה ובהיגיון מילולי, אבל הוא עלול לטעות אם חסר מידע או אם אין לו גישה למקורות מאומתים.
2) מודלי ראייה רפואית (Computer Vision) – “העיניים שמבינות תמונה”
אלה מודלים שאומנו על תמונות רפואיות, למשל:
-
CT / MRI: זיהוי דימום, שבר, גידול, תסחיף.
-
צילום חזה: דלקת ריאות, בצקת ריאות, תפליט.
-
אולטרסאונד: נוזל חופשי, אבנים, ממצאים בסיסיים.
איך זה עובד בפועל
המודל מקבל תמונה ומחזיר:
-
“אזורים חשודים” (לוקליזציה/סימון)
-
ציון הסתברות לממצא
אבל עדיין רדיולוג/רופא מאשר את הפרשנות, במיוחד כי איכות תמונה ותנוחה יכולים להטעות.
3) מודלים לנתוני מעבדה וסדרות-זמן – “הסטטיסטיקאי של המדדים”
נתוני מעבדה (דם, CRP, טרופונין, אלקטרוליטים) ומדדים חיוניים הם מספרים לאורך זמן. כאן משתמשים במודלים שמזהים:
-
מגמות (למשל עלייה בטרופונין)
-
דפוסים מסוכנים (התדרדרות ספסיס, כשל כלייתי מתפתח)
-
חריגות ביחס לערכי הבסיס של המטופל
4) שכבת “איחוד מידע” (Fusion) – חיבור טקסט+תמונה+מעבדה
זו החלק הקריטי: מחברים את כל הזרמים:
-
מה שהמטופל סיפר
-
מה שנמדד פיזית
-
מה יצא במעבדה
-
מה נראה בהדמיה
כדי לקבל סיכון משוער, אבחנות סבירות, והצעה לתכנית בדיקות/טיפול.
5) איך מונעים טעויות: RAG + בקרה קלינית
כדי שה-LLM לא “ימציא”:
-
משתמשים ב-RAG: במקום לענות מהזיכרון, המודל “שולף” מידע מתוך מקורות מאומתים (פרוטוקולים, הנחיות, מאמרים, תיק המטופל) ואז מנסח תשובה.
-
Human-in-the-loop: רופא מאשר החלטות, במיוחד טיפול, תרופות ושחרור.
תפקיד הרופא בתוך המערכת
הרופא נשאר הגורם המרכזי כי הוא היחיד שמבצע:
-
בדיקה גופנית והערכת חומרה אמיתית
-
החלטה סופית על אבחנה וטיפול
-
איזון בין סיכונים/תועלת, והעדפות המטופל
-
אחריות אתית ומשפטית
ה-AI בעיקר עושה: איסוף, סיכום, איתור חריגים, והצעות מבוססות-מקורות.
אם תרצה, אני יכול לכתוב את זה כזרימה “מרגע כניסה למיון → בדיקות → אשפוז/ניתוח → שחרור” כולל דוגמה קונקרטית (כאב בחזה / טראומה / חום גבוה).
