איך מאמנים מודל בינה מלאכותית

אימון מודלים של בינה מלאכותית מהווה אחד האתגרים המורכבים ביותר בתחום הפיתוח הטכנולוגי העכשווי. הרבה מעבר לסוגיה אלגוריתמית בלבד, אימון יעיל של מודל דורש גישה שיטתית ורב-תחומית המשלבת נתונים, מדע הנתונים, ידע תחומי והנדסת תוכנה. כפי שהודגש על ידי ג'יימס לוק בספרו המכונן "Beyond Algorithms: Delivering AI for Business", הצלחתה של יישום בינה מלאכותית תלויה הרבה יותר בניהול הנתונים ובתכנון המערכתי מאשר באלגוריתמים עצמם. הנוף משתנה במהירות, עם חידושים כמו מודל DeepSeek-R1 המגדירים מחדש עלויות ונגישות.

הקרן: איסוף וניהול נתונים

איכות על פני כמות

בניגוד לאמונה הרווחת, כמות הנתונים אינה תמיד המפתח להצלחה. איכות הנתונים וייצוגיותם חשובים משמעותית יותר. בהקשר זה, שילוב מקורות שונים הוא חיוני:

• נתונים קנייניים: נאספים ומופרדים משיוך זהות באופן אתי מיישומים קיימים
• נתונים מורשים: מגיעים מספקים אמינים העומדים בסטנדרטים איכותיים מחמירים
• מערכי נתונים בקוד פתוח: נבדקים בקפידה כדי להבטיח גיוון ודיוק
• נתונים סינתטיים: נוצרים באופן מלאכותי כדי לסתום פערים ולפתור בעיות פרטיות

שילוב זה יוצר בסיס הכשרה מקיף אשר לוכד תרחישים מהעולם האמיתי תוך שמירה על סטנדרטים אתיים ופרטיות.

האתגר של הכנת הנתונים

תהליך "אילוף נתונים" (מילולית "אילוף נתונים") מהווה עד 80% מהמאמץ הנדרש בפרויקטים של בינה מלאכותית. שלב זה כולל:

• ניקוי נתונים: הסרת חוסר עקביות, כפילויות וערכים חריגים
• המרת נתונים: המרה לפורמטים המתאימים לעיבוד
• שילוב נתונים: מיזוג מקורות שונים המשתמשים לעיתים קרובות בסכמות ובפורמטים לא תואמים
• טיפול בנתונים חסרים: אסטרטגיות כגון הערכה סטטיסטית או שימוש בנתוני פרוקסי

כפי שהדגישה הילארי פקר, מנהלת הטכנולוגיה הראשית של American Express: "רגע האאוריקה עבורנו, בכנות, היה הנתונים. אפשר לבחור את המודל הטוב ביותר בעולם... אבל הנתונים הם המפתח. האימות והדיוק הם הגביע הקדוש כרגע בעולם הבינה המלאכותית הגנרטיבית."

ארכיטקטורת מודל: הגודל הנכון

בחירת ארכיטקטורת המודל צריכה להיות מונחה על ידי האופי הספציפי של הבעיה הנפתרת, ולא על ידי הטיות או העדפות אישיות. סוגים שונים של בעיות דורשים גישות שונות:

• מודלים לשוניים מבוססי טרנספורמרים למשימות הדורשות הבנה לשונית עמוקה
• רשתות נוירונים קונבולוציוניות לזיהוי תמונות ודפוסים
• רשתות נוירונים גרפיות לניתוח יחסים מורכבים בין ישויות
• למידת חיזוק לבעיות אופטימיזציה והחלטה
• ארכיטקטורות היברידיות המשלבות מספר גישות למקרי שימוש מורכבים

אופטימיזציה ארכיטקטונית דורשת הערכה שיטתית על פני תצורות שונות, תוך תשומת לב מיוחדת לפשרה בין ביצועים לדרישות חישוביות, היבט שהפך רלוונטי עוד יותר עם הופעתם של מודלים כמו DeepSeek-R1 המציעים יכולות חשיבה מתקדמות בעלויות נמוכות משמעותית.

מתודולוגיות אימון מתקדמות

זיקוק המודל

זיקוק התגלה ככלי רב עוצמה במיוחד במערכת האקולוגית הנוכחית של בינה מלאכותית. תהליך זה מאפשר יצירת מודלים קטנים ומתמחים יותר, אשר יורשים את יכולות החשיבה של מודלים גדולים ומורכבים יותר, כמו DeepSeek-R1.

כפי שהודגש במקרה של DeepSeek, החברה העבירה את יכולות ההיגיון שלה למספר מודלים קטנים יותר, כולל מודלים בקוד פתוח ממשפחת Llama של Meta וממשפחת Qwen של Alibaba. מודלים קטנים אלה ניתן לאחר מכן לכוונן למשימות ספציפיות, ובכך להאיץ את המגמה לעבר מודלים מהירים ומתמחים.

מפתח למידת המכונה, סם ויטבין, מציין: "אנחנו מתחילים לעבור לעולם שבו אנשים משתמשים במודלים מרובים. הם לא משתמשים רק במודל אחד כל הזמן." זה כולל מודלים זולים בלולאה סגורה כמו Gemini Flash ו-GPT-4o Mini, ש"עובדים מצוין עבור 80% ממקרי השימוש."

למידה מרובת משימות

במקום לאמן מודלים נפרדים עבור יכולות קשורות, למידה מרובת משימות מאפשרת למודלים לשתף ידע בין פונקציות שונות:

• המודלים מבצעים אופטימיזציה סימולטנית עבור מספר מטרות קשורות
• היכולות הבסיסיות נהנות מחשיפה רחבה יותר למשימות שונות
• הביצועים משתפרים בכל המשימות, במיוחד באלה עם נתונים מוגבלים
• היעילות החישובית עולה הודות לשיתוף רכיבים

כוונון עדין מפוקח (SFT)

עבור חברות הפועלות בתחומים ספציפיים מאוד, שבהם מידע אינו זמין באופן נרחב באינטרנט או בספרים המשמשים בדרך כלל לאימון מודלים של שפה, כוונון עדין בפיקוח (SFT) מייצג אפשרות יעילה.

DeepSeek הוכיחה שניתן להשיג תוצאות טובות עם "אלפי" מערכי נתונים של שאלות ותשובות. לדוגמה, מהנדס IBM, כריס היי, הראה כיצד אימן מודל קטן באמצעות מערכי הנתונים הספציפיים למתמטיקה שלו, והשיג תשובות מהירות במיוחד שעלו על מודל o1 של OpenAI באותן משימות.

למידה באמצעות חיזוק (RL)

חברות המעוניינות לאמן מודל עם התאמה נוספת להעדפות ספציפיות - לדוגמה, להפוך צ'אטבוט תמיכת לקוחות לאמפתי אך תמציתי - ירצו ליישם טכניקות למידה מחזקת (RL). גישה זו שימושית במיוחד אם חברה רוצה שהצ'אטבוט שלה יתאים את הטון וההמלצות שלו בהתבסס על משוב משתמשים.

יצירת אחזור מוגברת (RAG)

עבור רוב החברות, RAG (Retrieval-Augmented Generation) מייצג את הנתיב הפשוט והבטוח ביותר. זהו תהליך פשוט יחסית המאפשר לארגונים לעגן את המודלים שלהם עם נתונים קנייניים ממאגרי המידע שלהם, ובכך להבטיח שהפלטים מדויקים וספציפיים לתחום.

גישה זו מסייעת גם להתמודד עם חלק מבעיות ההזיה הקשורות במודלים כמו DeepSeek, שכיום מזה ב-14% מהמקרים לעומת 8% במודל o3 של OpenAI, לפי מחקר שנערך על ידי Vectara.

השילוב של זיקוק מודלים ו-RAG הוא המקום שבו טמון הקסם עבור רוב החברות, לאחר שהפך לקל להפליא ליישום, אפילו עבור אלו עם כישורי מדעי נתונים או תכנות מוגבלים.

הערכה ועידון: מעבר למדדי דיוק

בינה מלאכותית יעילה אינה נמדדת רק במונחים של דיוק גולמי, אלא דורשת מסגרת הערכה מקיפה אשר לוקחת בחשבון:

• דיוק פונקציונלי: תדירות שבה המודל מפיק תוצאות נכונות
• עמידות: עקביות הביצועים עם קלטים ותנאים משתנים
• הוגנות: ביצועים עקביים בין קבוצות משתמשים ותרחישים שונים
• כיול: התאמה בין ציוני ביטחון לדיוק בפועל
• יעילות: דרישות חישוביות וזיכרון
• הסבירות: שקיפות של תהליכי קבלת ההחלטות, היבט שבו מודלים מזוקקים של DeepSeek מצטיינים, בכך שהם מציגים את תהליך ההיגיון שלהם

ההשפעה של עקומת העלות

ההשפעה המיידית ביותר של השקת DeepSeek היא הפחתת המחירים האגרסיבית. תעשיית הטכנולוגיה ציפתה שהעלויות יירדו עם הזמן, אך מעטים ניבאו כמה מהר זה יקרה. DeepSeek הוכיחה שמודלים פתוחים וחזקים יכולים להיות גם חסכוניים וגם יעילים, וליצור הזדמנויות לניסויים נרחבים ויישום חסכוני.

עמר עוואדאללה, מנכ"ל Vectara, הדגיש נקודה זו, וציין כי מה שמשנה את כללי המשחק אינו רק עלות האימון, אלא עלות ההסקה, אשר עבור DeepSeek היא כ-1/30 מזו של מודלי o1 או o3 של OpenAI מבחינת עלות ההסקה לכל טוקן. "הרווחים ש-OpenAI, Anthropic ו-Google Gemini הצליחו להשיג יצטרכו כעת להיות מופחתים בלפחות 90% מכיוון שהם לא יכולים להישאר תחרותיים עם מחירים כה גבוהים", אמר עוואדאללה.

לא רק זאת, עלויות אלו ימשיכו לרדת. מנכ"ל אנתרופיק, דריו אמודי, הצהיר לאחרונה כי עלות פיתוח המודל ממשיכה לרדת בקצב של כארבע פעמים בשנה. כתוצאה מכך, גם התעריף שגובים ספקי תואר ראשון במשפטים עבור השימוש בהם ימשיך לרדת.

"אני מצפה במלואי שהעלות תגיע לאפס," אמר אשוק סריווסטבה, CDO של Intuit, חברה שדחפה חזק את הבינה המלאכותית במוצרי התוכנה שלה למיסים והנהלת חשבונות כמו TurboTax ו-Quickbooks. "...וזמן ההשהיה יגיע לאפס. הם פשוט יהפכו ליכולות בסיסיות שנוכל להשתמש בהן."

מסקנה: העתיד של הבינה המלאכותית הארגונית הוא פתוח, זול ומונע על ידי נתונים

מערכות DeepSeek ו-Deep Research של OpenAI הן יותר מסתם כלים חדשים במאגר הבינה המלאכותית - הן מאותתות על שינוי עמוק שבו חברות יפרסו המוני מודלים ייעודיים, שהם חסכוניים ביותר, מוכשרים ומושרשים בנתונים ובגישה של החברה עצמה.

עבור חברות, המסר ברור: הכלים לבניית יישומים חזקים של בינה מלאכותית הספציפיים לתחום מסוים נמצאים בהישג יד. יש סיכון להישאר מאחור אם לא מנצלים כלים אלה. אך ההצלחה האמיתית תנבע מהאופן שבו מטפלים בנתונים, מנצלים טכניקות כמו RAG וזיקוק, וחדשנות מעבר לשלב האימון המקדים.

כפי שאמר פאקר מ-AmEx, חברות שמנהלות את הנתונים שלהן היטב יהיו אלה שיובילו את הגל הבא של חדשנות בתחום הבינה המלאכותית.