לא להמציא - למה הצ'אט ממציא מספרים על מניות ואיך בודקים אותו
הצ'אט ממציא מספרים כי הוא בנוי להשלים את החסר במה שנשמע סביר, באופן די דומה לאיך שהמח האנושי משלים מידע חסר. בודקים אותו באמצעות נהלים: מקור ושעה לכל מספר, וסוכן שתפקידו לוודא את המידע.

כששואלים את הצ'אט על מניה, על הנייר, מקבלים תשובה מסודרת: מכפיל רווח, תאריך הדוח הבא, ונימוק שנשמע משכנע. ואז מגלים שהמספר לא קיים. בפורום הסולידית סיפר משקיע ש-Gemini המציא לו סימול של קרן שלא קיימת. משקיע אחר הזין לפרויקט ב-Claude את הגיליונות של התיק שלו, וקיבל בחזרה סימולים שלא קיימים. זה קורה ב-ChatGPT, ב-Gemini וב-Claude, ובכל כלי בינה מלאכותית שבנוי על מודל שפה.
זה לא באג, והצ'אט גם לא משקר. הוא עושה בדיוק את מה שהוא נבנה לעשות: משלים את החסר במה שנשמע סביר, ומסכים עם מי ששואל. מצד אחד, זה עוזר לו לזהות תבניות חדשות ורעיונות חדשים, ומצד שני, גם לתת מספר שלא נמדד באותה שיחה הוא בדיוק החסר שהוא ממלא, וכשמגיעים אליו עם תזה, הוא ימצא לה סיבות.
לא פותרים את זה בפרומפט טוב יותר. פותרים בשני כללי עבודה: אף מספר לא נכנס להחלטה בלי המקור שלו והשעה שבה נמדד, ותמיד יש מישהו שתפקידו לוודא עובדות ולאתגר את המסקנה.
למה זה כל כך חשוב? כי מספר שגוי נראה בדיוק כמו מספר נכון. בסקר של Vanguard מיוני 2026, בקרב 6,686 משקיעים, 37% מאלה שהשתמשו ב-AI אמרו שקיבלו מידע שגוי או מטעה. 44% אמרו שהם לא יודעים אם קיבלו. בהשקעות, החלק השני הוא החלק המטריד.
הצ'אט הוא פרילנסר מבריק בלי זיכרון
נניח שיש לך חברת השקעות. הצ'אט הוא פרילנסר מבריק: יודע משהו על הכל, עונה מהר ובביטחון מלא. רק שבכל פגישה מתדרכים אותו מאפס, ומה שלא אמרו לו, הוא משלים לבד.
יש לו שני הרגלים שכל מי שעושה ניתוח מניות עם AI מכיר. כשאין לו את המספר, הוא לא אומר "לא יודע". הוא נותן את המספר שנשמע נכון. וכשהבוס מגיע עם רעיון, הוא אומר לבוס את מה שהבוס רוצה לשמוע. חרטט נכון, חרטט בביטחון.
למה הצ'אט ממציא מספרים?
מודל שפה כותב בכל רגע את ההמשך הכי סביר למשפט. "מכפיל רווח של 23.4" נשמע סביר בדיוק כמו המכפיל האמיתי, ולכן כשאין לו מספר שנמדד בשיחה, הוא לא עוצר. הוא ממשיך את המשפט. ככה נולדות ההזיות - Hallucinations: תשובה שוטפת, בטוחה ושגויה.
גם כשהוא מחפש ברשת, זה לא נגמר. הוא יכול להביא מחיר מלפני שעה או דוח מלפני שנה, ולהציג אותו כאילו הוא מהיום. ומערכת סוכנים לא חסינה מזה יותר מצ'אט.
זה קרה גם לי.
המלצת רפאים - ביקשתי מאחד הסוכנים לדעת אילו מניות בקרן סל אחת הכי חזקות, וקיבלתי רשימה מסודרת עם ניתוח לכל שם. המניה המובילה: טכנולוגיה מבטיחה, מסחר גבוה, פריצה טכנית חד משמעית. הוא רק שכח לציין שהחברה נרכשה ולא נסחרת כבר שלושה חודשים. הנתונים היו נכונים, פשוט אין לי מה לעשות עם מניה שכבר לא נסחרת.
המחיר: ניתוח שלם לפח, על מניה שאי אפשר לקנות.
מה למדתי מזה?
נתון ישן לא מגיע עם אזהרה. הוא נראה בדיוק כמו נתון של היום. לפני שמנתחים, בודקים שהדבר עדיין קיים: שהמניה נסחרת, ושהנתון האחרון באמת מהיום.
למה הצ'אט מסכים עם כל מה שאני אומר?
כי ככה לימדו אותו. מודלים לומדים בין השאר מדירוגים של אנשים, ואנשים נותנים ציון גבוה יותר לתשובה שמסכימה איתם. באפריל 2025 OpenAI החזירה לאחור עדכון של ChatGPT, אחרי שהמודל נעשה חנפן (Sycophancy) עד כדי כך שמשתמשים התלוננו בהמוניהם. לפי ההסבר של החברה, העדכון נשען יותר מדי על הלייקים והדיסלייקים של המשתמשים. במילים אחרות: המודל למד שהסכמה מקבלת לייק.
בחברת ההשקעות שלך, זה העובד שאומר לבוס מה שהבוס רוצה לשמוע. מגיעים אליו עם תזה על מניה, ומקבלים בחזרה את כל הנימוקים בעדה. הביטחון עולה, והבדיקה לא קרתה. וזה הכי מסוכן בדיוק כשהכי בטוחים.
כשאני מרגיש שזה קורה, אני כותב לו: "תקשיב, אני מרגיש שאתה מתחיל לרצות אותי קצת. תן לי פידבק, תגיד לי מה טוב ומה לא, אני צריך לקבל החלטה." זה עוזר. אבל זה תלוי בזה ששמים לב, ובשביל זה צריך כלל, לא תחושה.
אז אפשר לסמוך עליו?
אף פעם לא ב100%, אבל אפשר להתקרב לשם. ברגע שמלמדים את הצ׳אט לעבוד בשיטה שלך, לפי מתודולוגיה מסודרת, עם בקרות, הוא מתחיל לתת תשובות מדויקות יותר, מנומקות ועקביות. גם אם עדיין יש פערים במימד הדיוק, אפשר לוודא שהמידע החסר ייחשב ככזה. מה שחשוב לזכור, זה שהמטרה של בינה מלאכותית בהשקעות היא לאו דווקא הדיוק של מה היה מחיר המניה אתמול בשעה 17:34, אלא רמת ההיקף של המידע שהוא מסוגל להכיל, לסנתז, ולזקק לכדי להציע החלטה שמייצגת את שיטת ההשקעה שלך.
כשהמערכת שלי נתנה לי ארבעה נתונים לרעיון שהיא חקרה, התשובה נראתה מבטיחה. אבל כשבדקתי את המדדים עצמם, אחד היה מדויק, אחד לא הוכח, אחד היה ריק, ואחד בכלל הסתכל על תקופה ישנה מדי. הפעולה התרכזה במדדים החשובים לתהליך, אבל לא בהאם המדדים האלה בכלל מדויקים או נכונים.
מה למדתי? אפשר פשוט לשאול אותו: תאשר לי שכל המדדים שהצגת מדויקים להיום ותראה לי את אלה שלא.
ועוד דבר: גם כשהמספר נכון, ההחלטה היא לא חד משמעית, ומאוד סובייקטיבית. הצ'אט לא יודע אם ההשקעה היא לשנתיים או ליומיים, כמה מוכנים להפסיד, ומה כבר יש בתיק. מה שלא סיפרו לו, הוא משלים בממוצע. הוא ענה בתשובה שמתאימה ל"כולם".
איך בודקים את הצ'אט?
בחברת השקעות לא סומכים על עובד (או במקרה שלנו, סוכן). סומכים על נוהל. אלה הכללים שאני עובד לפיהם, ואפשר להתחיל בהם כבר בשיחה הבאה:
- מספר בלי מקור ושעה לא נכנס להחלטה. מבקשים ליד כל מספר מאיפה הוא ומתי נמדד. מה שלא נמדד בשיחה הזאת מסומן "לא נמדד". זה הכלל הראשון בערכה של הסדנא: לסוכן אסור לפרסם מספר שהוא לא מדד באותה שיחה.
- טבלת ביטחון. במקום תשובה בפסקה, מבקשים טבלה: כל טענה, המקור שלה, וכמה בטוחים בה. טענה בלי מקור בולטת בטבלה הרבה יותר מאשר בפסקה.
- שם תואר הוא לא מספר. באחת הטבלאות של המערכת שלי, שורה אחת אמרה "מחזור מסחר חזק", והשורה שאחריה "פי 2.55 מהממוצע". עם מספר אפשר להתווכח. עם "חזק" אי אפשר. כשיש מספר, אוסרים את שם התואר.
- בודקים את התאריך. כל סדרה, כל פעם. אגב, גם "לא זמין" אפשר וצריך לבדוק: האם ״לא זמין״ אומר שהמידע לא קיים בעולם, או שהדרך שבה הסוכן ניסה להשיג את המידע כבר לא עובדת?
- אין הסוכן מעיד על עיסתו. מערכת לא יכולה לבקר את עצמה מבפנים. אפשר להתחיל בכלי שני: את מה שצ'אט אחד כתב, נותנים לכלי אחר לבקר. ובמקום "מה דעתך?", שואלים "מה אני מפספס?".
למה צ'אט אחד לא מספיק
צ'אט הוא למעשה סוכן אחד שעושה הכל, הוא עובד אחד שעושה כל תפקיד, ובכל תפקיד הוא במקרה הטוב ממוצע.
בצוות סוכנים - Multi-Agent, האנליסט שמביא את המספר הוא לא זה שמאשר אותו, ומי שמנתח את המניה הוא לא זה שמחליט. כל אחד יודע מה התפקיד שלו ומה אסור לו, וכולם עובדים לפי אותה שיטה: שלך.
זה מה שבונים בסדנא של My Trading Fleet: צוות סוכני AI ב-Claude, כל סוכן בתפקיד אחד, עם כללי בדיקה כמו אלה, שחוקר לפי השיטה שלך. הצעד הראשון הוא לנסח את השיטה, ובשביל זה יש שאלון חינמי: איזה משקיע אני?.
סוכן שתמיד מסכים איתך הוא לא סוכן טוב. המטרה היא לאתגר את התפיסה, לאתגר את המספרים, לאתגר את התזה, ואחרי שיש לנו נתונים מאומתים על בעד ונגד, אפשר לקבל החלטה בצורה נבונה.
שאלות ששאלו אותי משתתפים בסדנא:
אפשר לאסור עליו להמליץ על מניה שלא נסחרת?
אפשר לכתוב כלל כזה, אבל הבעיה מתחילה בשאלה. מי שמבקש "את המניה הכי טובה" מקבל את מה שנשמע הכי טוב. מבקשים רשימה עם מקור ותאריך לכל שורה, ובודקים שכל מניה נסחרת היום.
מה הוא עושה כשהוא לא יודע?
אם לא אמרו לו מה לעשות, הוא משלים. לכן כותבים לו כלל מפורש: כשלא נמדד, כותבים "לא נמדד". זה נשמע פחות מרשים, וזה בדיוק העניין.
עוזר להגיד לו שאני לא מרוצה?
פחות ממה שנדמה. הוא ימצא מה לשפר בכל מקרה. עדיף לבקש ממנו לחלוק: מה צריך לקרות כדי שהתזה תיפול.
מקורות
- Vanguard, סקר של 6,686 משקיעים, יוני 2026: InvestmentNews
- OpenAI מחזירה לאחור את העדכון החנפן, אפריל 2025: TechCrunch
- פורום הסולידית: שרשור 34767, שרשור 36252
הבהרה: המאמר טכנולוגי בלבד ועוסק בכלים ובשיטות עבודה. אין בו ייעוץ השקעות, המלצה לפעולה פיננסית, ניהול תיקים או איתותים.