איפה AI נכשל, ולמה תמיד באותו מקום

אנחנו משתמשים ב-AI בעבודה, וזה המדריך על מה שהוא עושה גרוע. לא כדי לקטר, אלא כי סוג הכשל שלו עקבי ואפשר לתכנן סביבו.

הכשל הוא לא שהתוצאה רעה. התוצאה בדרך כלל נראית טובה. הכשל הוא שהיא מפרה כלל שנאמר במפורש, ובלי לבדוק אי אפשר לראות את זה.

דוגמה אמיתית מהאתר הזה

תמונות הנושא של המדריכים כאן נוצרות אוטומטית, לפי הנחיית עיצוב אחת קבועה. ההנחיה אומרת בפירוש שהרקע ממלא את כל הפריים, ושזו יצירה דיגיטלית שטוחה ולא צילום של הדפסה. בלי מסגרת, בלי קנבס, בלי צל.

אחת התמונות חזרה כצילום של קנבס ממוסגר על קיר קרמי. לא תמונה: צילום של תמונה. כל שאר ההנחיה בוצעה במדויק — הצבעים נכונים, הקומפוזיציה נכונה, אין טקסט. רק הכלל המרכזי נשמט.

אחרי שהוסיפו איסור מפורש על מסגרות וצללים, זה קרה שוב. בארבע מתוך ארבע עשרה יצירות התמונה יצאה ממורכזת עם שוליים מכל הצדדים, כלומר בדיוק אותו כשל בתחפושת. זה קרה בכל פעם שתיאור הנושא רמז על משהו מרוכז: "קונצנטרי", "מקוננים", "זה לצד זה".

אותו דבר בטקסט

בדקנו את המדריכים כאן במספרים ולא בעין. בדיקה אחת פשוטה ספרה קווים מפרידים לכל פסקה. בכתיבה הראשונה זה יצא 0.23 עד 0.29, ובסבב מאוחר יותר שני מדריכים הגיעו ל-0.45 ול-0.62, בלי שאף אחד התכוון.

לא רק זה. בסבב אחד כל המדריכים יצאו עם בדיוק הדגשה אחת כל אחד, וארבעה מהם פתחו אותה באותו משפט בדיוק. אף אחד לא כתב הנחיה כזאת, וזה מה שיצא.

בעין אף אחד מהדברים האלה לא נראה שגוי. במספרים שניהם בולטים מיד.

ולמה זה לא אומר לא להשתמש

האתר הזה מריץ תרגום אוטומטי של תוכן ומייצר את תמונות הנושא שלו. שני הדברים האלה עובדים ושומרים זמן אמיתי. ההבדל הוא שלשניהם יש בדיקה אחרי, ובדיקה שהיא קוד ולא אדם שמסתכל.

הכלל הפשוט שאנחנו עובדים לפיו: אם אי אפשר לבדוק את התוצאה בצורה מכנית, זו לא עבודה שכדאי להעביר ל-AI. לא בגלל שהוא לא יצליח, אלא בגלל שלא תדעו מתי הוא לא.

מה זה אומר לעסק

העבודות שמתאימות הן אלה שיש להן תשובה שאפשר לאמת: לסדר טקסט לפי תבנית, לסכם מסמך שאפשר להשוות למקור, לתרגם משהו שמישהו יקרא. העבודות שלא מתאימות הן אלה שבהן טעות נראית כמו הצלחה, ובעיקר החלטות שנוגעות בכסף, בהתחייבות ללקוח או בנתונים אישיים.

כתבנו בנפרד על מה שלא כדאי להדביק לתוך כלי AI — מה לא להדביק לכלי AI.

לבנות אוטומציה עם בדיקות שמזהות כשל