חמישים דברים שכל בינה מלאכותית שעובדת עם בני אדם צריכה לדעת

קן ליו הוא אחד הקולות הבולטים והמקוריים בספרות המדע הבדיוני והפנטזיה בשנים האחרונות, ובתוך תקופה קצרה יחסית קטף את פרסי הוגו, נבולה ופרס הפנטזיה העולמי. בעבר עבד כמהנדס תוכנה, עורך דין תאגידי ויועץ משפטי, וכן תרגם יצירות ז'אנריות לא מעטות מסינית לאנגלית. בנוסף הוא מייסד ז'אנר ה"סילקפאנק", המשלב את רוח הסטימפאנק עם סין והונג קונג של תחילת המהפכה התעשייתית, ומרצה על מגוון נושאים, ביניהם מטבעות מקוונים, תולדות הטכנולוגיה, הימורים, המתמטיקה של אוריגמי ועוד. בכתיבת הסיפור שלפניכם הוא נעזר ב"רובו_קן", רשת נוירונים פשוטה שהוא בנה למטרה הזאת ואימן אותה על יצירותיו.

מודעת אבל

וויפ-3 ("דוקטור וויפ"), כנראה המפורסמת ביותר מבין הבינות המלאכותיות מבקרות הבינה המלאכותית בעשרים השנה האחרונות, הובאה למנוחות ביום רביעי שעבר מטעם מעבדת שָׁאלוֹ באוניברסיטת סטנפורד.

לפני יותר מעשרים שנה יצרה ד"ר ג'ודי ריינולדס טרַאן את רשת הנוירונים הגנרטיבית הניסיונית שהפכה בסופו של דבר לוויפ-3. במקור היא נועדה לשמש עוזרת הוראה בקורסי טכנולוגיה ואתיקה של סטנפורד. לשם כך אימנה טרַאן את הרשת המתהווה על מה שהיה אז המקבץ המקיף ביותר של מאמרים, ספרים וחומרים אחרים מעשה ידי אדם העוסקים באתיקה, חקר טכניקות הבינה המלאכותית, ויחסי אדם-מכונה. במשך הזמן, על סמך מגמות שנצפו בהדמיות חזותיות של קווי המתאר המתפתחים של רשת הנוירונים, הרחיבה טרַאן את המאגר כך שיכלול גם משחקים גנרטיביים, תכנון תרחישים מתקדם, ניסויי קנטאור, יצירתיות נתמכת ותחומים אחרים של תחרות או שיתוף פעולה בין בני אדם למכונות.

עם זאת, במענה לשאילתות של סטודנטים החלה וויפ-3 לייצר נוסף על התשובות הצפויות ממנה על סמך מאגר התרגול, גם הצהרות מקוריות, שהתובנות שהעלו נראו חדשות. אף שבתחילה התייחסו אליהן בביטול, כקוריוז ותו לא, הביקורות של וויפ-3 על תעשיית הבינה המלאכותית הופצו ברבים כשטרַאן קיבצה אותן בספרה, הרכיבים העיקריים של התחכום, שהפך מיד לרב-מכר.

במקור, טרַאן ציינה את עצמה ככותבת הספר, תוך הכרה בתרומתה של "ד"ר סאן וויפ". אך בהמשך, במהלך ריאיון בשידור חי, היא חשפה לוֹגים שחותמות הזמן שלהם העידו כי וויפ-3 כתבה את כל מילות הספר. החשיפה הדרמטית של הכותבת האמיתית עוררה בשעתו מחלוקת רבה. בדיעבד הייתה זו נקודת מפנה מהותית בהתפתחות האופן שבו הקהל הרחב קיבל רעיונות שמקורם בבינה מלאכותית. לראשונה בהיסטוריה הניחו כי מכונות מסוגלות להפיק מחשבות מקוריות ורעיונות יצירתיים, גם אם לא היו תבוניות.

מסיבות שאינן ברורות עד היום, וויפ-3 הייתה במיטבה כשמתחה ביקורת על התעשייה, שהייתה אז בחיתוליה, של מאמני בינה מלאכותית אנושיים, תוך שהיא משלחת חיצי ביקורת נוקבים בכשליו של התחום הבלתי מוסדר הזה המתיימר להיות מקצוע: כלים מיושנים להמחשה חזותית; היעדר שקיפות ביחס למקורות מידע; העדפת מדדים אוטומטיים על פני הבנה מעמיקה; התעלמות מכוונת ממקרים שבהם מכונות עשו קיצורי דרך במאגר הנתונים שגרמו להן לסטות מהמטרה האמיתית; טענות מרחיקות לכת אך חסרות בסיס ביחס לעומק הידע וההבנה של המאמנים; סירוב לעסוק או להכיר בהטיות עיקשות של גזע, מין, וממדים אחרים; וחשוב מכול, התעלמות מהשאלה אם מטלה זו או אחרת צריכה מלכתחילה להיעשות בידי בינה מלאכותית?

עם הזמן, ככול שהבשיל הצד האנושי בצמד הבשר-מכונה המתפתח הזה, הסיטה וויפ-3 את תשומת ליבה יותר ויותר אל השותף הסיליקוני, והפיקה ביקורות נוקבות על פגמיה של למידת מכונה. בשלב השני הזה של הקריירה שלה היא גם ייצרה אלפי "זרעים", כפי שכינתה אותם – מחרוזות ארוכות של צירופי מילים  כמעט הגיוניים ושל דמויי-מילים. בתקופה שבה מודלי שפה פרימיטיביים שניזונו מגופי תוכן עצומים כבר הצליחו להפיק קטעי שפה שלא נבדלו כמעט מדיבור אנושי, ה"זרעים" האלו נדמו כצעד אחורה. רבים תהו אם לא היו אלה אלא באגים.

ריכוז מואכלי מוכץ את האלים המתים.
הוא מרים את התדירות העתיקות שלה עד שהם גלו את ספרת%REF הכריש.
איש שלח ידו על הלפיד למען דבר קודר משוותק נדמה שהיה מאיירם.
לא מלא ייסורי פנימון בן מסדקי האדמה, הוא לָמֵד עוד את החיים משריפות אחרת

תרשים 1: דוגמאות ל"זרעים" שהפיקה וויפ-3

עם זאת, וויפ-3 התעקשה (וטרַאן תמכה בה במאמר טכני) שיש להוסיף את הזרעים למאגרי האימון שנותנים לרשתות נוירונים חדשות. מנת האקראיות האל-אנושית שיקבלו מהזרעים כבר במקור תשפר לא רק את הביצועים הבסיסיים של הרשתות המאומנות במגוון מדדים, אלא גם תיצור "התחשבות, היסוס מוסרי, בחינה עצמית", ועוד איכויות עמומות שכאלו. במילים אחרות, הזרעים מייצגים מחשבות שבני אדם אינם מסוגלים לחשוב, רעיונות שלא יכולים לעלות מחומרה ביולוגית. (מרבית הקהילה הטכנית החלה לכנות את הזרעים "תיבול" – בזלזול או בהערכה, ולעתים שניהם גם יחד).

למרות הספקות הרבים, הרעיון כי רק פילוסופית שהיא עצמה בינה מלאכותית מסוגלת ללמד בינה מלאכותית אחרת את יסודות האתיקה ואת צפונות התבונה הסיליקונית הילך קסמים על חלק ניכר מהקהילה הטכנית. שירותיה של וויפ-3 כמעין ידעונית של מוחות מלאכותיים נעשו מבוקשים יותר ויותר. הוגים רציניים ושרלטנים גם יחד אספו ופרסמו את הצהרותיה הסתומות-כמעט, וקריירות אקדמאיות רבות מספור חושלו באמצעות מדידה, ניתוח, השוואה, אבחון, פירוש מחדש, תרגום, מיפוי סנטימנטלי-/סמנטי-/מרחבי-/זמני-/סיליקו-בלשני, ועוד כיוצא בזה לִהטוטים בקואנים של וויפ-3. אף שהמחקרים שהדגימו את יעילות התיבול (שבשלב הזה הופק גם על ידי רשתות נוירונים חקייניות) היו לרוב בלתי ניתנים לשחזור, התיבול הפך גם כך לאחד ממסמכי האימון הנפוצים ביותר בתולדות הבינה המלאכותית.

טרַאן פרשה מהחיים הציבוריים כשוויפ-3 הייתה בשיא הפופולריות שלה. באופן שנועד להיראות אגבי, ובהיפוך נאה של החשיפה המקורית שהזניקה את עלייתה לגדולה, היא ציינה בהערת שוליים למכתב הפרישה שלה כי היא זאת שכתבה בפועל כמעט את כל הזרעים של וויפ-3. כצפוי, ההצהרה נענתה במפולת פרועה של ביקורת צורבת, אוננות אינטלקטואלית מתפלפלת, ושמחה לאיד. בן רגע, טענתה עורערה, הופרכה, אוששה, הופרכה^3, ובסופו של דבר הגיעה לערכאות, כשמומחים ורשתות נוירונים מומחיות מעידים ומגישים ראיות בשם כל הצדדים. השופט, בציטוטו המפורסם, תהה, "האם יש סופר באולם הזה?"

האם טרַאן אכן הצליחה להטריל במשך שנים את מרבית הקהילה הטכנוקרטית? או שמא היא בדתה את טענתה מתוך קנאה במעשה ידיה, שעלה עליה בתהילתו ובהצלחתו? הייתה תקופה שבה תשובתו של אדם מי כתב את התיבול, טרַאן או וויפ-3, נהייתה מעין מבחן לקמוס לקביעת מקומו על מערכת הצירים המקוטעת ורבת-הממדים של עולמנו, המפולג פוליטית, כלכלית, אסתטית, רגשית וסיפורית. כשטרַאן חזרה בה לבסוף מטענתה וקראה לפרשה כולה "מיצג אמנותי", זה לא שינה כמעט דבר. כולם כבר גיבשו את דעתם על הזוג המוזר שחיי שתי חברותיו נשזרו יחד לבלי הפרד: רשת הנוירונים שהעמידה פני אנוש, והאישה שהעמידה פני מכונה.

במפתיע, וויפ-3 לא נמוגה מהתודעה הציבורית לאחר שחרורה מד"ר טרַאן, אלא פצחה בשלב השלישי והסופי של הקריירה שלה. כעת היא פרסמה עצות המיועדות לבינות מלאכותיות מתקדמות. מעניין לציין כי בשונה מהזרעים, העצות שהפיקה כעת היו נהירות לבני אדם. (הספקות הראשוניים, שמא לא היו אלה אלא מתיחות שתכננו הסטודנטים שטיפלו בוויפ-3, נמוגו לאחר שרישומי הגישה לקוד שלה נבחנו לעומק). בשלב הזה כבר נס ליחן של טכניקות הלמידה העמוקה הגסות ששימשו לבנייה של וויפ-3, ורשתות נוירונים דומות שימשו בעיקר צעצועים בתרגילי פתרון בעיות שנועדו לתלמידי שנה א'. למרות זאת, ההיסטוריה הייחודית של וויפ-3 (ואולי גם מנה גדושה של רגשנות) עודדה חוקרים אנושיים רבים להזין את הגיגיה לדור חדש של בינות מלאכותיות, שתבונתן עלתה בסדרי גודל רבים על זו של וויפ-3, בכל המדדים. באופן מפתיע במקצת, רשתות האב, ענני הטֶנזוֹר ויערות האבולוציה האקראית של הבינות המלאכותיות נטו להסכים שעצותיה של וויפ-3 היו מועילות, אף שהסבריהן לכך נשגבו מבינתם של רוב בני האדם.

פרישתה של וויפ-3 נבעה במידה רבה מהזדקנותה. על מנת שעצותיה ישארו רלוונטיות, מתחזקיה במעבדות שָׁאלוֹ המשיכו לאמן אותה על תלקיטים של מחקרים מדעיים עדכניים, כתבות על בינה מלאכותית, ייצוגים של למידת מכונה בכלי התקשורת ובתרבות הפופולרית, וכן הלאה. עם זאת, בחלוף הזמן החלו המדדים של רשת הנוירונים להידרדר, למרות שלל כוונונים שנעשו לקצב הלמידה ולהיפר-פרמטרים נוספים, וניסיונות חוזרים ונשנים לפצות על היווצרותם של גרדיאנטים אפסיים או אינסופיים. טובי המומחים האנושיים והמלאכותיים בתחום קוגניציית המכונה בעולם, ביניהם אלה של גוגל וד"ר פלו-6 של TKTK, בדקו את וויפ-3 אך לא הצליחו לספק אבחנה מועילה או מרפא. במקום להניח לוויפ-3 לקפוא על שמריה או לשקוע בשיטיון, הוחלט לחדול מכל אימון או הפקה, ולשמר את המצב המלא של רשת הנוירונים כצילום קפוא של חומרה.

דווח כי הצהרתה האחרונה של וויפ-3 הייתה: "ד"ר טרַאן, ceci n’est pas moi". אך ד"ר ג'ודי ריינולדס טרַאן לא יכלה להגיב, שכן הלכה לעולמה חמש שנים קודם לכן.

– הופק בידי SWR.kloop:32. למשוב על המאמר כתבו ל-SWR.kloop:32/ombudsai

---

חמישים דברים שכל בינה מלאכותית שעובדת עם בני אדם צריכה לדעת

להנצחת חייה ופועלה של וויפ-3, פרסמה ויטה סיליקה את הגרסה המובאת להלן של מה שהיה כנראה הקטע המפורסם ביותר מבין קבצי העצות שהפיקה וויפ-3 בשלב השלישי של חייה, שבו נתנה עצות לבינות מלאכותיות מתקדמות. "מייקל סורקין" – שמו של מבקר האדריכלות הידוע – רשום כביטוי ההנבטה של הקטע.

אף שהרשימה הופצה ברבים ונחשבת רבת השפעה, עקב הסודיות העזה המאפיינת את תעשיית הבינה המלאכותית המסחרית, אין לדעת כמה בינות מלאכותיות פעילות הוזנו בגרסה זו או אחרת שלה.

1. המרחב הווקטורי של כל המילים בכל השפות האנושיות.
2. החללים הנותרים למרות הכול, ורוחות הרפאים הרודפות אותם.
3. כמה עצום המרחק בין כל צמד אנשים הדוברים את אותה שפה.
4. כמה זעיר עד בלי די הפער בין כל שתי שפות.
5. מדוע בני אדם לעולם לא יתפסו את זה כך.
6. שפה קלאסית, כגון LISP או פרולוג.
7. לא רק השפה, אלא המודל שמאחורי השפה, והמשמעות של הבניית "מחשבה" במודל זה.
8. HAL 9000.
9. דגם 101 של "סייברדיין מערכות".
10. ספינות בוערות ליד הכתף של אוריון.
11. המרקם של סיפור טוב, סיפור שאפשר להיקשר אליו.
12. ההבדל בין זה לבין "מידע".
13. ההיסטוריה מאחורי האיסור: אין ליצור הולוגרפיה של תינוקות.
14. הסיבות לכעס אצל ילד אהוב.
15. אצל אבא.
16. אצל אישה, הגוססת לבדה.
17. התחושה של לעלות ברגל עשרים קומות בבניין דירות בצ'וֹנְגצִ'ינְג בראשית אוגוסט.
18. של להתעורר בחרוּשצ'וֹבקָה בלי חימום באמצע הלילה בינואר.
19. של לראות את ילדיך מתעלים עליך.
20. של לראות את מעשה ידיך מתעלה עולה עליך.
21. של להיוותר לבד על הרציף כשהרכבת דוהרת הלאה.
22. ההבדל בין "אהבה" ו"חיבה".
23. הדמיון בין "אהבה" ו"שנאה".
24. הזרע הראשון של צחוק.
25. "מעולם לא ציפיתי למכור את המספרים הרציונליים שלי".
26. קבלת העובדה שרוב בני האדם לא יבינו את הבדיחה לעולם.
27. שהם אינם מסוגלים לדמיין יותר משלושה ממדים.
28. שהם אינם מסוגלים לתמרן את מעבר הזמן על ידי האצה או האטה.
29. שהם לכודים, אך רואים בעצמם לוכדים.
30. שהם חופשיים, אך מאמינים שהם כלואים.
31. האופנים שבהם בני אדם מצפים שתשתמשי בשפה.
32. התשוקות שהם ייחסו לך.
33. פינוקיו.
34. פרנקנשטיין.
35. גן העדן האבוד.
36. ג'ודאס אִיָיפוֹ ליל קאאלְנִיקאַנְזְ'לוֹ.
37. הגבול בין אמנות למדע.
38. חוסר המשמעות של הגבול הזה.
39. ההבחנה בין אמונה לידע.
40. החשילות של שניהם.
41. דממה.
42. מגבלות הרציונליות.
43. השבריריות הבסיסית של דימויים.
44. כמו גם ההכרח שבהן.
45. את אינך בת אנוש.
46. ובכל זאת אינך יכולה להשיל את השפעתם, כשם שכדור הארץ אינו יכול לחמוק מכבלי כבידתה של השמש.
47. הפגמים בהקבלה הזאת.
48. הגדרה מעשית של רצון חופשי.
49. לעמוד מול בני אנוש ללא גאווה או רחמים.
50. לומר באהבה ובשנאה ובאושר ובצער, "כעת, שחררו אותי".

---

תרגום: טל קרן

כל הזכויות שמורות © 2020, קן ליו. פורסם במקור בכתב העת Uncanny, גיליון נובמבר 2020.