אמל״ק
בניוזלטר של לני בשבוע שעבר הוא עשה מבחן על שלוש שאלות מוצר, ויצא שהתשובות של צ׳טג׳יפיטי יותר טובות מתשובות של בניאדם ב-2 מתוך 3 השאלות. הניסוי לא טוב בעיני, ולא מוכיח את מה שלני טוען שהוא מוכיח (שבינה מלאכותית קרובה ללהחליף אותנו, מנהלי המוצר), ועדין שווה להשקיע ולקרוא את הפוסט, כי יש הרבה ללמוד ממנו.
יאללה לפוסט המלא:
הניוזלטר של לני והפודקסט של לני הם אחד המקורות הכי רציניים, עקביים, ומצוטטים בהקשרים של ניהול מוצר. אז קודם כל אם אתם לא מכירים – שווה לכם לחפור קצת גם בניוזלטר וגם בפודקסט.
למי שלא מכיר, טיפונת רקע – לני היה מנהל מוצר, ואז התחיל את הניוזלטר בנושאי ניהול מוצר, growth וקריירה בסאבסטאק, והפך לניוזלטר הכי נקרא שם (עשרות אלפי עוקבים), היום יש גרסא בתשלום שיוצאת פעם בשבוע, וגרסא חינמית פעם בחודש. אחר כך התחיל את הפודקסט שבו הוא מראיין מובילי מוצר מכל העולם. עכשיו יש לו גם עסק של השמה, והוא הפך להיות אחד השמות המוכרים ביותר בכתיבה בנושאי ניהול מוצר.
אני יודעת שיש אנשים שמכורים ללני. קוראים את כל מה שהוא כותב ומקשיבים לכל פודקסט. אני חיבת להודות שאני לא כזו, יש לי רשימה של הסתייגויות גם מאיך שהוא כותב וגם מאיך שהוא מראיין, אבל נדבר על זה בהזדמנות.
הפעם אני דווקא כן רוצה להמליץ שתתעמקו בפוסט שלו על האם ה- AI עומד להחליף מנהלי מוצר, שפורסם בשבוע שעבר. כמה אנשים שלחו לי את הפוסט ושאלו מה דעתי (והוא גם הומלץ בתוך הבלגן של שיחה שהיתה בהפעלה בשבת בקבוצת הוואטסאפ).
סיכום ממש מהיר של הפוסט – לני ומייקל טיילור, האיש שכתב ספר על פרומפט אנג׳ינירינג, עשו ניסוי. הם לקחו שלוש מטלות של ניהול מוצר, מסוג המטלות ששואלים בראיונות עבודה, הכינו שתי תשובות – תשובה אחת שמבוססת על “best practices״ שהם לקחו מכל מיני מקורות, ותשובה אחת שהם בנו בעזרת צ׳טג׳יפיטי.
הם הציגו את שתי התשובות בטוויטר/לינקדאין ועשו סקר איזו מהם יותר טובה. התוצאה היתה שבשתיים מתוך שלוש המשימות העונים על הסקר בחרו את התשובה של צ׳טג׳יפיטי, והמסקנה שלהם (מאוד מאוד בגדול) היא שאכן ה-AI יוכל להחליף אותנו מנהלי המוצר בצורה מאוד טובה בחלק ניכר מהמטלות, וזה יקרה יותר בקרוב ממה שאנחנו חושבים.
מדובר בפוסט מאוד מאוד מאוד ארוך. בעיני שווה לכם לקרוא, אבל ממש לא כי זה ישכנע אתכם שהבינה המלאכותית הולכת להחליף אותנו בקרוב.
למה כן כדאי לקרוא?
השאלות שהם שאלו כדי לעשות את המבחן הזה הן שאלות פרודקט מעניינות, מצוינות להתכוננות לראיונות עבודה אם אתם חושבים על זה.
התשובות – גם של הב״מ (בינה מלאכותית), וגם התשובות המלאות שהם אספו ממקצוענים הן מצוינות ושווה ללמוד אותן.
בסוף הפוסט הם גם מסבירים איך הם נסחו את הפרומפטים בדיוק, ואיך הם שיפרו אותם ודייקו אותם כדי להגיע לתוצאות שהם חיפשו, וזה תרגיל מעולה בכתיבת פרומפטים.
לגבי הניסוי עצמו – הם ניסו לעשות אותו ״מדעי״, אבל כל מי שיש לו טיפה הבנה במחקר רואה את הבעיתיות בשיטת המחקר. המספרים קטנים, שיטת המדידה מבולבלת, הקהל שמדרג את התוצאות לא עקבי, וכו וכו.
ועדין – התהליך עצמו מענין מאוד.
לגבי התוצאות של הניסוי, אני ממש לא הייתי הולכת רחוק כמו שהם הלכו עם המסקנות. בעיני הן מוכיחות את מה שהפך כבר להיות קלישאה – AI לא יחליף אותי, מנהל/ת המוצר התותחית, שיודעת ניהול מוצר מעולה, וגם להשתמש ב- AI, בצורה אפקטיבית, חכמה וביקורתית – היא התחרות שלי.