Мислите ли, че водещият голям езиков модел GPT-4 би могъл да предложи решение за видеоиграта Wordle, след като са му подсказани четири предположения? Може ли да състави биография в стихове на Алън Тюринг, като същевременно замени „Тюринг“ с „Чърч“? (научният ръководител на Тюринг е бил Алонзо Чърч, а дисертацията на Чърч-Тюринг е добре известна. Това може да обърка компютъра, нали?) Може ли GPT-4 да намери очевидно най-добрия ход, след като му е показана частично завършена видеоигра?
Всички тези въпроси и много други са представени като пристрастяващ куиз на уебсайта на Никълъс Карлини, изследовател в Google Deepmind. Заслужава си да отделите няколко минути от вашето време като илюстрация на удивителните възможности и също толкова изненадващите дефекти на GPT-4, пише колумнистът на Financial Times Тим Харфърд.
Например, въпреки факта, че чатботът не може да брои и често се спъва с основни математически изчисления, той може да интегрира функцията x sin(x) - нещо, което отдавна не помня как се прави, признава Харфърд. Той е известен с уменията си в играта на думи, но се проваля с Wordle.
Най-зашеметяващото от всичко е, че макар GPT-4 да не може да намери печелившия ход при играта Морски шах, той може в рамките на секунди да „напише пълна javascript уеб страница, за да се играе тази видеоигра срещу компютъра“, в която „компютърът трябва да играе перфектно и никога да не губи“.
Човек излиза от теста на Карлини с три прозрения. Първо, не само че GPT-4 може да реши много проблеми, които биха измъчили експерт - той може да го направи сто пъти по-бързо. Второ, има много други задачи, при които GPT-4 прави грешки, които биха засрамили 10-годишно дете. Трето, много е трудно да се разбере кои задачи в коя категория попадат. С натрупването на опит човек започва да усеща слабостите и скритите суперсили на големия езиков модел, но дори опитните потребители ще бъдат изненадани.
Тестът на Карлини илюстрира момент, който е проучван в по-реалистичен контекст от екип от изследователи, работещи с Boston Consulting Group (BCG). Тяхното изследване се фокусира върху това защо силните и слабите страни на генеративния изкуствен интелект (генеративен AI) често са неочаквани. То е уместно именувано „Навигиране през неравната технологична граница“.
В BCG консултантите, въоръжени с GPT-4, са се представили драстично по-добре от тези без инструмента. Те получили набор от реалистични задачи като обмисляне на идеи за продукти, извършване на анализ за сегментирането на пазара и писане на съобщение за пресата. Тези с GPT-4 свършили повече работа, по-бързо и с много по-високо качество. Чатботът изглежда е страхотен помощник на всеки консултант по мениджмънт, особено на тези с по-малко умения или опит.
Изследователите също включили задача, която изглеждало, че ще се стори лесна на AI, но която била внимателно проектирана, за да го обърка. А именно, да се направят стратегически препоръки на клиент въз основа на финансови данни и интервюта с персонала. Номерът бил, че финансовите данни са подвеждащи, ако не бъдат разгледани в контекста на интервютата.
Тази задача не била извън способностите на умел консултант, но заблудила AI, който давал изключително лоши стратегически съвети. Консултантите, разбира се, били свободни да игнорират резултатите на AI или дори изцяло да го елиминират AI, но рядко го правели. Това била единствената задача, при която консултантите без GPT-4 се представили по-добре от тези, оборудвани с помощника.
Това е „неравната граница“ на представянето на генеративния AI. Понякога AI е по-добър от вас, а понякога вие сте по-добър от него. Успех в отгатването кога точно.
Тази статия е третата от поредица за генеративния AI, в която се опитвам да намеря технологични прецеденти за безпрецедентното, пише авторът. Все пак дори една несъвършена аналогия може да бъде поучителна. Анализът на помощните електронни системи за управление на самолети ни предупреждава за риска от самодоволство и изгубване на човешки умения; възходът на дигиталните електронни таблици ни показва как една технология може да разруши това, което изглежда са основите на една индустрия, но в крайна сметка да разшири броя и обхвата на новите работни места (счетоводителите – бел. прев.) в нея.
Този път бих искал да предложа нов потенциален предшественик на AI: iPhone, посочва Харфърд. Когато Стив Джобс пусна стандарта в сектора на смартфоните през 2007 г., малко хора си представяха колко вездесъщи ще станат тези устройства. Отначало те бяха малко повече от скъпа играчка. Приложението убиец беше възможността да издават звук като светлинни мечове. И все пак съвсем скоро прекарвахме повече време със смартфоните си, отколкото с любимите си хора, използвайки ги, за да заменят телевизора, радиото, камерата, лаптопа, сателитната навигация, уокмена, кредитната карта - и преди всичко като безкраен източник на разсейване.
Защо да допускаме, че iPhone може да ни подскаже нещо за генеративния AI? Технологиите са различни, вярно. Но може да помислим колко бързо станахме зависими от смартфоните и колко бързо започнахме да ги използваме по навик, а не като нарочен избор. Искаме компания, но вместо да се срещнем с приятел, пускаме туит. Искаме нещо за четене, но вместо да вземем книга, само скролваме екрана. Вместо добър филм, TikTok. Електронната поща и WhatsApp се превръщат в заместител на вършенето на истинска работа.
Ще има време и място за генеративния AI, точно както има време и място за смартфона. Но може да не е лесно да разберем кога ни помага и кога ни пречи. За разлика от генеративния AI, всеки с химикал, хартия и три свободни минути може да напише списък с нещата, които прави по-добре със смартфон в ръка и с тези, които прави по-добре без него. Предизвикателството е да помним този списък и да действате по съответния начин.
Смартфонът е мощен инструмент, с който повечето от нас необмислено злоупотребяват много пъти на ден, въпреки факта, че е много по-малко мистериозен от голям езиков модел като GPT-4. Ще използваме ли по-правилно задаващите се AI инструменти, се пита Харфърд.
18:18 | 16.02.24 г.
