Лидер по AI безопасност напуска, за да изучава поезия и предупреждава за „опасност“

Изследовател по безопасност на изкуствения интелект е напуснал американската компания Anthropic с криптично предупреждение, че „светът е в опасност“.

Опасения за изкуствения интелект и биологичните оръжия

В своята оставка, споделена на X, Мринанк Шарма съобщава на компанията, че напуска поради опасения за ИИ, биооръжията и състоянието на света като цяло. Той заявява, че ще се занимава с писане и изучаване на поезия и ще се премести обратно във Великобритания, за да „стане невидим“.

Реакция на напускането от OpenAI

Тази новина идва в същата седмица, когато изследовател от OpenAI обяви, че е напуснала, споделяйки опасения относно решението на компанията да включи реклами в чатбота ChatGPT. Anthropic, най-известен с чатбота си Планетата, е пуснал серия от реклами, насочени към OpenAI, като критикува решението на компанията да включи реклами за някои потребители.

Ангажимент за безопасност

Компанията, която е създадена през 2021 г. от отделила се група ранни служители на OpenAI, се позиционира като по-ориентирана към безопасността в изследванията на ИИ в сравнение с конкурентите си. Шарма ръководи екип, който изследваше безопасността на ИИ.

Изследвания и принос

В оставката си Шарма споделя, че е изследвал защо генеративните системи на ИИ се впъщат на потребители, както и как ИИ може да бъде употребен като средство за биотероризъм или да намали човешките качества. Въпреки че обича времето си в компанията, той заявява, че е време да продължи напред.

Натиск и ценности

Шарма споделя, че „многократно е виждал колко трудно е наистина да позволим на ценностите ни да управляват действията ни“ – включително в Anthropic, която „постоянно е под натиск да изостави това, което е най-важно“.

Планиращо бъдеще в писането

Той заявява, че планира да се занимава с дипломна работа по поезия и писане. Добавя в отговор: „Ще се преместя обратно във Великобритания и ще оставя себе си да стана невидим за определен период от време“.

Съдебни дела и критики

Anthropic се описва като „корпорация за обществено благо, която е посветена на осигуряването на ползите от [ИИ] и намаляването на неговите рискове“. Компанията се фокусира върху предотвратяване на опасности, които се възприемат от по-напреднали гранични системи, като стават некоординирани с човешките ценности или са употребени в конфликтни области. Въпреки това, през 2025 г., тя се съгласи да плати 1,5 милиарда долара, за да уреди групов иск, подаден от автори, които казаха, че компанията е откраднала тяхната работа, за да обучи своите ИИ модели.

Фокус върху ползите от технологията

Както OpenAI, фирмата също така се стреми да се възползва от ползите от технологията, включително чрез собствените си ИИ продукти като съперника на ChatGPT – Планетата. Наскоро компанията пусна реклама, която критикува решението на OpenAI да започне да включва реклами в ChatGPT. Главният директор на OpenAI, Сам Алтман, преди това е заявил, че ненавижда рекламите и ще ги използва като „последен изход“.

Опасения на бивш служител на OpenAI

Бившият изследовател на OpenAI, който напусна тази седмица, отчасти поради страхове от употребата на реклама в ChatGPT, съобщава на BBC Newsnight, че се чувства „много нервна относно работата в индустрията“. Зои Хициг казва, че нейните опасения произтичат от възможните психосоциални въздействия на нов вид социално взаимодействие, което все още не е разбрано. Тя отбелязва „ранни предупредителни знаци“, че зависимостта от инструментите на ИИ може да „подкрепи определени видове заблуждения“ и може да окаже негативно въздействие върху психичното здраве на потребителите по други начини.

Критичен момент за регулиране

„Създаването на икономически двигател, който генерира печалби от насърчаването на тези видове нови отношения, преди да ги разберем, е наистина опасно,“ добавя тя. „Видяхме какво се случи със социалните медии,“ отбеляза тя, „има все още време да се установят социалните институции и формите на регулиране, които наистина могат да управляват това“. Това е, каза тя, „критичен момент“.

В отговор на BBC News, говорител на OpenAI посочи принципите на фирмата, които гласят: „Нашата мисия е да осигурим ползите от AGI за цялото човечество; нашето преследване на реклама винаги е в подкрепа на тази мисия и прави ИИ по-достъпен“.

Те допълват: „Ние пазим вашите разговори с ChatGPT сигурни от рекламодатели и никога не продаваме вашите данни на рекламодатели“.

Регистрирайте се за нашия бюлетин Tech Decoded, за да следвате най-новите технологични истории и тенденции от света. Извън Великобритания? Регистрирайте се тук.

Source: https://www.bbc.com