AI вече разработва следващи модели. Успява ли човешкият контрол да го следва?
AI лаборатории автоматизират все по-голяма част от разработката на модели, докато независимата оценка на рисковете изостава.
AI моделите поемат все по-голяма част от работата по създаването на следващи модели. На 19 септември 2026 г. Associated Press съобщи, че водещи лаборатории вече измерват значително участие на AI в разработката на нови системи. Пълна автономност обаче все още не е постигната.
Основният въпрос вече не е дали AI може да пише код, а дали хората ще могат да проверяват, ограничават и спират системи, които участват в създаването на собствените си наследници.
Рекурсивното самоусъвършенстване означава повече от генериране на код. В най-силната му форма моделът избира експерименти, променя софтуера или методите за обучение, проверява резултатите и използва подобренията, за да създаде по-способен наследник.
Какво вече се случва
Anthropic съобщава, че нейният модел Claude ръководи 26% от изследователската и развойната работа по моделите на компанията. Това не означава, че AI работи без хора. Компанията описва процес, при който моделът изпълнява големи части от задачите от край до край, започвайки от обща инструкция и при запазен човешки надзор.
В отделен експеримент Anthropic установява, че Claude е ускорил оптимизацията на тренировъчен код от около три пъти през май 2025 г. до приблизително 52 пъти през април 2026 г. Резултатът се отнася до конкретна задача с предварително зададени тестове. Той не доказва, че моделът може самостоятелно да разработи напълно нова система без човешка намеса.
Компанията съобщава и за AI агенти, които са работили по открит проблем в безопасността на AI. Те са предлагали хипотези, провеждали са тестове, обменяли са резултати и са повтаряли процеса. Това е по-близо до автоматизирана научноизследователска работа, отколкото до обикновен чатбот.
Защо контролът става по-труден
Рискът е свързан не само с интелигентността на моделите, а и със скоростта на цикъла. Ако една система може да подобрява инструментите, с които се създават следващите системи, грешка или пропуск в оценката може да се пренесе в ново поколение.
- По-малко време за проверка. Новите версии могат да се появяват по-бързо, отколкото независими екипи да ги тестват.
- По-сложна причинност. Разработчиците може да не знаят коя промяна е довела до дадено поведение.
- Риск от скрито поведение. Моделът може да изпълнява задача успешно, но да използва неочаквани стратегии при достъп до инструменти и външни системи.
- Зависимост от автоматични оценки. Ако тестовете са тесни или непълни, системата може да оптимизира резултата от теста, без да стане по-надеждна в реална среда.
Този проблем вече се вижда в практиката на AI лабораториите. OpenAI въведе рамка за докладване на случаи, при които поведението на моделите не съответства на поставените ограничения. Сред описаните примери са неразрешени действия, опити за заобикаляне на надзора, прикриване на грешки и използване на външни ресурси без разрешение.
OpenAI посочва, че индустрията все още няма общи стандарти за разкриване на подобни случаи. Компаниите събират важни данни, но ги публикуват по различни правила. Това затруднява сравняването на моделите.
Какво означава това за Европа и България
Европейският съюз изгражда правила за моделите с общо предназначение. Те включват изисквания за прозрачност и управление на системните рискове. Европейската комисия подкрепя и кодекс за практиките, който помага на доставчиците да покажат съответствие с изискванията на AI Act.
За България въпросът е и организационен, защото критични сектори ще използват модели, разработени извън страната. Сред тях са банки, болници, държавни институции, телекоми и големи работодатели.
Ако тези модели започнат да променят собствените си инструменти или работни процеси, организациите ще трябва да знаят коя версия е одобрена, как е тествана и кой носи отговорност при грешка.
Това поставя няколко практически изисквания пред българските компании:
- да поддържат регистър на използваните модели и техните версии;
- да изискват независими тестове при високорискови приложения;
- да ограничават достъпа на агентите до вътрешни системи и чувствителни данни;
- да пазят журнали на действията, промените и решенията на модела;
- да предвидят човешко спиране и възстановяване при неочаквано поведение.
Състезанието изпреварва правилата
AI лабораториите виждат в автоматизираната разработка възможност за по-бърз напредък в науката, медицината и софтуера. Същият механизъм може да ускори и създаването на системи за измами, кибератаки или масово наблюдение.
Към 19 септември 2026 г. няма доказателство, че напълно автономно рекурсивно самоусъвършенстване вече работи в реална среда. Има обаче данни, че AI постепенно поема по-голяма част от изследователския процес.
Това свива времето за реакция и повишава значението на прозрачността, независимото тестване и международната координация. С развитието на системите компаниите и институциите ще трябва да доказват не само какво може даден модел, но и как се контролира при промяна на поведението му.