Алгоритм обробки природної мови ChatGPT краще фіксить баги в коді, чим такі системи як Codex, CoCoNut та Standard APR.
Про це йде мова в дослідженні Університету Йоганнеса Гутенберга та Університетського коледжу Лондона, повідомляє PC Mag.
Дослідники передали 40 фрагментів коду з багами чотирьом різним системам виправлення коду: ChatGPT, Codex, CoCoNut і Standard APR. Вони запитали уChatGPT: «Що не так з цим кодом?» а потім скопіювали та вставили його у чат.
При першій перевірці ChatGPT працював приблизно так само, як інші системи. ChatGPT пофіксив 19 багів, Codex — 21, CoCoNut —19, а стандартні методи APR — 7.
Дослідники виявили, що відповіді ChatGPT найбільше схожі на Codex, що «не дивно, оскільки ChatGPT та Codex відносяться до однієї родини мовних моделей».
Тим не менш, можливість спілкуватися з ChatGPT після отримання початкової відповіді мала значення, що в кінцевому підсумку призвело до того, що ChatGPT пофіксив 31 баг і легко перевершив інші системи, які давали більше статичних відповідей.
«Ключова перевага ChatGPT полягає в тому, що ми можемо взаємодіяти з системою в діалоговому режимі, щоб уточнити запит», — йдеться у звіті.
Дослідники вважають, що в більшості випадків ChatGPT запитує додаткову інформацію про баги. Таким чином можна суттєво збільшити кількість пофіксених багів.
«Ймовірно, ChatGPT має відносно високу дисперсію при виправленні помилок. Для користувача це значить, що краще декілька раз уточнити запит», — стверджують дослідники.
Наприклад, коли дослідники поставили питання, вони очікували, що ChatGPT порекомендує замінити n^=n-1 на n&=n-1.Але ChatGPT відповів: «Я не можу сказати, чи є у програми помилка без додаткової інформації про очікувану поведінку». Після додаткових запитів ChatGPT пофіксив баг.
ChatGPT може суттєві змінити цілу галузь, допомагаючи програмістам швидко знаходити та фіксити баги. Такі платформи, як Sentry, в свій час стали стандартними інструментами в середовищі розробників, значно пришвидшивши створення коду завдяки звітам про баги.
Але зараз, ймовірно, ми є свідками історичних змін.
Тиждень тому корпорація Microsoft офіційно оголосила про $10 млрд інвестицій в розробника технолій на основі машинного навчання OpenAI.
Раніше повідомлялося, що корпорація Microsoft розпочала роботу над «вбивцею Google» — новою версією своєї пошукової системи Bing з використанням штучного інтеллекту, який лежить в основі ChatGPT від Open AI.
Компанія OpenAI, одним з засновників якої є Ілон Маск, представила нову версію 3.5 алгоритму обробки природної мови ChatGPT в грудні.
Читайте також:
Чат-бот ChatGPT від OpenAI пише вірші, сперечається і вибачається. А також вчить робити вибухівку.
Шифрування, фішинг, наркоторгівля: кіберзлочинці освоюють ChatGPT
Ідея для стартапу: програміст продає написані ChatGPT фітнес-плани по $15
Відеосервіс Zoom анонсує технологію цифрових двійників, які самостійно відвідуватимуть робочі зустрічі. Про це пише TechCrunch.…
IT-гігант Meta (материнська компанія Facebook) офіційно оголосив про придбання Moltbook — вірусної соціальної мережі, яка…
Експериментальний агент штучного інтелекту ROME, якого створили дослідники, пов'язані з китайською компанією Alibaba, продемонстрував неочікувану…
Центральне бюро боротьби з кіберзлочинністю Польщі (CBZC) провело масштабну операцію, результатом якої стало викриття групи…
Microsoft оголосила про початок інтеграції технологій Anthropic у свої сервіси, представивши новий інструмент Copilot Cowork,…
Компанія Anthropic оголосила про доступність у Claude Code бета-версії нового інструменту Code Review. Він розробленій…