Профессиональный AI Driven Development - как я это внедрял и что из этого получилось...

[@solenopsys-ru]

Мои впечатления о ChatGPT и Claude (иногда я юзуаю Mistral и Groq обычно когда выхожу за лимиты платных) ChatGPT очень хорош для R&D, то есть для изучения возможностей, например, ядра Linux, или для поиска библиотек и фреймворков под конкретную задачу. Он отлично оценивает производительность и задержки, например, при передаче пакетов по сети. Также ChatGPT очень хорошо справляется с написанием текстов и переводом на любые языки. Для генерации кода ChatGPT уступает Claude. У ChatGPT устаревшая база данных с отставанием минимум на год. Claude гораздо реже ошибается и невероятно хорошо генерирует прототипы. Кроме того, он отлично справляется с рефакторингом. ChatGPT пишет код хуже: делает рефакторинг менее качественно и плохо справляется с пониманием версий, часто создавая путаницу в коде. Еще одна проблема ChatGPT - это частые выдумки (галлюцинации), когда он придумывает несуществующие функции. Claude, в свою очередь, практически бесполезен в текстах. Он слабее даже Mistral в этой области. Вместо качественного текста он генерирует бесконечные списки, которые невозможно читать. Claude воспринимает всё как техническое задание. В общем, если задача заключается в генерации кода, то лучше модели, чем Claude, я пока не встречал. Он несколько раз шокировал меня своими результатами.

[@solenopsys-ru]

DeepSeek слабая, даже не понимает точно заданный вопрос и шаблонные ответы дает. Слабже даже мистраля.

[@t0digital]

Очень интересно. Спасибо, что поделились опытом!

[@solenopsys-ru]

Вам спасибо, за поддержку.

[@drVatman]

Тоже примерно те же мысли были, через ии сделать сперва задание, потом тесты, потом реализацию. И опыт примерно такой же, руками очень много потом доделывать. Автокомплит кусков кода и создание какого-то первоначального наброска проекта - это основное, что оно хорошо умеет. Из самого интересного, что могу посоветовать - aider, отличная штука для создания набросков. Лучше курсора, на мой взгляд.

[@solenopsys-ru]

Попробую Aider, спасибо! Но есть одна неприятная особенность при генерации кода. Она заключается в том, что сначала ты генерируешь код, потом просишь сделать рефакторинг. Всё вроде бы нормально, но остаётся множество мелких косяков, которые разбросаны по всему коду. И вот что с ними делать, не совсем понятно, потому что эти системы могут за один раз переписать всё, и тогда появляется уже новый набор косяков. Это приводит к ступору, после которого приходится дорабатывать код вручную. Самая большая проблема в том, что эти косяки разбросаны не в одной точке кода, а повсюду.

[@solenopsys-ru]

Вообще проблема есть в доверии, нет к этому коду доверия и это снижает продуктивность.

[@TheL0tR]

Спасибо большое за глубокий эксперимент и подробный рассказ!

[@solenopsys-ru]

Вам спасибо за поддержку!