В чём фокус
Любая таблица «какая модель лучше» верна недели две. Выходит новая версия, и она становится вредной: человек читает старое сравнение и делает по нему выбор. Поэтому здесь не список, а способ выбирать — по свойствам задачи, а не по названиям. Заодно разберём, почему выбор модели влияет на результат меньше, чем постановка задачи.
Четыре свойства задачи, по которым выбирают
Цена ошибки. Черновик текста и расчёт, по которому уйдут деньги, — разные вещи. Там, где ошибку заметят сразу и она ничего не стоит, берите модель побыстрее и подешевле. Там, где ошибка уедет в прод, — сильную, и проверяйте сами.
Длина контекста. Задача на один абзац и задача, где надо удержать в голове двадцать файлов, — разные режимы. Если материала много, важнее не «ум» модели, а сколько она способна удержать разом и насколько уверенно ссылается на середину поданного текста.
Нужны ли действия. Одно дело — получить текст, другое — чтобы инструмент сам сходил в файлы, запустил проверку и вернулся с результатом. Это разные продукты, и сравнивать их по «качеству ответа» бессмысленно.
Свежесть знаний. Всё, что касается версий, цен и законов, модель по определению знает устаревшим. Здесь либо инструмент с доступом к поиску, либо вы приносите свежие данные сами.
| Задача | Что важнее всего |
|---|---|
| Черновики, варианты, перебор идей | Скорость и цена, качество вторично |
| Работа с кодом и файлами | Способность действовать, а не только отвечать |
| Разбор большого документа | Объём контекста и точность ссылок на середину |
| Что-то про сегодняшний день | Доступ к поиску, иначе ответ будет уверенным и старым |
| Решение, за которым деньги | Сильная модель плюс ваша проверка. Без второго первое не работает |
Почему выбор модели решает меньше, чем кажется
Неприятная правда: на большинстве задач разница между соседними моделями заметно меньше, чем разница между хорошо и плохо поставленной задачей.
Один и тот же вопрос, заданный расплывчато, даст посредственный ответ на любой модели. Тот же вопрос с примером, ограничениями и признаком готового результата вытянет приличный ответ даже на быстрой и дешёвой.
Отсюда практический порядок действий: сначала научитесь ставить задачу, потом подбирайте модель. В обратном порядке вы будете перебирать инструменты, объясняя себе, что все они плохие.
На рутине она не даёт ничего сверх быстрой, а лимит тратит заметно бодрее. Заметно это становится в конце месяца.
Чужой тест сделан на чужих примерах. Ваша задача может лежать ровно в той области, где выводы обратные.
И скажет об этом уверенно. Всё, что про цены, версии и нормы, надо приносить ей самому.
Как выбрать за один вечер
Возьмите свою настоящую задачу, а не тестовую
Не «напиши стих про кота». Тот кусок работы, который вы делаете руками каждую неделю.
Прогоните её на двух-трёх вариантах одинаково
Один и тот же текст задачи, одни и те же вводные. Иначе вы сравниваете свои формулировки, а не модели.
Оцените по проверяемому признаку
Не «нравится больше», а: сколько правок пришлось внести, сколько раз пришлось переспросить, сколько времени ушло целиком.
Зафиксируйте выбор и вернитесь через квартал
Не гоняйтесь за каждым релизом. Раз в несколько месяцев перепроверить на той же задаче — достаточно.
Частые вопросы
- А можно один инструмент на всё?
- Можно, и для большинства это правильный ответ. Разброс задач у одного человека обычно не такой большой, чтобы держать зоопарк подписок.
- Бесплатные варианты годятся?
- Для черновиков и учёбы — да. Для клиентской работы надо смотреть условия: у бесплатных тарифов расплата часто в том, что на ваших данных учатся.
- Как понять, что пора менять инструмент?
- По тому же признаку, что и выбирали: если правок стало больше, а переспрашиваете чаще — прогоните ту же задачу заново на паре вариантов.