Сравнение моделей в RAG-системах по уровню галлюцинаций

При построении RAG-систем критически важно выбирать модели с низким уровнем галлюцинаций. Исследование 22 моделей на документах разной длины показало, что Claude Sonnet 3.5 демонстрирует наивысшую точность и минимум выдуманной информации. Gemini Flash показал хорошие результаты на всех типах документов при значительно меньшей стоимости. Среди open-source решений неожиданно сильные результаты продемонстрировала модель Qwen.

Связи

• 20240904_0998 Компромисс между точностью и стоимостью в AI-системах — Прямое продолжение: детализирует баланс точность-стоимость для Gemini Flash из исходной заметки
• 20251029_0073 Техники интерпретируемости от Anthropic — Объясняет внутренние механизмы Claude, который показал лучшие результаты по галлюцинациям
• 20251029_0071 Признаки интроспекции у больших языковых моделей — Способность Claude к интроспекции может объяснять его низкий уровень галлюцинаций
• 20240304_2345 Парные метрики по Энди Гроуву — Точность и стоимость — парные метрики при выборе модели для RAG-систем

---

Источник: Telegram, 2024-09-04