ragas

Ragas — это мощная и гибкая библиотека с открытым исходным кодом, предназначенная для оценки крупных языковых моделей (LLM) и RAG-конвейеров. Она предлагает комплексный набор автоматизированных метрик оценки, охватывающих такие аспекты, как фактологическая точность, связность и релевантность, а также поддерживает генерацию синтетических тестовых данных и онлайн-мониторинг. Ragas позволяет проводить сравнительный анализ в соответствии с отраслевыми стандартами и настраивать рабочие процессы оценки для удовлетворения различных потребностей в исследовательской и производственной средах. Её широкие возможности интеграции помогают разработчикам и исследователям оптимизировать и обеспечивать надёжность приложений искусственного интеллекта.