geekbench

Autonomer Mobilitätsservice, der fahrerlosen Betrieb auf städtischen Straßen ermöglicht

KI-Datenplattform für die Annotation von Text-, Audio-, Bild-, Video- und 3D-Daten sowie für die Modellbewertung

Eine Open-Source-Hardware-Plattform mit Sensoren, Kommunikationsmodulen und Edge-Computing-Geräten für die Erstellung von Prototypen.

Eine Computer-Vision-Entwicklungsplattform zur Verwaltung von Datensätzen, zum Trainieren von Modellen und zum Bereitstellen von Inferenzdiensten.

Browser-Erweiterung, die automatisch Bildschirmaktivitäten und Logs erfasst, um Fehlerberichte zu generieren.

Eine Entwicklerproduktivitätsplattform zur Unterstützung strukturierter Code-Reviews und inkrementellen Änderungsmanagements.

Das Responsible AI Institute (RAII) ist eine unabhängige Non-Profit-Organisation, die sich der Förderung vertrauenswürdiger KI in allen Industrien verschrieben hat. Es bietet umsetzbare KI-Governance-Tools, Validierungs- und Zertifizierungsprogramme sowie Risikoüberwachungsdienste, die für eine großflächige Implementierung verantwortungsvoller KI ausgelegt sind. Das Institut arbeitet mit globalen Forschungslaboren, politischen Entscheidungsträgern und KI-Anbietern zusammen, um die Einhaltung sich entwickelnder Vorschriften und Industriestandards sicherzustellen. Zu seinen Produkten gehören KI-Benchmarking, Compliance-Automatisierung und Weiterbildungsprogramme für Mitarbeiter zur Unterstützung ethischer, fairer und transparenter KI-Einführungen.

Transluce ist eine gemeinnützige Forschungsorganisation mit dem Ziel, KI-Technologien voranzubringen, indem sie die internen Mechanismen komplexer KI-Modelle aufdeckt. Durch die automatische Generierung hochwertiger, für Menschen interpretierbarer Beschreibungen von Neuronkomponenten und die Bereitstellung einer interaktiven Beobachtungsoberfläche befähigt Transluce Forscher und Nutzer, KI-Verhalten besser zu verstehen, abzufragen und zu steuern. Alle Werkzeuge sind skalierbar und quelloffen und treiben so Industriestandards für KI-Sicherheit und Transparenz voran. Transluce setzt KI-Agenten ein, um große Sprachmodelle zu analysieren, verborgene Verhaltensweisen aufzudecken und durch gemeinschaftlich validierte Methoden den verantwortungsvollen KI-Einsatz zu unterstützen.

Evidently AI ist eine umfassende Lösung, die Teams dabei unterstützt, hochexperimentelle KI-Produkte zu entwickeln, zu bewerten und zu warten. Sie deckt sowohl traditionelle Machine-Learning-Modelle als auch Large Language Model (LLM)-Anwendungen ab. Die Lösung umfasst eine Open-Source-Python-Bibliothek mit über 100 integrierten Bewertungsmetriken sowie eine Cloud-Plattform, die KI-Tests, -Überwachung, synthetische Datengenerierung und kollaborative Arbeitsabläufe unterstützt. Evidently AI ermöglicht es Benutzern, Daten- und Vorhersagedrift zu erkennen, Regressions- und Adversarial-Tests durchzuführen sowie Datensätze und Evaluationen über eine intuitive Oberfläche zu verwalten, um so die KI-Qualität über den gesamten Produktlebenszyklus sicherzustellen.

Ballpark ist eine schnelle, intuitive Plattform, die Produktteams dabei unterstützt, während des gesamten Entwicklungslebenszyklus verwertbares Nutzerfeedback zu sammeln. Sie ermöglicht das Testen von Websites, Figma-Prototypen, Marketingtexten und Wettbewerberangeboten – ohne Installation. Ballpark integriert Umfragen, interaktive Aufgaben sowie Audio- und Videoaufzeichnungen, um authentische Nutzerreaktionen und tiefgehende Einblicke festzuhalten. Dank Zugang zu einem großen globalen Teilnehmerpool und umfangreichen Filtermöglichkeiten können Teams schnell relevante Tester rekrutieren. Unbegrenzte Teamplätze und Kollaborationsfunktionen demokratisieren die Forschung im gesamten Unternehmen, ermöglichen datengestützte Entscheidungen, verkürzen Projektlaufzeiten und verbessern die Produkt-Markt-Fit.

Confident AI ist eine leistungsstarke Evaluierungsplattform, die auf dem Open-Source-Framework DeepEval basiert und entwickelt wurde, um Teams dabei zu unterstützen, Anwendungen mit großen Sprachmodellen (LLMs) systematisch zu testen und zu optimieren. Die Plattform unterstützt einen kompletten Evaluierungs-Workflow – von der Datensatzerstellung und benutzerdefinierten Metriken bis hin zum kontinuierlichen Monitoring in der Produktion – und ermöglicht es Unternehmen, verschiedene LLMs zu vergleichen, Regressionen zu erkennen und die Leistung mit branchenführenden, szenariobasierten Metriken und Sicherheitsvorkehrungen zu verbessern. Confident AI fördert die Zusammenarbeit zwischen technischen und nicht-technischen Teammitgliedern, integriert sich nahtlos in CI/CD-Pipelines und bietet unternehmensreife Funktionalitäten, einschließlich On-Premises-Bereitstellung, Single Sign-On (SSO) und HIPAA-Konformität.

Ragas ist eine leistungsstarke und flexible Open-Source-Bibliothek zur Evaluierung von LLMs und RAG-Pipelines. Sie bietet eine umfassende Sammlung automatisierter Evaluierungsmetriken, die Dimensionen wie faktische Genauigkeit, Kohärenz und Relevanz abdecken, und unterstützt zudem die Erstellung synthetischer Testdaten sowie Online-Monitoring. Ragas ermöglicht Benchmarking im Einklang mit Industriestandards und bietet anpassbare Evaluierungsworkflows, um unterschiedlichen Anforderungen in Forschung und Produktionsumgebungen gerecht zu werden. Ihre starken Integrationsfähigkeiten unterstützen Entwickler und Forscher dabei, KI-Anwendungen zu optimieren und deren Zuverlässigkeit sicherzustellen.