geekbench

Layanan mobilitas otonom yang memungkinkan operasi tanpa pengemudi di jalan perkotaan

Platform data AI untuk pemberian anotasi pada teks, audio, gambar, video, dan data 3D, ditambah evaluasi model

Platform perangkat keras sumber terbuka yang menawarkan sensor, modul komunikasi, dan perangkat komputasi tepi untuk pembuatan purwarupa.

Platform pengembangan visi komputer untuk mengelola set data, melatih model, dan menerapkan layanan inferensi.

Ekstensi browser yang secara otomatis menangkap aktivitas layar dan log untuk menghasilkan laporan cacat

Platform produktivitas pengembang yang mendukung tinjauan kode terstruktur dan manajemen perubahan inkremental

Responsible AI Institute (RAI Institute) adalah organisasi nirlaba independen yang berdedikasi untuk memajukan adopsi AI yang dapat dipercaya di berbagai industri. Lembaga ini menawarkan alat tata kelola AI yang dapat ditindaklanjuti, program validasi dan sertifikasi, serta layanan pemantauan risiko yang dirancang untuk memungkinkan penerapan AI yang bertanggung jawab dalam skala besar. Institut ini bekerja sama dengan laboratorium akademik global, pembuat kebijakan, dan penyedia AI untuk memastikan keselarasan dengan regulasi dan standar industri yang terus berkembang. Penawaran produknya meliputi pembandingan AI, otomatisasi kepatuhan, dan program peningkatan keterampilan tenaga kerja untuk mendukung penyebaran AI yang etis, adil, dan transparan.

Transluce adalah organisasi penelitian nirlaba yang berdedikasi untuk memajukan teknologi AI dengan mengungkap mekanisme internal model AI yang kompleks. Dengan menghasilkan secara otomatis deskripsi berkualitas tinggi dan dapat diinterpretasi manusia untuk komponen neuron serta menyediakan antarmuka observabilitas interaktif, Transluce memberdayakan peneliti dan pengguna untuk lebih memahami, mengkueri, dan memandu perilaku AI. Semua alat bersifat skalabel dan sumber terbuka, mendorong standar industri untuk keamanan dan transparansi AI. Pendekatan Transluce memanfaatkan agen AI untuk menganalisis model bahasa besar, mendeteksi perilaku tersembunyi, dan mendukung penerapan AI yang bertanggung jawab melalui metode yang divalidasi komunitas.

Evidently AI adalah solusi komprehensif yang dirancang untuk membantu tim membangun, mengevaluasi, dan memelihara produk AI yang sangat andal, mencakup model *machine learning* tradisional dan aplikasi model bahasa besar (*large language model* / LLM). Solusi ini mencakup pustaka Python *open-source* dengan lebih dari 100 metrik evaluasi bawaan, serta platform *cloud* yang mendukung pengujian AI, pemantauan, pembuatan data sintetis, dan alur kerja kolaboratif. Evidently AI memungkinkan pengguna mendeteksi penyimpangan data dan prediksi (*drift*), melakukan pengujian regresi dan adverserial, serta mengelola kumpulan data dan evaluasi melalui antarmuka yang intuitif, sehingga memastikan kualitas AI di seluruh siklus hidup produk.

Ballpark adalah platform yang cepat dan intuitif yang membantu tim produk mengumpulkan umpan balik pengguna yang dapat ditindaklanjuti sepanjang siklus pengembangan. Platform ini memungkinkan pengujian situs web, purwarupa Figma, konten pemasaran, dan tawaran pesaing—tanpa perlu instalasi. Ballpark mengintegrasikan survei, tugas interaktif, dan perekaman audio-video untuk menangkap reaksi autentik pengguna dan wawasan mendalam. Dengan akses ke panel responden global yang besar dan opsi penyaringan yang ekstensif, tim dapat merekrut penguji yang relevan dengan cepat. Kursi tim tidak terbatas dan fitur kolaborasi mendemokratisasikan penelitian di seluruh organisasi, memungkinkan keputusan berbasis data, mempersingkat jadwal proyek, dan meningkatkan kecocokan produk-pasar.

Confident AI adalah platform evaluasi andal yang dibangun berdasarkan kerangka kerja open-source DeepEval, dirancang untuk membantu tim menguji dan mengoptimalkan aplikasi model bahasa besar (LLM) secara sistematis. Platform ini mendukung alur kerja evaluasi yang lengkap—mulai dari pembuatan dataset dan metrik kustom hingga pemantauan berkelanjutan di lingkungan produksi—memberdayakan perusahaan untuk membandingkan berbagai LLM, mendeteksi kemunduran performa, dan meningkatkan performa menggunakan metrik dan pengaman berbasis skenario terkemuka di industri. Confident AI mendorong kolaborasi antara anggota tim teknis dan nonteknis, terintegrasi mulus dengan pipeline CI/CD, serta menawarkan kemampuan tingkat perusahaan termasuk penerapan on-premises, SSO, dan kepatuhan HIPAA.

Ragas adalah pustaka sumber terbuka yang andal dan fleksibel yang dirancang untuk mengevaluasi LLM dan pipa RAG. Ragas menawarkan rangkaian komprehensif metrik evaluasi otomatis yang mencakup dimensi seperti akurasi faktual, koherensi, dan relevansi, sementara juga mendukung generasi data uji sintetis dan pemantauan daring. Ragas memungkinkan pembandingan yang selaras dengan standar industri dan mengizinkan alur kerja evaluasi yang dapat disesuaikan untuk memenuhi berbagai kebutuhan dalam lingkungan penelitian dan produksi. Kemampuan integrasinya yang kuat membantu pengembang dan peneliti mengoptimalkan dan memastikan keandalan aplikasi AI.