Datalab, yapılandırılmış belge çıkarımındaki önyargı ve şeffaflık eksikliğini gidermek için tasarlanmış açık bir kıyaslama olan OmniExtractBench'i yayınladı. Yeni kıyaslama, dört mevcut paketten 620 belgeyi bir araya getirerek, sistemlerin PDF'lerden JSON şemalarını ne kadar doğru doldurduğunu, her kararı açıklayan tek bir deterministik puanlayıcı kullanarak test ediyor.
Bu yayın, çeşitli çıkarım sağlayıcılarının kendi lider tablolarını yayınlamasıyla aynı zamanda geliyor; Datalab, bu tabloların adil bir şekilde karşılaştırılmasının ya da denetlenmesinin zor olduğunu savunuyor. OmniExtractBench, Apache 2.0 lisansı altında PyPI'den kurulabilen bir puanlayıcıyla ortak bir ölçüt sunarken, veri ve kodları Hugging Face ve GitHub'da barındırılıyor. Kıyaslama, sağlayıcı önyargısı, şeffaf olmayan değerlendirme çerçeveleri, belirsiz puanlama mantığı ve sınırlı belge çeşitliliği gibi sektörde yaygın olan kusurları ele alıyor.
Datalab, tam veri kümesi üzerinde on sistem konfigürasyonunu değerlendirdi ve modeller ile sağlayıcılar arasında belirgin performans desenleri ortaya koydu. Datalab'ın doğru modu %93,85 doğrulukla birinci oldu; GPT 5.6-sol gibi modeller eksik değerler üretmeye, LlamaExtract ise uydurulmuş değerler vermeye eğilimliydi. Bu araç, sektör genelinde yapılandırılmış belge çıkarımı için şeffaf ve standart bir değerlendirme yöntemi oluşturduğu için önem taşıyor.