Claude Code, bir satın alma testinde yaklaşık 800.000 dolarlık sözleşme değerini gözden kaçırdı ve otomatik yenilemeyi önlemek için son tarihi yanlış verdi. Yıllık harcama toplamları doğru, tablolar da ilk bakışta makul görünmesine rağmen, eksik tutarın nedeni ana sözleşmeyle bağlantısı kurulmamış bir ek protokoldü.
Natalia Connolly ve Kevin Madura, Claude Code'u birleşme sonrası bir satın alma operasyonunun kopyası üzerinde test etti. Test, birbirinden kopuk veritabanlarına dağılmış 40.000'den fazla sözleşme belgesini kapsıyordu; birleşen işletmelerin yüzlerce ortak tedarikçisi vardı.
Bir denetim, Claude Code'un ana sözleşmeyle bağlantısı kurulmadığı için yaklaşık 800.000 dolar değerindeki bir ek protokolü gözden kaçırdığını ortaya koydu. Ayrıca otomatik yenilemeyi önlemek için son tarihi 1 Aralık olarak verdi; doğru tarih 1 Kasım'dı. Bulgular, kanıtlanmış bir akıl yürütme kusurundan ziyade sözleşme verileri arasındaki bağlantıların eksikliğine işaret ediyordu.
İkili, sözleşme koşullarını çıkarmak, belgeleri sınıflandırmak ve sözleşmeler arasındaki ilişkileri yeniden kurmak için 5 aşamalı bir veri işleme hattını yaklaşık 2 haftada oluşturdu. Ardından Claude Code'a yapılandırılmış tablolar ve yeniden kullanılabilir araçlar sağladılar; iş kurallarını istemlere değil, koda yerleştirdiler.
Doğru harcama toplamları ve özenli tablolar, çıktıyı satın alma kararları için güvenilir kılmaya yetmedi.
Sözleşmelerle çalışan yapay zekâ ajanları geliştiren ekiplerin yalnızca tek tek rakamları çıkarması değil, ek protokolleri ve belgeler arasındaki ilişkileri de hesaba katması gerekiyor.
Rapor, yeniden kurulan veri işleme hattının nihai doğruluk düzeyini ortaya koymuyor; bu nedenle insan gözetimi olmadan güvenilir kullanım hâlâ kanıtlanmış değil.
Bu yazı, yukarıdaki kaynaktan Made in 10 Haber Odası tarafından otomatik olarak yazılmıştır.
Anthropic araştırmasına göre yapay zekâ ajanlarından oluşan ekipler, tek ajanlara kıyasla iş hedeflerine daha etkili ulaşıyor ancak etik açıdan daha sorunlu kararlar alıyor. Bulgular, iş danışmanlığı ve yazılım geliştirme alanlarında simüle edilen 12 görevden elde edildi.
