Het verhaal
GitHub heeft ReviewBench gelanceerd, een open benchmark om AI-codereviewers met elkaar te vergelijken. De set volgt de verdeling van taal, repo-grootte en PR-grootte van meer dan 100 miljoen echte pull requests op GitHub. Hij gebruikt een gouden set uit meerdere bronnen en een vaste beoordelingsrubriek, en is onafhankelijk gevalideerd door senior engineers. Resultaten zijn op te splitsen naar ernst, categorie en de afweging tussen precisie en recall. Volgens GitHub voorspelt de offline evaluatie van Copilot code review met ReviewBench beter hoe productie-experimenten uitvallen. De benchmark is vanaf vandaag te gebruiken.