Є реальна можливість для амбіційного дослідника штучного інтелекту:

- створити рамкову систему для оцінювання систем агентів, таких як Openclaw, Hermes та всі інші «claws»
- розширити оцінювання на різні інструменти / конфігурації, щоб зрозуміти, як змінюється продуктивність при різних налаштуваннях
- проводити надійні оцінювання для різних моделей, включаючи локальні та API
- створювати бенчмарки та публікувати результати, а потім оновлювати їх у міру розвитку агентів і моделей
Мета — стати головним джерелом об’єктивних бенчмарків агентів
Можливо, хтось уже займається цим, і я просто не знаю? Не однократні порівняння, а справжнє стандартне тестування та оцінювання, щоб ми могли справді порівнювати результати