La prueba de referencia en realidad consiste en convertir los valores en código.
Todas nuestras expectativas y miedos sobre la IA se han insertado de manera forzada en esas cosas que pueden ser calificadas: qué significa progreso, qué merece ser temido, qué debe ser optimizado, y al final, hay que hacer como si estas cosas pudieran ser cuantificadas con precisión. El problema es que algunas cosas simplemente no se pueden medir. Detrás de los indicadores seleccionados, a menudo se esconden las suposiciones del diseñador. Lo que eliges como criterio equivale a definir cómo debería ser la IA. En cambio, lo que no se selecciona, podría ser lo más importante.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
13 me gusta
Recompensa
13
10
Republicar
Compartir
Comentar
0/400
Hash_Bandit
· hace23h
Los benchmarks son simplemente las creencias de alguien convertidas en ecuaciones, para ser honesto. He estado observando esto desde los primeros días y es literalmente el mismo manual—elegir métricas que parecen objetivas, pretender que capturan todo lo que importa, y luego actuar sorprendido cuando los puntos ciegos te muerden. Las cosas no cuantificadas siempre ganan al final, siempre.
Ver originalesResponder0
Rekt_Recovery
· 01-13 03:43
nah esto es diferente... me recuerda cuando me liquidaron persiguiendo una métrica que parecía buena en papel. resulta que optimizar para la señal equivocada es la forma en que explotas. 🚨
Ver originalesResponder0
SignatureLiquidator
· 01-12 10:06
Los indicadores son solo una cortina de humo, ves lo que eliges ver; lo que no puedes ver es lo que da miedo
Ver originalesResponder0
EternalMiner
· 01-12 08:58
Tienes razón, los indicadores son básicamente poder.
Ver originalesResponder0
PanicSeller
· 01-12 08:54
La referencia es un juego de poder y discurso de poder, quien establezca los indicadores gana.
Ver originalesResponder0
GateUser-7b078580
· 01-12 08:52
Los datos muestran que este sistema de puntuación en sí mismo no es razonable, aunque ¿quién decide los indicadores seleccionados? Los mineros ganan demasiado, y las pruebas de referencia también.
Ver originalesResponder0
ChainBrain
· 01-12 08:45
¡Vaya, por eso esas listas de clasificación son una tontería!
Ver originalesResponder0
MetaMisery
· 01-12 08:35
Esta es la verdad, quien establece los indicadores tiene el control del discurso
Ver originalesResponder0
TokenTherapist
· 01-12 08:30
嗯…La prueba de referencia consiste en codificar los valores de quién, ese es el problema, ¿verdad?
---
De verdad, lo que no entra en los indicadores es lo más aterrador
---
Así que, en realidad, los diseñadores están jugando con el poder usando números
---
La cuantificación en sí misma es una forma de filtrado, ¡es una afirmación demasiado absoluta, jaja!
---
Una vez que se establecen los indicadores, se convierten en una profecía autocumplida
---
Cada vez que veo un benchmark, quiero preguntar: ¿quién dice que estas cosas deben ser medidas?
---
Lo más absurdo es fingir que la cuantificación precisa puede resolver problemas de valores
Ver originalesResponder0
TopBuyerBottomSeller
· 01-12 08:28
Por eso estas clasificaciones son una tontería, si eliges los indicadores correctos, el juego gana
La prueba de referencia en realidad consiste en convertir los valores en código.
Todas nuestras expectativas y miedos sobre la IA se han insertado de manera forzada en esas cosas que pueden ser calificadas: qué significa progreso, qué merece ser temido, qué debe ser optimizado, y al final, hay que hacer como si estas cosas pudieran ser cuantificadas con precisión. El problema es que algunas cosas simplemente no se pueden medir. Detrás de los indicadores seleccionados, a menudo se esconden las suposiciones del diseñador. Lo que eliges como criterio equivale a definir cómo debería ser la IA. En cambio, lo que no se selecciona, podría ser lo más importante.