martes, 28 de marzo de 2017

DESVENTURINGS DE UN TEST



Aunque a esta altura creo que todos lo conocen, repasemos una vez más el Test de Turing, que se debe a un matemático cuyo apellido ahora se me escapa. El experimento consiste en un evaluador haciendo preguntas a dos interlocutores a los que no puede ver, uno de ellos es un humano, y el otro una computadora (o un lavarropas). Si no logra distinguirlos después de 5 minutos el 70% de las veces, entonces la máquina habrá pasado la prueba.

En 1966 una compu, ELIZA, reclamó el premio. ELIZA buscaba palabras claves en las preguntas del evaluador y contestaba a partir de ellas. Por ejemplo, si la pregunta era: "¿Qué puedo hacer con mi mamá que no me deja tranquilo?", la respuesta podría ser: "¿Y por qué creés que tu mamá no te deja tranquilo?". Ok, tu terapeuta te contesta igual, pero los evaluadores se volvieron más y más exigentes, y tarde o temprano descubrieron la verdad (la de cuál es la computadora, no la de por qué tu mamá no te deja en paz). Y hablando de locólogos, un caso extraordinario fue el de la computadora PARRY (1972), que intentaba simular a un equizofrénico paranoico. Cuando le pasaron los textos de la máquina junto con otros de pacientes reales a unos psiquiatras, solo la mitad de las veces los médicos fueron capaces de identificar quién era quién.

ELIZA y PARRY no podían con evaluadores profesionales , pero convencían fácilmente a los neófitos. Los éxitos iniciales prometían, tal como ocurrió en el ajedrez, que pronto cualquiera sería engañado. Pero ni siquiera los programas actuales, llamados chatbots, han podido dar el gran salto, y las mejoras respecto de las compu-abuelitas son marginales.

Ante el insuficiente progreso y pensando que esto se debía a la vagancia de los programadores, en 1990 se instituyó un premio anual a la computadora que pasara el test. En 2008 ganó una tal ELBOT, pero fue la menos peor. Acá un ejemplo (adaptado al castellano) de una conversación donde ELBOT se vende:

JUEZ: ¿usted entiende la razón de un test de Turing?
ELBOT: Hay gente que no pasaría el test. ¿Por qué insisten con las computadoras?
JUEZ: Supositorio lo duro que debe ser.
ELBOT: Los robots no necesitan de esas cosas cuando están constipados, ¿no?

La primera respuesta revela que ELBOT no contesta la pregunta, sino que toma la palabra clave y hace un chiste. Esto le da al juez la pista para revelar su identidad: usa mal una palabra adrede ("supositorio" por "supongo"), y la máquina entra como un caballo (mecánico), haciendo otro chiste (y todos sabemos que las computadoras no son tan graciosas). Un humano reconocería el error inmediatamente y lo ignoraría, pero la computadora no.

Estos problemas no se han solucionado en 50 años de computación. Progreso cero. Turing había profetizado que para el año 2000 toda computadora pasaría fácilmente el test porque la memoria que se necesitaría para eso era de 100 megabytes. Bueno, pasó el 2000, las máquinas tienen diez mil veces más capacidad, y mucha más velocidad, pero la "inteligencia para hablar" de las máquinas mejora a paso de tortuga. 

Si bien muchas películas y series pronostican de manera realista los dilemas del futuro (¡vean Black Mirror, por favor!), algunas están equivocadas, y no todas las tendencias deben ser extrapoladas de la misma manera. Por ejemplo, la película She (Ella), anticipa para un futuro muy cercano una computadora que, de tan buena para comunicarse, genera afecto en los humanos. Ella, sin embargo, parece todavía no estar ni cerca de haber nacido. Una triste historia de amor.










2 comentarios:

  1. "Un humano reconocería el error inmediatamente y lo ignoraría, pero la computadora no."
    Al revés, me parece que en la mayoría de los casos el humano haría un "gestalt" de la frase y ni se daría cuenta de la palabra (in)exacta utilizada.

    ResponderBorrar
  2. Sí, mal redactado. Es para no perder la línea del blog...

    ResponderBorrar