Diffbot, la IA que lee toda la www pública

La startup Diffbot ha desarrollado una IA dedicada a la tarea de aprender (o, como mínimo, extraer aquellos datos que sea capaz de reconocer) mediante el revolucionario método de leer.

De leerse, de hecho, toda la WWW pública, en múltiples idiomas: su forma de entender el lenguaje humano pasa por intentar encajar todo lo que lee en un molde de sujeto + verbo + predicado, lo que le permite establecer relaciones entre conceptos, como por ejemplo:

«Bill Gates + es + el fundador de Microsoft. // Microsoft + es + una empresa».

Tomando estos datos simples, el papel de la IA de Diffbot es crear lo que se llama un gráfico de conocimiento: una red de relaciones dotado de un sistema de ‘razonamiento’ que le permite llegar a nuevas conclusiones a partir de los datos extraídos. Diffbot escanea la WWW y actualiza su gráfico de conocimiento cada 4-5 días, añadiendo hasta 150 millones de entradas en cada ocasión.

Y además, aplica a sus conocimientos algoritmos más antiguos de machine learning, que le permiten identificar información obsoleta y sustituirla por otra más novedosa.

Es tan exhaustivo que no se conforma con leer el texto del HTML, sino que aplica algoritmos de visión por computadora para extraer información también de imágenes y vídeos. Y además, navega como nosotros: revisando las webs de arriba a abajo, cambiando entre pestañas y clicando en ventanas emergentes.

Y en un futuro cercano, sus creadores planean dotarlo de un modelo de lenguaje (similar a GPT-3) para que, ahora que la IA ha sido capaz de entender lo que lee, pueda generar textos a partir de ello y crear un «sistema universal de respuesta a preguntas sobre hechos».