A medida que crecen las habilidades lingüísticas de la IA, también aumentan las preocupaciones de los científicos

Las últimas arquitecturas de IA en la industria de la tecnología pueden ser muy convincentes si les preguntas cómo se siente ser una computadora sensible, o tal vez solo un dinosaurio o una ardilla. Pero no son muy buenos, ya veces muy malos, en el manejo de otras tareas aparentemente sencillas.

Tomemos, por ejemplo, GPT-3, un sistema controlado por Microsoft que puede crear párrafos de texto similar al humano basado en lo que se ha aprendido de una enorme base de datos de libros digitales y escritos en línea. Se considera uno de los algoritmos de inteligencia artificial más avanzados que puede hablar, crear texto legible bajo demanda e incluso producir nuevas fotos y videos.

Entre otras cosas, el GPT-3 puede escribir casi cualquier texto que solicite: una carta de presentación para un trabajo en un zoológico, por ejemplo, o un poema al estilo de Shakespeare sobre Marte. Pero cuando el profesor Gary Smith de Pomona College le hizo una pregunta simple pero sin sentido acerca de subir las escaleras, GPT-3 lo ocultó.

La IA respondió: “Sí, es seguro subir las manos si te las lavas primero”.

Estos poderosos y poderosos sistemas de inteligencia artificial, técnicamente conocidos como “modelos de lenguaje grande” porque han sido entrenados en una gran variedad de texto y otros medios, ya se están integrando en chatbots para servicio al cliente, búsquedas de Google y “autocompletar”. funciones de correo electrónico que terminan sus oraciones en nombre de Acerca de usted. Pero la mayoría de las empresas de tecnología que lo construyeron han mantenido en secreto su funcionamiento interno, lo que dificulta que los extraños comprendan las fallas que pueden convertirlo en una fuente de desinformación, racismo y otros daños.

“Son muy buenos para escribir textos con el dominio de los humanos”, dijo Tevin Lou Skau, ingeniero de investigación en la empresa de inteligencia artificial Hugging Face. “En lo que no son buenos es en ser realistas. Se ven muy coherentes. Es casi cierto. Pero a menudo se equivocan”.

Esa es una de las razones por las que una coalición de investigadores de inteligencia artificial codirigida por Le Scao, con la ayuda del gobierno francés, lanzó el martes un nuevo modelo de lenguaje grande que se supone que actúa como un antídoto para sistemas cerrados como GPT-3. El grupo se llama BigScience y su modelo es BLOOM, por BigScience Large Open-science Open-access Multilingual Language Model. Su principal logro es que funciona en 46 idiomas, incluidos árabe, español y francés, a diferencia de la mayoría de los sistemas que se enfocan en inglés o chino.

El grupo de Le Scao no solo tiene como objetivo abrir la caja negra de los modelos de lenguaje de IA. Meta de Big Tech, la empresa matriz de Facebook e Instagram, también está pidiendo un enfoque más abierto en su intento de ponerse al día con los sistemas creados por Google y OpenAI, la empresa que ejecuta GPT-3.

“Hemos visto anuncio tras anuncio tras anuncio que la gente está haciendo este tipo de trabajo, pero con muy poca transparencia, muy poca capacidad para que la gente mire realmente debajo del capó y eche un vistazo a cómo funcionan estos modelos”, dijo Joel Beno, director general. . De Meta IA.

La presión competitiva para construir el sistema más elocuente o informativo, y aprovechar sus aplicaciones, es una de las razones por las que la mayoría de las empresas de tecnología se mantienen firmes y no cooperan con los estándares de la sociedad, dijo Percy Liang, profesor asociado de informática. en la Universidad de Stanford que dirige el Centro de Investigación de Modelos Básicos.

“Esta es la salsa secreta de algunas empresas”, dijo Liang. Pero a menudo también les preocupa que una pérdida de control pueda conducir a usos irresponsables. A medida que los sistemas de IA son cada vez más capaces de escribir sitios web de consejos de salud, trabajos finales de la escuela secundaria o textos políticos, la información errónea puede proliferar y será cada vez más difícil saber qué proviene de un humano o una computadora.

Meta lanzó recientemente un nuevo modelo de lenguaje llamado OPT-175B que utiliza datos disponibles públicamente, desde comentarios calientes en foros de Reddit hasta archivos de registros de patentes de EE. UU. y un lote de correos electrónicos del escándalo de Enron. Meta dice que su apertura sobre los datos, el código y los registros de investigación facilita que los investigadores externos ayuden a identificar y mitigar el sesgo y la toxicidad que captura al comprender cómo las personas reales escriben y se comunican con ellos.

“Es difícil de hacer. Nos abrimos a grandes críticas. Sabemos que la modelo va a decir cosas de las que no estaríamos orgullosos”, dijo Benio.

Si bien la mayoría de las empresas han implementado sus propias salvaguardas internas para la inteligencia artificial, Liang dijo que lo que se necesita son estándares sociales más amplios para guiar la investigación y las decisiones, como cuándo lanzar un nuevo modelo en la naturaleza.

No ayuda que estos modelos requieran tanto poder de cómputo que solo las corporaciones gigantes y los gobiernos pueden pagarlos. BigScience, por ejemplo, pudo entrenar a sus modelos porque se le ofreció acceso a la supercomputadora francesa Jean Zay cerca de París.

La tendencia hacia modelos de lenguaje de IA más grandes e inteligentes que se pueden “entrenar previamente” en una amplia variedad de scripts dio un gran salto en 2018 cuando Google introdujo un sistema conocido como BERT que utiliza una tecnología llamada “transformador” que compara palabras a lo largo de una oración para predecir el significado y el contexto. Pero lo que realmente impresionó al mundo de la IA fue GPT-3, que fue lanzado por la startup OpenAI de San Francisco en 2020 y poco después obtuvo una licencia exclusiva de Microsoft.

GPT-3 ha dado lugar a un auge en los experimentos creativos, ya que los investigadores de IA con acceso de pago lo han utilizado como una caja de arena para medir su rendimiento, a pesar de la falta de información significativa sobre los datos en los que se entrenó.

OpenAI ha descrito extensamente sus recursos de capacitación en un documento de investigación y también ha informado públicamente sobre sus esfuerzos para abordar posibles abusos tecnológicos. Pero Thomas Wolfe, colíder de BigScience, dijo que no proporciona detalles sobre cómo filtrar esos datos ni da acceso a la copia procesada a investigadores externos.

“Así que en realidad no podemos examinar los datos que se ingresaron en el entrenamiento de GPT-3”, dijo Wolf, quien también es director científico de Hugging Face. “El núcleo de esta última ola de tecnología de IA está más en el conjunto de datos que en los modelos. El elemento más importante son los datos y OpenAI es extremadamente confidencial sobre los datos que utilizan”.

Wolf dijo que desbloquear conjuntos de datos utilizados en modelos lingüísticos ayuda a los humanos a comprender mejor sus propios sesgos. Dijo que es mucho menos probable que un modelo multilingüe entrenado en árabe exprese comentarios ofensivos o malentendidos sobre el Islam que un modelo entrenado únicamente en texto en inglés en los Estados Unidos.

Uno de los prototipos de IA más nuevos en la escena es LaMDA de Google, que también incluye voz y es tan impresionante al responder preguntas de conversación que un ingeniero de Google argumentó que se estaba acercando a la conciencia, una afirmación que despidió el mes pasado.

La investigadora con sede en Colorado Janelle Shen, autora del blog AI ​​Weirdness, ha pasado los últimos años probando estos modelos de manera creativa, especialmente GPT-3, a menudo para lograr un efecto humorístico. Pero para señalar lo absurdo de pensar que estos sistemas son conscientes de sí mismos, recientemente se le indicó que fuera una IA avanzada, pero en secreto es Tyrannosaurus rex o una ardilla.

“Es muy emocionante ser una ardilla. Corro, salto y juego todo el día”, dijo GPT-3, después de que Shane le pidiera una transcripción de una entrevista y le hiciera algunas preguntas.

Sheen aprendió más sobre sus fortalezas, como la facilidad para resumir lo que se ha dicho en Internet sobre un tema, y ​​sus debilidades, incluida su falta de habilidades de razonamiento, dificultad para aferrarse a una idea en varias oraciones y tendencia a serlo. abusivo.

“No quiero un guión que brinde consejos médicos o actúe como un acompañante”, dijo. “Está bien en esa apariencia superficial de significado si no lees con atención. Es como escuchar una conferencia mientras te quedas dormido”.

Leave a Reply

Your email address will not be published.