Los nuevos dispositivos ofrecen computación de IA más rápida, con mucha menos energía

Un procesador analógico de aprendizaje profundo alimentado por protones ultrarrápidos. Crédito: Estudio Ella Maru, Murat Onin

A medida que los científicos amplían los límites del aprendizaje automático, la cantidad de tiempo, energía y dinero necesarios para entrenar modelos de redes neuronales cada vez más complejos se vuelve cada vez más compleja. Un nuevo campo de inteligencia artificial llamado aprendizaje profundo analógico promete una computación más rápida con una fracción del uso de energía.

Las resistencias programables son los componentes básicos del aprendizaje profundo analógico, al igual que los transistores son los elementos básicos de los procesadores digitales. Al replicar conjuntos de resistencias programables en capas complejas, los investigadores pueden crear una red de “neuronas” y “sinapsis” artificiales analógicas que realizan cálculos como una red neuronal digital. Luego, esta red se puede entrenar para lograr tareas complejas de IA, como el reconocimiento de imágenes y el procesamiento del lenguaje natural.

Un equipo interdisciplinario de investigadores del MIT se dispuso a superar los límites de velocidad de un tipo de sinapsis analógica creada por humanos que habían desarrollado previamente. Utilizaron un material de proceso inorgánico en el proceso de fabricación que permite que sus dispositivos funcionen un millón de veces más rápido que las versiones anteriores, y también es aproximadamente un millón de veces más rápido que las sinapsis en el cerebro humano.

Además, este material inorgánico hace que la resistencia sea significativamente eficiente desde el punto de vista energético. A diferencia de los materiales utilizados en la versión anterior de su dispositivo, el nuevo material es compatible con las tecnologías de fabricación de silicio. Este cambio permitió la fabricación de dispositivos a escala nanométrica y podría allanar el camino para la integración en dispositivos informáticos comerciales para aplicaciones de aprendizaje profundo.

El autor principal Jesús A. Del Alamo, Profesor Donner en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT (EECS). “Este trabajo realmente ha puesto a estos dispositivos en un punto en el que ahora parecen realmente prometedores para futuras aplicaciones”.

“El mecanismo de acción del dispositivo es la introducción electroquímica del ion más pequeño, el protón, en un óxido aislante para modular su conductividad electrónica. Como estamos trabajando con dispositivos muy delgados, podemos acelerar el movimiento de este ion usando un fuerza eléctrica, y empujar estos dispositivos iónicos a un orden operativo de nanosegundos”, explica la autora principal Bilge Yildiz, profesora Breene M. Kerr en los Departamentos de Ciencia e Ingeniería Nuclear y Ciencia e Ingeniería de Materiales.

El autor principal Joe Lee, profesor de ciencia e ingeniería nuclear de Battelle Energy Alliance y profesor de ciencia e ingeniería de materiales, dice: “Aquí aplicamos hasta 10 voltios a través de una película especial de vidrio sólido nanogrueso que conduce protones, sin dañarlo permanentemente. más fuerte el campo, más velocidad de los dispositivos iónicos”.

Estas resistencias programables aumentan en gran medida la velocidad a la que se entrena una red neuronal, al tiempo que reducen significativamente el costo y la energía para realizar dicho entrenamiento. Esto podría ayudar a los científicos a desarrollar modelos de aprendizaje profundo más rápidamente, que luego podrían aplicarse en usos como automóviles autónomos, detección de fraudes o análisis de imágenes médicas.

“Una vez que tenga un procesador analógico, ya no estará entrenando redes en las que todos los demás se ejecutan. Entrenará redes de una complejidad sin precedentes que nadie más puede permitirse y, por lo tanto, superará ampliamente a todas. En otras palabras, esto es no es un automóvil más rápido, es una nave espacial”, agrega el autor principal e investigador postdoctoral en el MIT Murat Onin.

La investigación fue publicada hoy en Ciencias.

Aceleración del aprendizaje profundo

El aprendizaje profundo analógico es más rápido y más eficiente energéticamente que su contraparte digital por dos razones principales. “Primero, el cálculo se realiza en la memoria, por lo que no se transfieren grandes cantidades de datos de la memoria al procesador”. Los procesadores analógicos también realizan operaciones en paralelo. Si se expande el tamaño de la matriz, entonces el procesador analógico no necesitará más tiempo para completar las nuevas operaciones porque todas las operaciones aritméticas ocurren simultáneamente.

Un componente clave de la nueva tecnología de procesador analógico del MIT se conoce como PPR. Estas resistencias, medidas en nanómetros (un nanómetro equivale a la mil millonésima parte de un metro), están dispuestas en una matriz, como un tablero de ajedrez.

El aprendizaje en el cerebro humano ocurre debido al fortalecimiento y debilitamiento de las conexiones entre las células nerviosas, que se denominan sinapsis. Las redes neuronales profundas siempre han adoptado esta estrategia, en la que los pesos de la red se programan a través de algoritmos de entrenamiento. En el caso de este nuevo procesador, aumentar y disminuir la conductividad eléctrica de las resistencias de protones permite el aprendizaje automático analógico.

La conducción está controlada por el movimiento de los protones. Para aumentar la conducción, se empujan más protones hacia un canal en la resistencia, mientras que los protones se expulsan para disminuir la conducción. Esto se logra mediante el uso de un electrolito (similar a una batería) que conduce protones pero bloquea los electrones.

Para desarrollar una resistencia de protones programable ultrarrápida y de alta eficiencia energética, los investigadores observaron diferentes materiales electrolíticos. Mientras que otros dispositivos utilizan compuestos orgánicos, Onen se centró en el vidrio de fosfosilicato inorgánico (PSG).

PSG es básicamente dióxido de silicio, un desecante en polvo que se encuentra en pequeñas bolsas que vienen en la caja con muebles nuevos para eliminar la humedad. También es el óxido más conocido utilizado en el procesamiento de silicio. Para hacer PSG, se agrega una pequeña cantidad de fósforo al silicio para darle propiedades especiales de conducción de protones.

Onin planteó la hipótesis de que el PSG mejorado podría tener una alta conductividad de protones a temperatura ambiente sin necesidad de agua, lo que lo convierte en un electrodo sólido ideal para esta aplicación. Él estaba en lo correcto.

velocidad asombrosa

PSG permite el movimiento de protones ultrarrápido porque contiene muchos poros de tamaño nanométrico cuyas superficies proporcionan vías para la difusión de protones. También puede soportar campos eléctricos pulsados ​​extremadamente fuertes. Esto es fundamental, explica Onin, porque aplicar más esfuerzo al dispositivo permite que los protones se muevan a velocidades deslumbrantes.

“La velocidad fue ciertamente sorprendente. Normalmente, no aplicaríamos campos tan extremos en los dispositivos para no convertirlos en cenizas. Pero, en cambio, los protones terminaron moviéndose increíblemente rápido a través de la pila del dispositivo, específicamente un millón de veces más rápido que lo que teníamos antes. Antes. Y este movimiento no hace daño a nada, gracias al pequeño tamaño y la poca masa de los protones. Es casi como una teletransportación”, dice.

“La escala de tiempo de nanosegundos significa que estamos cerca de un sistema de tunelización balística o incluso de un sistema de tunelización cuántica de protones, bajo este campo extremo”, agrega Lee.

Debido a que los protones no dañan el material, la resistencia puede durar millones de ciclos sin romperse. Este nuevo electrolito permitió que una impedancia de protones programable fuera millones de veces más rápida que sus dispositivos anteriores y pudiera operar de manera efectiva a temperatura ambiente, lo cual es importante para su incorporación en dispositivos informáticos.

Gracias a las propiedades dieléctricas del PSG, casi no pasa corriente eléctrica a través del material mientras se mueven los protones. Onen agrega que esto hace que el dispositivo sea significativamente más eficiente energéticamente.

Ahora que han demostrado la efectividad de estas resistencias programables, los investigadores planean rediseñarlas para la fabricación en masa, dice Del Alamo. Luego pueden estudiar las propiedades de las matrices de resistencia y escalarlas para que puedan integrarse en los sistemas.

Al mismo tiempo, planean estudiar los materiales para eliminar los cuellos de botella que limitan el esfuerzo requerido para transferir eficientemente protones hacia, a través y desde el electrolito.

“Otra dirección emocionante que podrían permitir estos dispositivos iónicos son los dispositivos de eficiencia energética para simular circuitos neuronales y bases de plasticidad sináptica aprendidas en neurociencia, más allá de las redes neuronales profundas analógicas”, agrega Yildiz.

“La colaboración que tenemos será esencial para la innovación futura”, dice Del Alamo. “El camino a seguir sigue siendo muy desafiante, pero al mismo tiempo muy emocionante”.

Los coautores incluyen a Frances M. Ross, profesora de Ellen Swallow Richards en el Departamento de Ciencia e Ingeniería de Materiales. los posdoctorados Nicola Emond y Bauming Wang; y Difei Zhang, estudiante de posgrado de EECS.


Diseño de chips analógicos de última generación para aplicaciones de IA


más información:
Murat Onin et al., Resistencias de protones programables Nanos para aprendizaje profundo analógico, Ciencias (2022). DOI: 10.1126/ciencia.abp8064. www.science.org/doi/10.1126/science.abp8064

Proporcionado por el Instituto de Tecnología de Massachusetts

La frase: El nuevo hardware ofrece una computación de IA más rápida, con mucha menos energía (28 de julio de 2022) Obtenido el 29 de julio de 2022 de https://techxplore.com/news/2022-07-hardware-faster-artuable-intelligence-energy.html

Este documento está sujeto a derechos de autor. Sin perjuicio de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin permiso por escrito. El contenido se proporciona únicamente con fines informativos.

Leave a Reply

Your email address will not be published.