Lanzamiento de LLaMA 3: Meta explica su modelo de IA
Meta tiene como meta hacer que este modelo de lenguaje sea multilingüe y multimodal Meta, la empresa tecnológica, ha presentado LLaMA 3, la última versión de su modelo de lenguaje grande (LLM). Esta nueva generación ofrece modelos preentrenados y ajustados para adaptarse a una amplia variedad de puntos de referencia, lo que mejora capacidades como […]
Meta tiene como meta hacer que este modelo de lenguaje sea multilingüe y multimodal
Meta, la empresa tecnológica, ha presentado LLaMA 3, la última versión de su modelo de lenguaje grande (LLM). Esta nueva generación ofrece modelos preentrenados y ajustados para adaptarse a una amplia variedad de puntos de referencia, lo que mejora capacidades como el razonamiento, la codificación y el seguimiento de instrucciones mediante inteligencia artificial.
Los modelos de lenguaje de LLaMA 3 están preentrenados y configurados con 8 mil millones (8B) y 70 mil millones (70B) de parámetros, lo que incluye variables internas específicas del algoritmo de aprendizaje. Estos modelos pueden adaptarse a una amplia gama de aplicaciones y casos de uso.
LLaMA 3 se basa en un modelo de código abierto de última generación que busca integrar las opiniones y sugerencias de los desarrolladores para mejorar su utilidad general. Además, Meta ha adoptado una ética de código abierto que se centra en la publicación rápida y frecuente, permitiendo así que la comunidad acceda a estos modelos mientras continúan en desarrollo.
Los modelos de texto lanzados por Meta son los primeros de la serie de modelos LLaMA 3. En el futuro cercano, la empresa aspira a convertir este modelo de lenguaje en uno multilingüe y multimodal, con un contexto más extenso y una mejora continua en las capacidades fundamentales de LLM, como el razonamiento y la codificación.
Durante la creación de LLaMA 3, la empresa se enfocó en mejorar el rendimiento del modelo en benchmarks estándar y se esforzó por optimizar su funcionamiento para situaciones del mundo real. Como parte de este proceso, se creó un conjunto de evaluación humana de alta calidad.
El conjunto de evaluación está compuesto por 1.800 preguntas que abarcan 12 casos de uso fundamentales, incluyendo solicitar consejos, generar ideas, clasificar, responder preguntas cerradas, codificar, redacción creativa, extracción de información, asumir un rol de personaje, responder preguntas abiertas, razonamiento, reescritura y resumen.
Meta ha limitado el acceso a sus propios equipos de modelado para evitar el sobreajuste involuntario de los modelos en este conjunto de evaluación. Además, en el desarrollo de un modelo lingüístico de gran envergadura, Meta ha adoptado una filosofía de diseño que se centra en cuatro aspectos clave: la arquitectura del modelo, los datos de preentrenamiento, la expansión del preentrenamiento y la adaptación de las instrucciones.
De esta manera, LLaMA 3 utiliza una arquitectura de transformador de un solo descodificador, que es una tecnología esencial en el ámbito del aprendizaje profundo y el procesamiento del lenguaje natural.
El recién lanzado modelo de lenguaje presenta varias mejoras importantes, incluyendo un tokenizador con un vocabulario de 128,000 tokens que codifica el lenguaje de manera más eficiente, lo que resulta en una mejora significativa en el rendimiento del modelo. Cada token representa una unidad indivisible del lenguaje, que puede ser una palabra, un número o un símbolo.
Con el fin de mejorar la eficacia de la inferencia de los modelos de LLaMA 3, Meta ha incorporado la atención de consultas agrupadas en los tamaños 8B y 70B. Además, los modelos fueron entrenados en secuencias de 8,192 tokens, con el uso de una máscara para asegurar que la autoatención no cruce los límites del documento.
Leer también:
Más de El Men
Congreso aprueba la reforma de pensiones
COMISIÓN DE ECONOMÍA DIO EL VISTO BUENO A DICTAMEN SOBRE MANEJO DE APORTES En sesión extraordinaria y por 14 votos a favor, 6 en contra y una abstención, la Comisión de Economía aprobó por mayoría el dictamen que propone la “Ley de modernización del Sistema Previsional Peruano”, que tiene como objeto fortalecer la seguridad financiera […]
Reintegro 2 Fonavi arranca la segunda semana de julio
JORGE MILLA, DE COMISIÓN ADO HOC, EXPLICA QUIÉNES SALDRÁN Y ANUNCIA GRUPO 21 TAMBIÉN Desde abril se viene pagando, en el Banco de la Nación, a los fonavistas del grupo de Reintegro 1, es decir, aquellos que conformaron la lista 1 al 19 y que recibieron montos menores. El siguiente paso es pagar a los […]
Tecnología y productividad: claves de la carrera en Ingeniería Industrial
Estudiar Ingeniería Industrial en línea te preparará para ser el aliado de empresas en cuestión de productividad e innovación. Descubre cómo. ¿Conoces la importancia de la carrera de Ingeniería Industrial actualmente? Una de las características de esta disciplina es la integración de tecnologías avanzadas en procesos industriales con tal de aumentar, tanto la eficiencia, como […]
Portada Diario El Men (14/05/2024)
Encuentra lo último en información y más aquí, las noticias a nivel nacional e internacional están a la vanguardia de tu diario “El Men“. Mantente siempre informado a través de nuestra pégina web y redes sociales. Home https://www.facebook.com/elmen.pe Tweets by diario_men https://www.instagram.com/elmen.pe/ #DiarioElMen #Fonavi #Pensiones #Noticias #Información #Elmen #aportes #ONP #di
La saga de las orcas asesinas continua
Una nueva parte de esta “película de orcas” acaba de sumarse a la enorme lista de casos registrados Esta más que la realidad parece una película, con la continuidad de casos que se siguen registrando de ataques de embarcaciones provocados por estos animales. Un velero se hundió este pasado domingo en el estrecho de Gibraltar tras […]
Valencia: rincones secretos que esconde la ciudad valenciana
La ruta del agua chelva un viaje a través del agua y su herencia histórica Valencia es mayormente conocida por sus hermosas playas y clima cálido, además de ser una de las ciudades españolas con mayor demanda para vivir debido a su prospera economía impulsada por sectores como el turismo, la tecnología y la […]
Conoce los factores de inseguridad en Marruecos antes de viajar
Marruecos es un destino precioso pero también hay que considerar las zonas en las que uno debe turistear Algunos países muestran mayores niveles de inseguridad que los turistas deben evaluar antes de arribar. algunos de estos factores como los conflictos armados o la inestabilidad política son elementos que contribuyen en la inseguridad. Si nos referimos […]
Estados unidos implementa nuevas regulaciones para los perros
Esta medida se implementará con la finalidad de combatir la propagación de la rabia en los perros que ingresen al país americano Los Centros para el Control y la Prevención de Enfermedades CDC han establecido nuevas regulaciones para el ingreso de perros extranjeros a Estados Unidos, las cuales entrarán en vigor a partir del 1 de […]
“La mano de Dios”, extraordinaria captura visual en el cosmos
El vasto origen del universo no nos deja de sorprender y esta vez es con la revelación del origen del glóbulo cometario La imagen mostrando un glóbulo cometario bajo la influencia de la radiación de estrellas masivas ha causado fascinación en el mundo de la astronomía. Esta imagen, proveniente del NOIRLab (Laboratorio Nacional de Investigación de […]
Caso Daniel Sancho: nuevas novedades
El caso de Daniel Sancho sigue en curso, y parece estar lejos de llegar a una resolución A solo Diez días después de que el juicio quedase visto para sentencia, la defensa del chef español ha denunciado haber sido víctima de una supuesta estafa por parte de un ciudadano colombiano que ofreció al acusado, un […]
Más vistos
Este miércoles 8 de mayo se llevará a cabo uno de los desafíos más esperados de esta semifinal de la Champions League, como lo será Real Madrid ante Bayern Munich en el Santiago Bernabéu que definirá al segundo clasificado de esta competición. Mientras el equipo bávaro prepara este choque, el técnico Thomas Tuchel ofreció unas declaraciones para […]
Abogado de Harvey Colchado sobre Mateo Castañeda: “¿Instigarlo? Eso no se ha dado. Las reuniones fueron a petición de él”
El letrado se refirió a lo sostenido y realizado por el abogado de Nicanor y Dina Boluarte.
Abogado de Colchado sobre la presidenta: “no puede usar el poder para fines particulares, para eso está la defensa de su hermano”
La defensa legal del coronel PNP se refirió al papel ejercido por la jefa de Estado.
Jorge Luna vacila nuevamente a ‘Richavo’ por sus ex: “Se ha visto que has entregado tu cariño a cualquiera”
El partner de Ricardo Mendoza otra vez lo ‘agarró de punto’.
Williams Zapata considera ‘graves’ las acusaciones de Carlos Morán contra la presidenta Dina Boluarte
El congresista de Avanza País, Williams Zapata, expresó su preocupación por las declaraciones de Carlos Morán contra Dina Boluarte.
Dina Boluarte es defendida contra viento y marea por congresistas, ministros y medios: “es culpa de los caviares” (VIDEO)
Dina Boluarte ha dejado que sus ministros la defiendan con todo lo que tienen, aunque se ganen más rechazo popular.
Juan Reynoso rompió su silencio: “Fue una salida complicada. No se respetó el proceso”
El extécnico de la Bicolor también habló de lo que especulaba en torno a la rescisión de su contrato
Corzo: “El partido ante Botafogo es transcendental”
El actual capitán de Universitario de Deportes, Aldo Corzo, brindó declaraciones y mencionó la victoria ante Cristal y la previa ante Botafogo. Aldo Corzo ha sido una figura crucial en el esquema de Fabián Bustos, destacándose como el capitán de Universitario de Deportes por su entrega y goles decisivos, como el que marcó ante Junior […]