메타, '라마 3' 중 가장 큰 모델 23일 출시..."매개변수 4050억 멀티모달모델"
메타는 7월 23일 매개변수 405B의 Multi-modal LLM인 Llama3를 공개할 예정이다.
‘24년 4월 소형 Llama3 시리즈(매개변수 8B, 70B)를 출시했고, 6월 8B 모델 기반의 비전 모델 Llama3-V를 출시한 바 있다.
405B 모델 공개로 경쟁 모델인 GPT-4o(오픈AI), Gemini(구글), Claude 3 Sonnet(앤트로픽)과 경쟁할 수 있게 되었다.
Llama3 시리즈는 오픈소스로서 8B, 70B 모델로도 충분히 강력하다는 평가를 받고 있으며 405B 모델 공개 역시 주목 받고 있다.
(출처 : AI타임즈)
구글 딥마인드, 전문가 모델을 수백만개로 확장하는 MoE 아키텍처 소개
딥마인드가 새로운 아키텍처 PEER(Parameter Efficient Expert Retrieval)를 공개했으며, 향후 LLM을 훈련 및 실행에 소요되는 비용과 복잡성을 줄일 수 있을 것으로 기대된다.
LLM의 트랜스포머는 어텐션 계층(토큰 시퀀스 간의 관계 계산)과 피드포워드(FFW, 지식 저장) 계층으로 구성되며, 모델 매개변수의 3분의 2를 차지하여 추론 시 계산량이 큰 FFW 계층이 병목 발생 지점이다.
전문가 믹스(MoE, Mixture of Experts)는 LLM을 작은 전문가 모델로 쪼개어 질문에 따라 적합한 전문가 모델을 연결하는 방식으로, FFW계층을 대체하여 비용과 시간을 절감하고 있다.
MoE는 전문가 모델 수를 늘릴 수록 성능이 향상되나, 전문가 모델 추가 시 미세조정이 필요하므로 성능 개선에 허들이 있다.
PEER는 수백만개의 전문가 모델을 손쉽게 늘릴 수 있는 아키텍처로, PEER 아키텍처를 갖춘 모델과 기존 모델 비교 시 PEER 적용 모델이 낮은 비용과 복잡도를 기록했다.
(출처 : AI타임즈)
28개 미국 AI 스타트업, 올해 1400억 이상 투자 유치...전체 64% 차지
‘24년 상반기 글로벌 AI 스타트업에 355억달러(49조원) 이상이 투자되었으며, 2분기 전체 스타트업 투자 790억달러(100조원) 중 AI 분야 240억달러(26조원), 헬스케어/바이오테크가 170억달러(24조원), HW 분야 110억달러(15조원, AI 인프라 및 반도체 자금)를 기록했다.
‘24년 상반기에 10억달러(1조원) 이상을 투자 유치한 6개 기업 중 AI 기업이 5개였다 (xAI 60억달러(8조원), 코어위브 11억달러(1.5조원) 등).
‘24년 상반기에 1억달러(1,400억원) 이상 모금한 AI 스타트업 가운데 미국 기업이 28개였다 (전체의 64%).
(출처 : AI타임즈)
노보노, ‘주1회’ 인슐린 “FDA 거절”..T1D, 제조 등 이슈
노보노디스크(덴마크 거래소, 시총 4.36T krr, 872조원)의 주 1회 피하주사 제형(SC) 인슐린 약물 “icodec”이 FDA로 부터 시판허가를 거절당했다.
앞서 제1형 당뇨병(T1D) 환자 대상 임상3상에서 대조군 인슐린 제품(1일 1회 투여)보다 저혈당 위험이 높아져 FDA 내분비·대사질환약물자문위원회(EMDAC)로 부터 거절 권고를 받은 바 있다.
제2형 당뇨병(T2D) 환자 대상 임상3상에서는 저혈당 위험이 확인되지 않았으나, T2D에 대해서도 최종 승인받지 못했다.
(출처 : 바이오스펙테이터)
