DeepSeek(심도탐구)는 환방과기가 설립한 인공지능 회사로, 대규모 언어 모델의 연구 개발과 혁신에 주력하고 있습니다. 회사는 환방과기의 창립자 량원펑이 설립했으며, 중국 대규모 모델 분야에서 기초 연구에 전념하는 극소수 회사 중 하나입니다.
모회사 배경: 환방과기
환방과기는 중국의 선도적인 퀀트 헤지펀드 회사입니다:
- 2016년 설립
- 항저우에 본사 위치
- AI와 퀀트 트레이딩 분야에서 깊은 축적
- AI 연구 개발을 위해 A100 칩 수만 장을 미리 확보
DeepSeek 핵심 기술 혁신
혁신적 아키텍처
DeepSeek은 모델 아키텍처에서 중대한 혁신을 이루었습니다:
- MLA(다중 헤드 잠재 어텐션) 아키텍처로 메모리 사용량 5%-13% 감소
- DeepSeekMoE 아키텍처로 계산량 최적화 실현
- 업계 최고 수준의 훈련 효율성 달성
비용 우위
기술 혁신을 통한 대폭적인 비용 절감:
- DeepSeek-V3 훈련 비용 단 550만 달러
- GPU 2048개만으로 2개월 미만의 훈련 기간