기록
오픈웨이트 LLM 모델의 도약, Kimi-K2
오픈웨이트 LLM 모델의 도약, Kimi-K2
목차
Kimi-K2최근에 또 재미있는 AI 모델이 출시되어 관련내용에 대해 이리저리 정보를 주워듣고 정리해보았다.
이번 주인공은 중국 Moonshot AI 팀이 만든 비추론 LLM 모델인 Kimi-K2이다.
1. 개요
Kimi-K2는 오픈소스 기반 대화형 언어모델(LLM)로 우리가 흔히아는 챗지피티같은 대화형 AI 서비스이다.
우리가 Kimi-K2에게 대화로 질문을하면 그것을 답변해주는 전형적인 대화형 형태를 띄고있다.
언어모델이기때문에 자연어 처리에 능통하며 중국에서 제조되었으므로 기본적으론 중국어 관련 대화에 최적이 되어있다고한다.
다만 특이한 점은 동아시아권 언어에 대해 전반적으로 강력한 성능을 발휘한다는것이다.
별도의 안내없이고 한국어로하는 질문에 대해서도 상당한 결과를 반환해주는 모델이다.
또 Moonshot AI의 기술인 Agentic Intelligence라 부르는 스스로 문제를 해결하고 도구를 활용하는 능력도 가진 에이전트 기능도 탑재되어있어서 어떤 문제에대해서 분석적으로 파고들어 나름의 답을 내놓는 좋은 능력을 가지고 있다.
비추론 모델임에도 이러한 문제해결능력을 보이는 이유는 Kimi-K2가 384개의 전문가 모듈을 가지고있고 이중 가장적합한 8개의 전문가 모듈만 활성화해 답변을 처리하기 때문이다.
즉 문제의 스페셜리스트들만 모아두고 서로 대화에 대한 검증을 거쳐 답변을 하는 방식이다보니 비추론 모델이어도 어느정도의 추론 성능을 보장하는 느낌이라 볼 수 있을 것 같다.
2. 특장점
2-1. 오픈소스+오픈웨이트 모델
딥시크와 같이 Kimi-K2 또한 모델을 공개한 오픈소스 형태로 제공되고있다.
여기에 더불어 오픈웨이트, 그러니까 모델의 학습에 사용된 가중치(Weight)까지 오픈해 사용자가 Kimi-K2의 학습을 마친 가중치 파일을 바탕으로 로컬에서도 추가 학습을 통해 추론 결과를 도출해낼 수 있다.
Open AI에서 근래에 오픈 웨이트 모델을 내놓기전에 Kimi-K2가 제대로 선수친 느낌이 없잖아 있을정도로 추론 모델을 구현할 수 있는 가중치 파일을 제공한다는거 자체가 엄청난 자신감(?)이 아닐수가 없다.
2-2. Mixture-of-Experts
Kimi-K2는 385명의 전문가(Expert)가 모인 거대한 회의실처럼 내부구조가 설계되어있다.
그래서 사용자가 대화를 통해 어떤 질문을 넘기면 Kimi-K2는 질문과 연관된 약 8명의 소수의 전문가만 불러와 집중처리를 진행한다.
이는 기존 LLM 모델에서 모든 전문가 모듈이나 언어 처리모듈이 동작해 정확성을 올리기위한 과정보다 훨씬 적은 컴퓨팅과정과 빠른 처리속도를 만들어내면서 어느정도의 퀄리티 있는 답변을 만들 수 있어 속도와 효율이 매우 뛰어난 접근 방법이다.
이렇기 때문에 비슷한 모델중에서는 최고의 가성비를 자랑하고 API모델에 한해서는 Open AI의 o3모델에 비해 1/10의 가격으로 토큰을 사용할 수 있어 훌륭한 가성비 대체재로써 역할을 할 수 있다.
2-3. Agentic Intelligence
Kimi-K2는 단순히 대화의 답만 내놓는 모델이 아니다.
필요에따라서 통계 계산, 그래프 툴, HTML등을 이용해 결과에 필요한 부수적인 설명과 곁들여 문제를 해결한다고 한다.
뭐 요즘 LLM 모델들이 다 제공하는 그런 부가적인 기능도 잘 탑재되어있는 구조라할 수 있다.
다만 아직 이미지 데이터를 입력받아 처리하는 기능은 지원을 안한다고한다.
2-4. 대용량 맥락 처리
대신 Kimi-K2는 대용량 맥락 처리에 강점을 가지고있다.
챗지피티같은 모델도 대량의 데이터 기억을 위해서는 필요에 따라 정보를 우회하거나 기억을 유지하기위한 프로세스가 필요하지만 Kimi-K2는 A4 수백장 분량의 문서도 계속 기억한 후 대화를 이어나갈 수 있다고 한다.
이렇기 때문에 계약서, 대용량 회의록같은 대량 문서 데이터를 바탕으로한 질의부터해서 소설같이 맥락이 이어져야하는 창작파트에서도 꽤나 훌륭한 결과를 유지한다고 한다.
매번 뇌가 리셋되는 친구가 아니라 나와의 대화를 계속 기억해주는 친구라 보면 될것 같다.
벤치마크 성능
벤치마크야 대부분 자신들의 모델의 성능을 보여주기위한 지표로 출시하곤한다.
다만 테스트과정중 제약이 있는경우도 있고 벤치 성능과 실제 작업의 성능은 상이아므로 어디까지나 어느부분에 대해서 Kimi-K2가 강점이있구나라고만 판단해야할것이라 생각한다.
Kimi-K2 Bench-mark Score위의 벤치마크 비교표에서 눈에띄는 수치는 코딩테스트가 GPT4에 비해서 높다는 부분과 도구활용(Tau2-bench)을 이용한 복합과제 해결능력이 뛰어다나는 점이다.
그렇다고 코딩용으로 Kimi-K2가 새로운 획을 그었다는 느낌까진 아니다.
뭐 벤치는 어디까지나 벤치이므로...
챗지피티와 비교
제일 많이들 쓰는 챗지피티와 비교하면 아래와 같다.
| 비교 항목 | Kimi-K2 | GPT-4.1(ChatGPT) |
|---|---|---|
| 컨텍스트 크기 | 128K 토큰 (A4 약 192장 분량) | 32K 토큰 (A4 약 20장 분량) |
| 출시일 | 25년 7월 | 25년 4월 |
| 이미지 입력 지원 | 미지원 | 지원 |
| 오픈소스/웨이트 여부 | 코드+가중치 전부 공개 | 코드, 가중치 비공개 |
| 토큰 비용 | 입력: $0.15 / 1M 출력: $2.50 / 1M | 입력: $0.03 / 1K 출력: $0.06 / 1K |
토큰비용은 단위가 다르다...
심지어 Kimi-K2는 오픈 소스 모델이라 로컬에 구현해서 쓰면 이런 토큰비용은 무료이다!
사용 후기 및 평가
아직 국내에서는 사용후기가 별로없지만 그나마 여러 사이트들을 돌아다니면서 만져본 후기를 정리해보면 얼추 아래와 같다.
- 확실히 다른 모델에 비해서 가격이 쌈
- 딥시크처럼 로컬로 돌릴수 있어 좋음
- 한국어 나름 잘 지원함, 오히려 영어쪽이 어색함
- 직접설치해서 쓰려니 번거로움
- C++로 구성된 근본 소스코드
- 딥시크 v3 증류모델이라는데 o3와 답변 매우 유사함
뭐 결국 딥시크처럼 잠깐 반짝이다가 미국 대형 AI 회사의 방향성에 맞춰서 뭔가 다른 개선모델이 나올거 같은느낌이다.
전반적으로 중국의 회사들은 증류방식을 통해 모델을 정제하는데 나름 뛰어난 결과를 내놓는것 같다.
Kimi-K2의 경우에도 이런 증류 방식을 통해 고도와하면서 전문가 모듈 관리방식을 접목해 베이스가 비추론모델이지만 나름 추론 모델급의 답변을 내놓으면서도 연산량을 획기적으로 줄여 꽤나 가성비있는 모델로 출시가 되었다.
AI 관련해서는 미국과는 좀 다른 양상이지만 정말 중국도 발빠르게 나가는 느낌이들어 대단하다고 생각이들긴한다.
결국 AI싸움은 미국/중국의 쌍방전이 될거같은 느낌이들며 오늘의 AI 이야기는 여기까지!
#AI #리뷰
0
개의 댓글