우분투 리눅스 도전기7 - ollama + Qwen 2.5

 

혹시 렙틸리언이라고 들어보셨나요?

렙티리언은 아주 오래 전부터 지구인으로 위장한 채 지구 정복을 기회만 노리고 있는 외계인 종족을 말합니다.

최근 가장 유력하게 렙틸리언으로 의심받고 계신 분이 두 명이 있습니다.

 

한명은 바로 테슬라 CEO 일론머스크

몸 안에 외계인이 그를 조정하고 있다는게 학설의 정설

 

다른 한명은 바로 메타의 CEO 마크 주커버그 되시겠습니다.

원래 인간이었으나 렙틸리언으로 교체됐다는 게 학계의 정설

 

일론 머스크가 지구 정복을 위해 전기차로 내연 기관을 박살 내고 있다면

마크 주커버그는 각종 SNS로 인간의 끈기와 인내심을 뭉게고 계시는 중 입니다.

지구 정복에는 이걸로는 아직 부족했는지

인간의 지능마저 떨어뜨리기 위해

AI 모델을 누구나 쉽게 활용할 수 있는 ollama라는 놈을 몇 년 전에 무료로 풀어 버렸습니다.

 

https://ollama.com/

Ollama

귀여운 캐릭터를 메인 화면에 내세우며 지구인을 현혹시키고 있네요.

 

ollama를 이용하면 chatgpt나 gemini와 같은 사이트에 접속하지 않아도 질문을 하고 답변을 받을 수 있습니다.

인터넷이 끊기더라도 AI를 사용할 수가 있는거죠.

 

그럼 바로 설치해 보겠습니다.

 

친절하게 사이트에서 Linux 설치 방법까지 설명해 놨습니다.

이런 딸각 좋습니다.

curl -fsSL https://ollama.com/install.sh | sh

 

설치가 완료되면 --version 명령어를 통해 설치가 잘 되었는지 확인해 봅니다.

ollama --version

 

ollama는 정확하게 말하면 AI를 실행할 때 대화형(LLM) 서비스를 제공해주는 앱으로 생각하시면 될 겁니다.

답변을 실제로 처리해 주는 건 바로 AI모델입니다.

https://huggingface.co/

Hugging Face – The AI community building the future.

허깅페이스는 전 세계적의 모든 AI 개발자들이 본인들이 학습시킨 모델을 업로드하는 사이트입니다.

대체 이 분들은 땅을 파면 돈이 막 나오는 곳에 사는지 모르겠지만

비싼 전기세 내서 어렵게 학습시킨 모델을 공짜로 세상에 뿌리고 계십니다.

 

저는 qwen2.5 라는 모델을 사용할 생각입니다.

이 친구가 사실상 오픈소스 진영에서는 1황으로 자리 잡고 있습니다.

qwen이라는 이름에서 느끼셨겠지만 중국에서 개발 되었구요. 

중국이 전세계의 AI 판에 deepseek에 이어서 qwen으로 2차 가해를 했습니다.

 

그것도 오픈 소스로 풀어버렸습니다.

심지어 MIT라이센스니 능력이 되시면 마음껏 고쳐 쓰셔도 됩니다.

근데 이 코드를 이해하고 고쳐 쓸 능력이면...쿨럭

  

https://github.com/QwenLM/Qwen2.5-Omni

GitHub - QwenLM/Qwen2.5-Omni: Qwen2.5-Omni is an end-to-end multimodal model by Qwen team at Alibaba Cloud, capable of understan

 

저도 당연히 이런 고급 코드를 이해할 수가 없기 때문에 이번 생에는 가져다가 쓰는 정도에 만족할 생각입니다.

ollama을 아래와 같이 실행하면 자동으로 model을 다운받고 해당 모델을 기반으로 실행시켜 줍니다.

ollama run qwen2.5

간단하게 pygame으로 원을 움직이는 코드를 작성해 달라고 졸랐습니다.

 

생각보다 빠른 답변에 깜짝 놀랐습니다. 경량화 모델이라고는 들었는데 정말 빠르네요.

코드에 한글 주석까지..헐..

 

 

지난 번 제가 블로그에 포스팅한 글에 대한 평가를 요청했습니다.

개선 사항이 중요한데 한문으로 써져서 뭔 소리인지 통 모르겠네요.

qwen2.5 모델이 아무래도 중국어 모델이라서 그런 것 같습니다.

한번 기회가 되면 한국어를 잘 하는 AI 모델을 찾아서 해봐야겠네요.