L40S GPU와 WebUI 템플릿으로 구현한 치매 진단 LLM 챗봇 | GDG 연사 이정주 님

LLM 프로젝트를 실제 서비스 형태로 구현하려면 모델 실행뿐 아니라 데이터 전처리, 학습, 결과물 저장, 웹앱 연동까지 이어지는 개발 흐름이 안정적으로 연결되어야 합니다. 하지만 로컬 PC는 성능에 한계가 있고, AWS와 같은 클라우드 환경은 인스턴스 생성과 포트 설정, 접속 과정이 복잡해 초기 세팅에 많은 시간이 필요합니다.

이정주 님은 치매 진단 데이터를 활용해 LLM 기반 챗봇을 구현하는 프로젝트를 진행했습니다. 단순히 모델을 테스트하는 데 그치지 않고, 데이터를 학습 가능한 형태로 변환한 뒤 LoRA 기반으로 파인튜닝하고, Flutter 웹앱에 연동해 실제 서비스 형태로 구현하는 것이 목표였습니다.

 

■ 템플릿 선택만으로 시작한 LLM 개발 환경

이정주 님은 Runyour AI에서 NVIDIA L40S GPU를 대여해 모델 학습과 챗봇 테스트를 진행했습니다. 작업 목적에 따라 Ubuntu 템플릿과 Text Generation WebUI 템플릿을 번갈아 활용했습니다.

Ubuntu 템플릿은 원하는 모델과 학습 환경을 직접 구성하기에 적합했고, Text Generation WebUI 템플릿은 이미 챗봇 테스트 환경이 준비되어 있어 GUI 기반으로 빠르게 결과를 확인할 수 있었습니다. 덕분에 복잡한 환경 세팅보다 모델 구성과 테스트에 더 집중할 수 있었습니다.


 

■ 저장소 기능으로 이어진 작업 흐름

LLM 개발 과정에서는 전처리 데이터, LoRA 학습 결과물, Python 실행 파일과 같은 산출물을 안정적으로 관리하는 것이 중요합니다. 이정주님은 Runyour AI의 저장소 기능을 활용해 데이터를 보관하고, 여러 템플릿을 오가며 작업을 이어갔습니다.

Ubuntu 환경에서 만든 파일을 WebUI 템플릿에서 다시 활용하거나, 학습 결과물을 저장소에 보관해 다음 작업으로 연결할 수 있었습니다. 템플릿을 바꿔도 데이터가 유지되기 때문에 프로젝트 흐름이 중간에 끊기지 않았습니다.


 

■ 온디맨드 GPU로 줄인 세팅 시간과 비용 부담

기존에 사용하던 Colab은 빠른 테스트에는 적합했지만 장기 작업에는 제약이 있었고, AWS는 인스턴스 세팅과 비용 관리가 부담스러웠습니다. 로컬 환경에서는 PC 성능 한계로 큰 모델을 안정적으로 실행하기 어려웠습니다.

Runyour AI는 필요한 템플릿을 선택하고 GPU 자원을 온디맨드로 대여하는 방식이어서 빠르게 작업을 시작할 수 있었습니다. 이정주님은 AWS 대비 설정 시간이 절반 이하로 줄었고, 비용도 약 30% 이상 절감된 것으로 체감했습니다.

Runyour AI를 활용한 이번 프로젝트는 LLM을 처음 접하는 사용자도 복잡한 클라우드 세팅 없이 실제 서비스형 프로젝트에 도전할 수 있다는 점을 보여줍니다. 사전 구성된 템플릿은 환경 설정 부담을 줄이고, L40S GPU는 모델 학습과 테스트를 안정적으로 지원했으며, 저장소 기능은 데이터와 결과물이 이어지는 개발 흐름을 만들었습니다.

이정주 님은 앞으로 여행 팁과 트렌드를 학습한 여행 도우미 챗봇도 Runyour AI로 구현해볼 계획입니다. Runyour AI는 LLM을 책이나 강의로 접한 뒤 실제 모델을 실행해보고 싶은 입문자, 웹앱과 AI 모델을 연결해 서비스 형태로 구현해보고 싶은 개발자에게 적합한 GPU 클라우드 환경입니다.