* 행사안내

인공지능의 열풍 속에 기업과 교육, 공공 시장 등에 최적화한 거대언어모델(LLM, Large Language Model) 시장이 달아오르고 있는 가운데, 기업이 LLM을 개별적으로 구축하기 위한 서비스 개발자 양성의 발걸음이 바빠지고 있다.

LLM은 대규모 텍스트 데이터를 사용하여 학습되는 인공 지능 모델로써 언어 이해와 생성 작업을 자동화하고 개선하는 데 사용된다. 또한, 자연어 처리(NLP) 작업에서 뛰어난 성능을 발휘하며, 문장을 이해하고 생성하는 능력을 갖추고 있다. 대표적 LLM으로는 OpenAI의 GPT 시리즈, Google의 BERT, 에이닷에 탑재된 Claude, A.x, Perplexity 등이 있다.

글로벌 시장조사업체 마켓앤마켓(MarketsandMarkets)에 따르면 대규모 언어 모델(LLM) 시장 규모가 2024년 64억 달러에서 2030년 361억 달러로 급증하며, 33.2%(CAGR)의 성장률을 기록할 것으로 예상되며, QYResearch는 LLM 시장 규모가 2023년 15억 9,093만 달러에서 2030년에는 2,598억 1,773만 달러에 달할 것으로 예측한다.

LLM은 AI 기술의 중요한 부분으로, 다양한 분야에서 혁신을 이끌고 있다. 자연어 처리 작업의 효율성을 극대화하고, 새로운 애플리케이션을 개발하며, 미래의 가능성을 열어가는 LLM의 발전을 주목할 필요가 있다. 이번 실무 교육은 LLM 이해를 위한 ChatGPT 활용부터 실제 프로덕트 수준의 AI 서비스 개발, 서비스 도입 및 운영 관점의 LLMOps와 RAI까지 LLM에 대한 모든 내용을 다룸으로써 LLM 개발의 최신 노하우를 학습할 수 있는 자리가 될 것이다. 이번 교육 과정이 국내 LLM 시장을 선도하기 위한 정보를 공유함으로써 다양한 현안 해결의 실마리를 제공할 것으로 기대한다.

1. 주제 : LLM(대규모 언어 모델) 서비스 개발자를 위한 실무 교육

- 프롬프트 엔지니어링, 파인튜닝, 임베딩 모델, 멀티 모달, LangChain, RAG 외

2. 일시 : 2024-10-30 10:00-17:00

3. 장소 : 전경련회관 컨퍼런스센터 2층, 사파이어홀(여의도 소재)/ 온라인 홈페이지

4. 주최 : 한국미래기술교육연구원

5. 문의 : 02-545-4020 / [email protected]

6. 관련 등록 및 상세 페이지 : https://www.kecft.or.kr/shop/item20.php?it_id=1727076226

7. 강사소개

8. 주요 프로그램

* LLM 및 트랜스포머 아키텍처 기초

- LLM 개요 및 트랜스포머 아키텍처 설명 : 인코더, 디코더, 어텐션 메커니즘

- 텍스트 임베딩과 토크나이저 사용법 : 토큰화, 토큰 임베딩, 위치 인코딩

- 어텐션 메커니즘 이해 : 쿼리, 키, 값, 멀티 헤드 어텐션

- 주요 사전 학습 메커니즘 : 인과적 언어 모델링, 마스크 언어 모델링

- 시연 : 허깅페이스 라이브러리를 이용한 트랜스포머 모델

- 시연 : 트랜스포머 아키텍처를 활용한 텍스트 분석

* 프롬프트 엔지니어링

- 프롬프트 엔지니어링의 기본 개념 : 퓨샷 학습, 출력 구조화, 페르소나 지정

- 고급 프롬프트 체이닝 및 인젝션 방어 기법 :프롬프트 체이닝, CoT

- 입력/출력 유효성 검사 및 NLI 기반 유효성 검사 파이프라인

- 주요 사전 학습 메커니즘 : 인과적 언어 모델링, 마스크 언어 모델링

- 시연 : ChatGPT를 활용한 Q/A 챗봇 만들기

* LLM 파인튜닝 및 전이 학습

- 파인튜닝과 전이 학습의 개념 및 사례

- 파인튜닝된 모델을 애플리케이션에 통합하는 방법

- 강화 학습 개념 이해 (RLHF, DPO)

- 시연 : OpenAI API를 이용한 GPT-3 파인튜닝 - 데이터셋 준비, 하이퍼파라미터 선택

- 시연 : LoRA 및 QLoRA를 활용한 파라미터 최적화 수행

* 임베딩 모델과 의미 기반 검색

- 텍스트 임베딩의 기본 개념 및 방식 : 원핫 인코딩, 백오브워즈, TF-IDF, 워드투벡

- 의미 기반 검색과 벡터 데이터베이스의 역할

- 검색 결과 재순위화 및 성능 향상 기법

- 시연 : 벡터 데이터베이스를 사용한 의미 기반 검색 시스템 구현

- 시연 : Sentence-Transformers를 사용한 의미 검색 최적화

* 맞춤형 임베딩 모델 개발

- 맞춤형 임베딩 모델 개념 및 학습 방법 : 대조 학습, MNR 손실

- 검색 품질을 높이는 순위 재정렬 방법

- 검색 결과 재순위화 및 성능 향상 기법

- 시연 : 유사한 문장 데이터로 임베딩 모델 학습

- 시연 : 교차 인코더와 바이 인코더를 사용해 RAG 검색 성능 향상

- 시연 : 미세 조정된 임베딩 모델로 검색 성능 비교 및 최적화

* LLM 실전 응용 및 운영

- MLOps와 LLMOps 개념 : 데이터 관리, 실험 관리, 모델 모니터링

- 모델 성능 모니터링 및 평가 지표 설정

- LLM 평가 방법 및 최적화 : 양자화, 가지치기, 지식 증류

- 시연 : LLM 모델을 프로덕션 환경에 배포 및 운영하는 방법

- 시연 : Hugging Face와 OpenAI API를 활용한 모델 배포

- 시연 : 벡터 데이터베이스와 RAG 시스템을 활용한 성능 최적화