lora2 LLM 맞춤화 방법 기존 LLM을 맞춤형으로 사용하기 위한 과제로, 사전학습된 모델(이미 존재하는 데이터를 학습함)이어서 생기는 문제가 있습니다.맞춤형 출력(Tailored Outputs)이 필요함부족한 콘텍스트(Missing Context)로 특정 문서가 사전 학습 데이터에 포함되지 않음전문 용어(Specialized Vocabulary)와 같은 고유한 용어나 개념을 다루지 못함이와 같은 문제를 해결하고 LLM을 맞춤화하기 위한 튜닝(Tuning)이 필요함 LLM 맞춤화 방법 (4가지)Prompt Engineering: 입력 프롬프트를 설계 및 개선하여 모델 출력을 조정별도의 전문지식이 필요하지 않음모델 파라미터를 학습하지 않고(사전 학습된 모델은 이미 파라미터가 학습되어 있음) 입력 프롬프트를 설계해서 출력 형식을 유도.. 2026. 1. 7. RAG: 검색, 증강, 생성 LLM의 한계점에 대한 해결 방법PEFT(Parameter-Efficient Fine Tuning): 일부 파라미터만 튜닝 (0.1~0.01퍼센트 정도 극히 적은 파라미터만을 학습시켜 파인튜닝을 함)P-Tuning: 입력 임베딩 자체를 튜닝LoRA(Low-Rank Adaptation): Pre-trained model의 일부 Dense Layer의 가중치(Adapter)를 학습, 학습 종료 후 원본 모델과 결합하는 방식으로 파인튜닝MOE(Mixture of Experts): 다양한 도메인 지식을 각 전문가 레이어로 라우팅 하는 기법 - 필요한 도메인만 활성화할 수 있음프롬프트 증강: 질문에 따른 적절한 데이터를 프롬프트에 자동으로 추가 프롬프트 증강을 하는 RAGRAG: 검색을 통해 LLM의 생성 과정을.. 2026. 1. 5. 이전 1 다음