NLP4 LLM 맞춤화 방법 기존 LLM을 맞춤형으로 사용하기 위한 과제로, 사전학습된 모델(이미 존재하는 데이터를 학습함)이어서 생기는 문제가 있습니다.맞춤형 출력(Tailored Outputs)이 필요함부족한 콘텍스트(Missing Context)로 특정 문서가 사전 학습 데이터에 포함되지 않음전문 용어(Specialized Vocabulary)와 같은 고유한 용어나 개념을 다루지 못함이와 같은 문제를 해결하고 LLM을 맞춤화하기 위한 튜닝(Tuning)이 필요함 LLM 맞춤화 방법 (4가지)Prompt Engineering: 입력 프롬프트를 설계 및 개선하여 모델 출력을 조정별도의 전문지식이 필요하지 않음모델 파라미터를 학습하지 않고(사전 학습된 모델은 이미 파라미터가 학습되어 있음) 입력 프롬프트를 설계해서 출력 형식을 유도.. 2026. 1. 7. 논문 리뷰 - Graph Retrieval-Augmented Generation: A Survey (2024) 1. 논문 정보 제목: Graph Retrieval-Augmented Generation: A Survey RAG저자: Pengcheng Jiang, et al.연도: 2024링크: arXiv:2408.089212. 왜 이 논문을 읽어야 하는가현실 문제: 기존 RAG는 문서 파편화로 인해 여러 문서에 흩어진 정보를 연결하는 "복합 추론(Multi-hop Reasoning)"과 전체 맥락을 요약하는 "전역적 질문"에 답변하지 못하고 할루시네이션을 일으킨다.기존의 한계: 단순히 텍스트를 벡터로 변환해 유사도만 비교하는 방식은 데이터 간의 명시적인 구조적 관계(Entity-Relation)를 포착하지 못한다.핵심 정리: 이 논문은 단순 검색을 넘어 그래프 구조(Graph Structure)를 인덱싱, 검색, .. 2026. 1. 6. LM(언어모델) 기본 구조 - 다음 단어 예측(Next Word Prediction) 현대 생성형 AI의 근간이 되는 언어 모델(Language Model, LM)의 핵심 원리를 파이썬 코드를 통해 간단히 직접 구현해 보며 살펴보겠습니다.챗GPT와 같은 거대 언어 모델(Large LM, LLM)이 마치 인간처럼 대화하는 모습을 보면 그 구조가 매우 복잡할 것 같지만, 기저에 흐르는 논리는 의외로 명확합니다. 기본적인 구조는 '주어진 텍스트 다음에 올 최적의 단어를 확률적으로 예측하는 것'입니다. 1. 언어 모델(Language Model)이란?언어 모델이란 문장(단어의 나열)에 확률을 할당하는 모델을 말합니다.쉽게 말해, 특정 단어들이 나열되었을 때 그다음에 어떤 단어가 오는 것이 가장 자연스러운지를 수학적으로 계산하는 장치입니다. 우리가 스마트폰으로 문자를 보낼 때 나타나는 '자동 완성.. 2026. 1. 5. LLM 기초 이론 LM(Language Model)의 종류SLM(Statistical Language Model): 말뭉치 데이터에서 통계적으로 많이 등장하는 단어 횟수를 바탕으로 확률 계산네이버에서 검색 시 '안녕' 뒤에 추천 검색어로 '안녕하세요'로 자동완성 문구가 생성되는 것통계적 추천 기능Sparsity(희소성) 문제 - 희소한 문장은 통계적으로 생성이 불가한 구조NLM(Neural Language Model): Apple이 뭐냐고 물어보면 맥락에 따라 사과인지 회사인지를 구분할 수 있는데, 앞 뒤 데이터를 보고 현재 상태의 데이터의 의미가 달라지는 (Sequence 데이터) 이런 경우에 취약RNN(Recurrent neural network) : 자연어의 흐름(문맥) 파악에 적합RNN은 NLM의 특정 유형을 구현.. 2026. 1. 2. 이전 1 다음