AI3 논문 리뷰 - Graph Retrieval-Augmented Generation: A Survey (2024) 1. 논문 정보 제목: Graph Retrieval-Augmented Generation: A Survey RAG저자: Pengcheng Jiang, et al.연도: 2024링크: arXiv:2408.089212. 왜 이 논문을 읽어야 하는가현실 문제: 기존 RAG는 문서 파편화로 인해 여러 문서에 흩어진 정보를 연결하는 "복합 추론(Multi-hop Reasoning)"과 전체 맥락을 요약하는 "전역적 질문"에 답변하지 못하고 할루시네이션을 일으킨다.기존의 한계: 단순히 텍스트를 벡터로 변환해 유사도만 비교하는 방식은 데이터 간의 명시적인 구조적 관계(Entity-Relation)를 포착하지 못한다.핵심 정리: 이 논문은 단순 검색을 넘어 그래프 구조(Graph Structure)를 인덱싱, 검색, .. 2026. 1. 6. RAG: 검색, 증강, 생성 LLM의 한계점에 대한 해결 방법PEFT(Parameter-Efficient Fine Tuning): 일부 파라미터만 튜닝 (0.1~0.01퍼센트 정도 극히 적은 파라미터만을 학습시켜 파인튜닝을 함)P-Tuning: 입력 임베딩 자체를 튜닝LoRA(Low-Rank Adaptation): Pre-trained model의 일부 Dense Layer의 가중치(Adapter)를 학습, 학습 종료 후 원본 모델과 결합하는 방식으로 파인튜닝MOE(Mixture of Experts): 다양한 도메인 지식을 각 전문가 레이어로 라우팅 하는 기법 - 필요한 도메인만 활성화할 수 있음프롬프트 증강: 질문에 따른 적절한 데이터를 프롬프트에 자동으로 추가 프롬프트 증강을 하는 RAGRAG: 검색을 통해 LLM의 생성 과정을.. 2026. 1. 5. LLM 기초 이론 LM(Language Model)의 종류SLM(Statistical Language Model): 말뭉치 데이터에서 통계적으로 많이 등장하는 단어 횟수를 바탕으로 확률 계산네이버에서 검색 시 '안녕' 뒤에 추천 검색어로 '안녕하세요'로 자동완성 문구가 생성되는 것통계적 추천 기능Sparsity(희소성) 문제 - 희소한 문장은 통계적으로 생성이 불가한 구조NLM(Neural Language Model): Apple이 뭐냐고 물어보면 맥락에 따라 사과인지 회사인지를 구분할 수 있는데, 앞 뒤 데이터를 보고 현재 상태의 데이터의 의미가 달라지는 (Sequence 데이터) 이런 경우에 취약RNN(Recurrent neural network) : 자연어의 흐름(문맥) 파악에 적합RNN은 NLM의 특정 유형을 구현.. 2026. 1. 2. 이전 1 다음