최신 논문 분석을 통한 LLM의 환각 현상 완화 전략 탐구
대형언어모델의 환각 현상은 주로 학습 데이터의 오류와 모델의 과도한 확신에서 비롯됩니다. 이러한 환각을 완화하기 위해 검색 기반 생성(RAG), 인간 피드백 기반 강화 학습(RLHF), 고품질 데이터를 활용한 미세조정 등 다양한 전통적인 기법들이 활용되어 왔으며, 이를 보완하기 위한 새로운 연구들도 활발히 진행되고 있습니다.
LLM
LLM 품질 테스팅 시작하기
안녕하세요. 오피스품질팀에서 한컴오피스 Web 및 한컴어시스턴트를 담당하는 7년 차 QA 엔지니어 이수동입니다. LLM에 관심이 높아지면서 해당 기술을 활용한 제품들이 출시되고 있습니다. 우리 회사도 한컴어시스턴트, 한컴피디아 등 AI 기술을 활용한 프로젝트를 진행하고 있으며, 제품 특성에 맞춘 자체 sLLM도 개발하고 있습니다. 이에 따라 LLM 및 sLLM(이하 (s)LLM)에 대한 자체 품질 평가가 필요해졌습니다. 품질보증실 내부에서는 별도 sLLM 테스팅 …
거대언어모델(LLM) 발전과 모델 학습에 대한 이해
시작하며… 이번 글을 어떤 주제로 어떻게 작성해 나가야 할지 많은 고민을 하였습니다. 현재 여러 기업에서 ChatGPT와 같은 LLM을 개발하고 서비스 제품을 개발 중이거나 출시 하더라도 계속해서 성능 향상을 도모해야 할 것입니다. 또한 LLM을 개선하고 학습시키는 모델링 개발자 외에도 많은 팀원들, 유관부서 사람들과 소통하고 협업해야 할 것입니다. 그래서 저는 이 글이 개발자뿐만 아니라 인공지능 개발에 함께 …
거대언어모델(LLM) 발전과 모델 학습에 대한 이해 더 보기 »