반응형 캐릭터챗봇2 [RAG 기반 캐릭터 챗봇 만들기] 05. 자체 데이터셋 제작하기 중간 점검 부터 챗봇의 성능을 평가하기 위한 노력을 계속해서 해왔다.고민을 하다가 이전 사용하던 데이터셋을 변형하여 자체 데이터셋을 제작하기로하였다.조원 각각 데이터셋을 만들어보기로 하였는데, 해당 기록은 나의 데이터셋 제작 과정이다. 먼저 정확도를 측정하기 위해 사실 기반 질문들을 만들어보았다.해당 질문 데이터셋의 목표1. 사실을 정확히 질문하여, 정확도를 측정할 수 있는 답변을 얻을 수 있는 질문일 것2. event_summary를 더 자세하게 작성하여, event_summary와 response를 비교하여 응답을 평가 할 수 있도록 한다3. participants를 정확하게 뽑아낼 수 있도록 한다4. participants에 있는 캐릭터와 없는 캐릭터에게 하는 질문을 각각 50%의 비율로 하여, 자.. 2025. 3. 24. [RAG 기반 캐릭터 챗봇 만들기] 04. 중간 점검 저번 주 연구 중간 점검 발표를 했다.해당 발표자료를 살펴보며 이번주 어떤 점을 더 보완해야하는지, 보완점을 정리해보자01. 챗봇 및 연구 아키텍쳐현재는 간단하게 기존 잘 만들어져있는 헤리포터 데이터셋을 활용하여 RAG 검색을 할 데이터를 만들어 벡터로 임베딩 시켜주었다.말투 및 추가 설정은 프롬프팅을 통해 진행하였고,장면 검색 결과와 프롬프팅 결과를 통해 답변을 생성했다. 챗봇의 실제 유저 처럼 채팅을 해보기 위해 discord bot을 활용하였다. 또한, 다른 논문에서 만들어놓은 헤리포터 질문 데이터를 활용하여 답변의 헤리포터 내용적 정확도를 점검하고자 하였다.02. 장면 검색 데이터셋https://nuochenpku.github.io/HPD.github.io/download Harry Potte.. 2025. 3. 18. 이전 1 다음 반응형
