주말 오전. 연구 보조 서연은 지도 교수에게 세 편의 논문을 비교한 표를 월요일까지 만들어 오라는 요청을 받았다. 논문은 각각 40~60페이지짜리 PDF였다. 직접 읽으면 하루가 걸린다.

NotebookLM에 세 편을 한 프로젝트로 올렸다. 채팅창이 열렸다. 서연은 바로 물었다.

“세 논문의 주요 결과를 비교해줘.”

답이 빠르게 나왔다. 표 형태로 정리됐고, 각 셀에 논문 번호가 붙어 있었다. 인상적이었다.

그런데 세 번째 논문의 P값이 이상했다. 원문을 찾아보니 0.03이었는데, NotebookLM 답변에는 0.3이라고 나와 있었다. 자리수 하나가 달랐다. 소수점 위치가 바뀌면 통계적 유의성의 의미가 완전히 달라진다.

LLM이 잘 지어내는 이유, 그리고 RAG가 하는 일

LLM은 그럴듯하게 답하는 데 최적화돼 있다. 질문이 모호하면 모호한 대로 채운다. 질문이 구체적이면 구체적인 것처럼 채운다. 그게 학습 방식 자체에서 나오는 특성이다.

NotebookLM이 다른 점은 업로드된 소스를 우선 참조하는 RAG(Retrieval-Augmented Generation) 방식을 쓴다는 것이다. 소스 안에 답이 있으면 그걸 찾아 인용한다. 소스 밖에 있는 정보는 가능하면 말하지 않으려 한다.

하지만 숫자 오류처럼 소스를 잘못 읽는 경우는 여전히 발생한다. 표에서 열이 많거나, 소수점 자리가 맞닿아 있거나, 단위가 모호할 때 오류율이 높아진다.

질문을 좁히는 것이 답의 정확도를 올린다

서연이 처음 물은 방식은 넓었다.

“세 논문의 주요 결과를 비교해줘.”

이걸 이렇게 바꿨다.

“첫 번째 논문 [파일명]의 Table 1, 두 번째 논문 [파일명]의 Table 2, 세 번째 논문 [파일명]의 Table 3을 각각 기준으로, 피험자 수·P값·효과 크기만 비교해줘.”

결과가 달라졌다. 훨씬 좁은 범위에서 찾아오니까, 오류가 줄었다. 그래도 숫자는 원문과 대조했다. 표 안의 숫자는 NotebookLM을 믿지 않는다가 서연의 결론이었다.

오디오 개요는 어떻게 쓰나

NotebookLM의 오디오 개요(Audio Overview)는 논문 전체를 팟캐스트처럼 요약해 준다. 두 명의 합성 진행자가 대화하는 형식으로, 15~20분짜리 오디오가 만들어진다.

서연은 이걸 지하철 출근길에 들었다. 세 편을 미리 훑는 용도로는 좋았다. 어느 논문이 어떤 방법론을 썼고, 어떤 결과를 냈는지 흐름은 파악이 됐다. 그런데 인용할 수 있는 정보는 없었다. 숫자·통계·조건은 책상에서 원문을 봐야 했다.

업로드 전에 확인할 것

회사나 병원 자료를 NotebookLM에 올리기 전에 한 가지를 확인해야 한다. 그 데이터를 외부 서비스에 업로드해도 되는가. Google Workspace 정책과의 연계 방식, 데이터가 학습에 사용되는지 여부는 약관과 정책을 읽어야 알 수 있다.

환자 정보, 미공개 연구 데이터, 사내 기밀 자료는 개인 Google 계정의 NotebookLM에 올리기 전에 보안 담당자와 확인하는 것이 맞다.

끝맺음 — 지하철에서는 듣고, 책상에서는 깐다

서연은 월요일 아침에 교수에게 비교 표를 제출했다. 모든 숫자는 원문 PDF를 열어 하나씩 대조했다. NotebookLM이 준 흐름과 구조는 썼지만, 숫자와 인용은 직접 확인한 것만 넣었다.

오디오 개요는 이어폰으로, 표의 숫자는 PDF 뷰어로. 그게 서연이 쓰는 방식이다.

편집 초안(cu). 업로드 금지 데이터·약관은 조직 정책과 공식 문서를 기준으로 확인.