[사이트 소개] AI가 논문을 지어내지 못하게 만든 검색엔진, Consensus
글을 쓰다가 AI에게 이렇게 물어본 적 있으실 겁니다.
"이 주장을 뒷받침하는 논문 좀 알려줘."
돌아오는 답은 꽤 그럴듯합니다. 제목, 저자, 연도가 깔끔하게 정리되어 있고 저널 이름까지 붙어 있습니다. 친절하게 DOI를 달아주기도 합니다.
그런데 검색해 보면 나오지 않습니다.
제목을 그대로 넣어도, 저자 이름으로 찾아도, DOI를 눌러도 없습니다.
애초에 그런 논문이 없었기 때문입니다. 모델이 제목과 저자와 연도를 그럴듯한 모양으로 조립해 낸 것이죠.
이전 글에서 다룬 할루시네이션이 학술 자료에서 나타나는 모습입니다.
학술 자료에서 이 문제는 세 갈래로 나타납니다.
1. 없는 논문을 지어내는 것.
2. 출처 없이 기억만으로 틀린 답을 내놓는 것.
3. 논문은 제대로 가져왔는데 그 내용을 잘못 읽는 것.
그렇다면 이런 질문이 남습니다.
그래서 어떻게 막나요?
오늘 소개할 Consensus가 그 답 중 하나입니다.
이 도구는 구조 자체를 바꿔서, 가짜 논문을 만들어내는 일이 애초에 일어날 수 없게 설계했습니다.
1. Consensus는 챗봇이 아니다
가장 먼저 짚고 넘어가야 할 부분입니다.
Consensus는 ChatGPT 같은 대화형 챗봇이 아닙니다.
AI를 쓰는 학술 검색엔진입니다.
이름부터가 '합의(Consensus)'입니다. 한 편의 논문이 아니라 학계 전체가 어떻게 보고 있는지를 알려주겠다는 뜻이죠.
현재 2억 2천만 편이 넘는 학술 논문을 검색 대상으로 삼고 있습니다.
Consensus는 검색한 논문 안에서만 답을 만듭니다.
앞의 두 갈래는 여기서 상당 부분 차단됩니다. 검색 결과에 없는 논문은 인용할 방법 자체가 없으니까요.
세 번째는 남습니다. 이 얘기는 4장에서 따로 하겠습니다.
2. 핵심은 순서입니다: 검색이 먼저, AI는 나중
Consensus의 가장 큰 특징은 순서입니다.
챗봇에게 논문 이야기를 물으면, 검색을 할 수도 있고 안 할 수도 있습니다. 모델이 필요하다고 판단할 때만 합니다.
그리고 검색을 하더라도 찾는 곳은 웹 전체입니다.
Consensus는 이와 다르게 선택지가 없습니다.
질문이 들어오면 무조건 논문부터 찾습니다. 찾는 곳은 2억 2천 편이 넘는 학술 데이터베이스입니다.
대부분 동료 심사를 거친 저널 논문이고, 학회 발표문과 프리프린트가 일부 섞여 있습니다.
그래서 답에는 반드시 논문이 붙습니다.
관련 논문을 못 찾으면 없다고 알린다는 것이 Consensus 측 설명입니다.
실제로는 세 단계를 거칩니다. [1]
1단계. 두 가지 방식으로 동시에 검색합니다
하나는 의미 검색입니다.
AI 임베딩(Embedding)을 써서 질문의 의도를 파악합니다. 단어를 맞추는 게 아니라 뜻을 맞추는 방식이라, 표현이 달라도 같은 얘기를 하는 논문을 찾아냅니다. 키워드를 나열하지 않고 자연어 문장으로 물어도 알아듣는 이유가 여기 있습니다.
임베딩이 뭔지 궁금하시다면? 아래 링크 글을 참고하세요.
[AI][용어] 임베딩(Embedding)이란? AI가 단어를 '숫자'로 이해하는 법
다른 하나는 키워드 검색입니다.
BM25라는 방식을 씁니다.
1990년대부터 쓰인 방식으로, 질문에 든 단어가 논문에 실제로 등장하는지를 셉니다. 흔한 단어는 낮게, 드문 단어는 높게 칩니다.
30년 넘은 기법을 왜 아직 쓸까요. 임베딩이 정확한 이름에 약하기 때문입니다. 모델 버전, 데이터셋 이름, 낯선 약어는 의미 공간에서 뭉개져 비슷한 것들과 섞입니다. 이런 건 글자 그대로 찾는 쪽이 정확합니다.
반대로 키워드만 보면 같은 내용을 다른 용어로 쓴 논문을 통째로 놓칩니다. 한쪽만 쓰면 놓치는 게 생깁니다.
그래서 둘을 같이 돌리고 결과를 합칩니다.
2단계. 1,500편을 연구의 무게로 다시 줄 세웁니다
1단계를 통과한 상위 1,500편을 가져옵니다. 여기서는 질문과 얼마나 맞는지만 보지 않습니다. 최신성, 인용 수, 저널의 영향력까지 함께 반영합니다.
1,500편은 어디까지나 훑는 범위이고, 실제로 기준을 통과하는 건 그보다 훨씬 적습니다.
3단계. 상위 20편만 정밀하게 다시 봅니다
여기서 더 크고 정확한 모델을 꺼냅니다. 무거워서 전체에는 못 돌리고 상위 20편에만 적용합니다. 속도와 정확도를 맞바꾼 설계입니다.
이렇게 남은 20편으로 요약을 만들고, 모든 문장에 인용을 답니다. 클릭하면 원 논문으로 바로 갑니다.
화면에 'Pro · 4 steps'로 뜨는 건 여기에 초록과 PDF를 읽는 단계가 하나 더 붙기 때문입니다.
3. 실제 화면을 뜯어봅시다
말로만 설명하면 감이 잘 안 옵니다. 직접 검색해 본 화면을 놓고 하나씩 보겠습니다.
질문은 이걸 넣었습니다.
How does AI chatbot use affect student learning? (AI 챗봇 사용이 학생의 학습에 어떤 영향을 주는가?)
3.1. 왼쪽 위 · 6,610만 편에서 20편까지
답변 위쪽의 'Pro · 4 steps'를 펼치면 이런 숫자가 나옵니다.
| Retrieved (검색됨) | 66,100,000 |
| Eligible (적격) | 128 |
| Included (포함됨) | 20 |
6,610만 편에서 시작해 20편으로 끝납니다.
이 세 숫자가 Consensus의 작동 방식을 그대로 보여줍니다.
Retrieved, Eligible, Included라는 숫자는 검색 범위가 좁혀지는 과정을 보여줍니다.
다만 이 숫자를 앞서 설명한 1,500편 재랭킹 과정과 일대일로 대응시키기는 어렵습니다.
여기서 중요한 건 수치 자체보다 넓게 찾고, 관련 후보를 추린 뒤, 최종적으로 일부 논문을 답변에 사용한다는 흐름입니다.
맨 아래 줄인 Read · Abstracts and PDFs · 20 은 최종 후보 논문들의 초록과, 이용 가능한 경우 PDF 원문까지 분석했다는 뜻입니다.
논문을 써보신 분이라면 이 구조가 낯설지 않을 겁니다.
검색된 문헌이 선별 과정을 거쳐 최종 논문으로 좁혀진다는 점에서 PRISMA 흐름도를 떠올리게 합니다.
검색된 수, 스크리닝 통과 수, 최종 포함 수를 단계별로 밝히게 되어 있죠.
학술 도구답게 만들려는 의도가 읽히는 부분입니다.
3.2. 검색어 확인해보기
같은 화면에 Consensus가 실제로 돌린 검색어가 나열됩니다.
질문 하나를 여러 각도로 나눠 검색합니다.
세 번째 검색어를 보면 conversational agents라는 표현이 들어가 있습니다. 제가 처음 넣은 질문에는 없던 말입니다.
학계에서는 챗봇을 conversational agent라고 부르는 논문도 많습니다. 만약 chatbot이라는 표현만 그대로 검색했다면, 이런 논문들은 놓칠 수 있습니다.
여기서 중요한 점이 하나 있습니다.
이 표현을 새로 만들어 넣은 것은 임베딩이 아닙니다. 임베딩은 이미 만들어진 검색어와 논문 사이의 의미적 유사성을 비교하는 단계에서 작동합니다.
반면, 이 표현이 추가된 것은 임베딩 자체의 역할이라기보다, Research Agent가 질문을 분석해 검색 질의를 분해·확장하는 과정으로 볼 수 있습니다.
질문을 받으면 모델이 먼저 판단합니다.
“이 질문은 몇 가지 관점으로 나눠 찾아야겠다.”
“학계에서 사용하는 다른 표현도 함께 검색해야겠다.”
이처럼 원래 질문을 바탕으로 관련 표현이나 유사 개념을 추가해 검색 범위를 넓히는 것을 질의 확장(Query Expansion)이라고 합니다. 하나의 질문을 입력했는데 여러 개의 검색어가 생성되는 이유가 바로 여기에 있습니다.
그리고 이 점이 일반적인 챗봇과 Consensus 를 구분하는 중요한 차이입니다.
챗봇이 받은 질문을 그대로 처리하는 것과 달리, Consensus는 검색어를 몇 개로 쪼갤지, 어떤 학술 용어를 끼워 넣을지를 답보다 먼저 정합니다.
3.3. 가운데 · 결론과 인용 마커
굵은 글씨로 결론부터 한 줄 나옵니다.
AI chatbots improve learning outcomes overall, but effects vary by domain, duration, and pedagogical integration.
(전반적으로는 학습 성과를 향상시키지만, 분야와 기간, 수업 설계 방식에 따라 효과가 달라진다)
그 아래 본문에는 문장이 끝날 때마다 RONG 2023, DENG 2023, ESSEL 2022 같은 표시가 붙습니다.
이게 인용 마커입니다. 그 주장의 근거가 된 논문이죠. 한 문장에 세 개가 붙기도 합니다.
특히 눈여겨볼 부분은 아래쪽입니다.
However, evidence is mixed for certain outcomes.
(다만 일부 결과에서는 근거가 엇갈린다)
좋은 얘기만 모아놓고 끝내지 않습니다. 비판적 사고와 학습 몰입에는 부정적이었다는 메타분석 결과를 스스로 꺼냅니다.
3.4. 오른쪽 · References 패널
인용 마커에 등장한 논문들의 실물입니다. 마커와 패널이 정확히 대응합니다. RONG 2023은 1번 논문(Wu Rong et al., 2023)입니다.
카드 하나에 이런 정보가 들어 있습니다.
- 제목
- KEY TAKEAWAY · 핵심 결론 한 줄 요약
- SUPPORTING QUOTES · 근거가 된 원문 인용구 (1번 논문은 11개)
- 연구 설계 배지 · META-ANALYSIS, RCT 등
- 연도와 인용 수 · 2023년, 481회 인용
- 저자와 게재 저널
- PDF 아이콘 · 오픈액세스면 바로 내려받기
여기서 가장 중요한 건 SUPPORTING QUOTES입니다.
AI 요약을 못 믿겠다면, 눌러서 논문 원문 문장을 직접 확인할 수 있습니다. 도입부에서 이야기한 '검색해도 나오지 않는 논문'과 정확히 반대되는 지점입니다.
연구 설계 배지도 매우 중요합니다. 메타분석은 여러 연구를 종합한 것이라 근거의 무게가 다르고, RCT는 무작위 대조 실험입니다. 연구가 어떤 설계로 수행됐는지를 판단하는 중요한 단서가 됩니다.
3.5. 화면 한 장에서 읽어내야 할 것
1번과 2번 논문을 나란히 놓고 한 번 보겠습니다.
둘 다 메타분석이라는 점에서 연구 설계 유형은 같습니다.
그런데 결론은 같은 방향을 가리키지 않습니다.
- 1번 · AI 챗봇이 학생의 학습 성과를 유의미하게 향상시킨다
- 2번 · 향상시키지만, 비판적 사고와 학습 몰입, 동기에는 부정적일 수 있다
같은 연구 설계 유형의 두 연구가 서로 다른 방향을 가리키고 있습니다.
만약 1번만 보고 "메타분석 결과 AI 챗봇은 학습에 효과적"이라고 썼다면, 틀린 말은 아니지만 절반만 말한 것입니다.
3번 논문도 그렇습니다. 가나 고등교육 기관에서 진행된 무작위 대조 실험이고 결과는 긍정적입니다.
그런데 이걸 한국 초등학교에 그대로 적용할 수 있을까요?
화면 한 장이 이 모든 걸 동시에 보여줍니다. 검색 결과를 훑는 것만으로 "이 분야는 아직 결론이 안 났구나"를 알게 됩니다.
이게 논문 한 편만 던져주는 도구와의 차이입니다.
4. 할루시네이션을 완벽하게 해결하지는 못합니다
앞에서 말한 세 갈래로 돌아가 보겠습니다. 이 분류는 Consensus가 직접 밝힌 것입니다. [2]
Consensus는 검색한 논문 안에서만 답을 만듭니다.
그래서 첫 번째, 없는 논문을 지어내는 일은 구조적으로 막힙니다. 검색 결과에 없으면 쓸 수가 없으니까요.
두 번째도 크게 줄어듭니다. 다만 완전히 사라지진 않습니다. 요약을 만드는 건 결국 언어 모델이니까요.
남는 건 세 번째입니다. 논문은 제대로 가져왔는데, 그 내용을 잘못 읽는 경우죠.
질문의 조건과 어긋나는 논문이 섞일 수 있습니다.
이건 구조로 막을 수 없습니다. 읽는 사람이 확인해야 하는 몫입니다.
5. Consensus Meter: 논문 한 편으로 단정하지 않기
이 도구의 간판 기능입니다. 2023년에 처음 나왔고, 2025년 2월에 2.0으로 개편됐습니다. [6]
예/아니오로 답할 수 있는 질문을 넣으면, 상위 20편의 논문을 AI가 분류해서 막대로 보여줍니다. [7]
앞서 본 검색 화면에는 이 미터가 없었습니다. 제 질문이 예/아니오로 답할 수 있는 형태가 아니었기 때문입니다.
분류는 네 가지입니다.
- Yes (그렇다)
- Possibly (아마도)
- Mixed (혼재)
- No (아니다)
Consensus가 공식 예시로 제시하는 질문들은 이렇습니다. [6]
- "크레아틴이 인지 능력을 향상시키는가?"
- "비타민 C가 독감 증상에 도움이 되는가?"
- "스타틴이 고령 환자에게 효과적인가?"
직접 해보실 거라면 비타민 C와 독감을 넣어보시길 권합니다. 오래된 논쟁이라 논문이 충분히 쌓여 있고, 결과가 한쪽으로 시원하게 쏠리지 않아서 미터의 쓸모가 잘 드러납니다.
한 가지 조건이 있습니다. 분류 가능한 논문이 5편 이상 나와야 미터가 뜹니다. [7]
너무 좁은 질문을 넣으면 아무것도 안 나오니, 안 뜨면 질문을 넓히면 됩니다.
6. 무료로 어디까지 되나요
계정만 만들면 꽤 넉넉하게 쓸 수 있습니다. 구글 계정으로 바로 가입됩니다. [3]
검색 모드가 세 가지인데, 무료 한도가 각각 다릅니다.
| Paper Search(구 Quick) | 관련 논문 목록 | 무제한 | 개념 가볍게 확인 |
| Pro message | 20편 | 월 15회 | 인용 근거 찾기 |
| Deep review | 50편 | 월 3회 | 문헌 리뷰 수준 정리 |
Paper Search(구 Quick)는 무료 계정에서도 무제한으로 사용할 수 있습니다. AI가 답을 요약해 주는 대신, 검색어와 관련된 논문 목록을 보여줍니다. 어떤 논문이 있는지 빠르게 찾아보고 출처를 훑을 때 유용합니다.
Pro message 는 월 15회입니다. 앞에서 화면으로 뜯어본 게 이 모드입니다. 논문 20편을 읽고 문장마다 인용을 붙여줍니다. 한도가 빠듯하니 질문을 다듬어서 넣는 게 좋습니다.
Deep review 는 월 3회입니다. 논문 50편을 바탕으로 문헌 리뷰 수준의 정리를 만들어 줍니다. 검색창 옆 'Deep' 버튼으로 켭니다. [9]
필터도 유용합니다. [3]
- 검색 범위: 전체 2억 2천만 편 또는 Medical Mode 약 800만 편 + 임상 가이드라인 5만 건
- 출판 연도: 최근 논문만 보기
- 저널 등급: 1~4분위 중 선택
특히 저널 등급 필터가 좋습니다. 상위 분위 논문만 남기면 결과의 질이 확 올라갑니다.
7. 제대로 쓰려면 알아야 할 네 가지
제대로 쓰려면 다음과 같은 네 가지를 기억하세요.
첫째, 영어 검색으로 시도해보세요.
한국어 질문도 사용할 수 있지만, 제가 직접 비교해 본 범위에서는 영어로 핵심 연구 용어를 넣었을 때 원하는 논문을 더 쉽게 찾는 경우가 있었습니다
영어가 부담스러우면 번역기를 한 번 거치면 됩니다. 문장이 완벽할 필요는 없습니다.
둘째, 키워드가 아니라 문장으로 물어보세요.
공식 안내는 키워드 검색도 잘 통한다고 말합니다. 다만 Consensus가 임베딩으로 의도를 파악하는 구조인 만큼, 물어볼 것이 분명하다면 문장 쪽이 유리합니다.
Consensus가 잘 통한다고 소개하는 검색 방식은 다섯 가지입니다. [8]
키워드 / 개방형 주제 / 특정 논문·저자명 / 단순 연구 질문 / 예·아니오 질문
셋째, 저널 등급 필터를 먼저 켜세요.
기본 상태로 검색하면 결과가 뒤섞여 나옵니다. 필터에서 1분위 저널만 남겨보세요.
논문 수는 줄지만 남는 것들의 무게가 다릅니다. 인용할 근거를 찾는 상황이라면 이쪽이 훨씬 빠릅니다.
넷째, Deep 모드는 아껴 쓰세요.
무료 계정은 한 달에 세 번뿐입니다.
기본 검색으로 주제의 지형을 먼저 훑고, 질문이 충분히 다듬어졌을 때 Deep을 쓰는 순서가 좋습니다. 다듬어지지 않은 질문에 Deep을 쓰면 50편을 읽고도 원하는 답이 안 나옵니다.
8. 한계점
장점이 많은 도구지만, 한계도 분명합니다.
먼저, 질문의 세부 조건을 놓칠 수 있습니다.
Consensus가 스스로 밝힌 한계인데, 예시가 아주 명확합니다. [7]
"이부프로펜은 성인이 복용해도 안전한가?"라고 물었다고 해봅시다.
검색 결과 중에 "이부프로펜은 어린이에게 안전하고 내약성이 좋았다"는 논문이 있으면, 모델이 이걸 'Yes'로 분류해 버릴 수 있습니다.
성인을 물었는데 어린이 연구가 답으로 집계되는 겁니다.
미터의 숫자만 보고 넘어가면 안 되는 이유가 여기 있습니다. 어떤 논문이 어떻게 분류됐는지는 미터 아래에서 직접 확인할 수 있으니, 중요한 판단이라면 꼭 열어보셔야 합니다.
둘째, 일반 지식 질문에는 맞지 않습니다.
정의를 묻거나 잡학을 물어보는 도구가 아닙니다. 연구 질문을 탐색하는 도구입니다. [4]
셋째, 도서관 데이터베이스를 대체하지 않습니다.
이 도구를 도입한 미국 대학 도서관들도 이 점을 분명히 합니다. [5]
본격적인 문헌 조사는 여전히 전문 DB로 해야 합니다.
넷째, 의학 쪽에 크게 쏠려 있습니다.
이게 정말 큰데 PubMed 전체가 들어가 있는 반면, 공학이나 교육학처럼 학회 논문 중심인 분야는 상대적으로 약합니다. 전공에 따라 체감 차이가 큽니다.
다섯째, 한국어 논문은 사실상 검색되지 않습니다.
국내 학술지 자료가 필요하면 RISS나 DBpia를 쓰셔야 합니다. 해외 논문에 국한되어있다는 한계가 있습니다.
마지막으로 상위 20편이 상한입니다.
앞에서 본 화면을 보면 알 수 있듯이 적격 판정을 받은 논문이 128편이었는데, 실제로 답변에 쓰인 건 20편이었습니다. 나머지 108편은 반영되지 않습니다.
빠르게 논문 전체의 지형을 훑는 데는 충분하지만, "빠짐없이 검토했다"고 말할 수는 없습니다. 체계적 문헌고찰용 도구는 아닙니다.
9. 결론
Consensus가 특별한 건 순서를 바꿨다는 점입니다.
AI에게 먼저 답하게 하고 나중에 출처를 붙이면, 없는 출처가 끼어들 위험이 있습니다.
반대로 먼저 논문을 찾고, 찾은 자료 안에서만 답하게 하면 그 위험을 구조적으로 크게 줄일 수 있습니다.
같은 언어 모델을 쓰는데 결과가 달라집니다. 바꾼 건 모델이 아니라 일하는 순서였습니다.
AI를 잘 쓰는 방법이 더 좋은 모델을 찾는 것만은 아닙니다. 어떤 순서로 일하게 만들지도 그만큼 중요합니다.
함께 읽으면 좋은 글
- AI가 '그럴듯하게 틀리는' 진짜 이유 (할루시네이션)
- RAG란? AI가 최신 정보를 아는 방법
- [AI][용어] 임베딩(Embedding)이란? AI가 단어를 '숫자'로 이해하는 법
출처
[1] Consensus Help Center, How Consensus Works — https://help.consensus.app/en/articles/9922673-how-consensus-works
[2] Consensus Blog, How It Works & FAQ — https://consensus.app/home/blog/how-consensus-works/
[3] Campbellsville University LibGuides, Consensus AI: How to Use — https://campbellsville.libguides.com/AI-as-a-research-tool/consensus
[4] Ohio University Libraries, University Libraries Adds Powerful AI Search Engine for Academic Research — https://www.ohio.edu/news/2025/09/university-libraries-adds-powerful-ai-search-engine-academic-research
[5] Bentley University Library, What Is Consensus AI? — https://www.bentley.edu/library/in-the-know/what-is-consensus-ai
[6] Consensus Blog, Introducing: Consensus Meter 2.0 — https://consensus.app/home/blog/new-consensus-meter/
[7] Consensus Help Center, The Consensus Meter — https://help.consensus.app/en/articles/10069920-the-consensus-meter
[8] Consensus Blog, How to Search & Best Practices — https://consensus.app/home/blog/maximize-your-consensus-experience-with-these-best-practices/
[9] Consensus Help Center, How to Use Deep Review — https://help.consensus.app/en/articles/11740827-how-to-use-deep-review
본 글의 기능 및 요금 정보는 2026년 8월 기준이며, 서비스 정책에 따라 변경될 수 있습니다.