llms.txt는 무엇이고, 우리 홈페이지에도 꼭 있어야 하는가?
llms.txt는 사이트 맨 앞에 두는 마크다운 문서 한 장으로, AI에게 이 사이트가 무엇을 하는 곳이고 중요한 페이지가 어디인지 알려 주는 안내문이다. robots.txt와는 목적이 다르다 — 하나는 들어와도 되는지를 정하고, 하나는 들어온 다음 무엇을 보면 되는지를 알려 준다. 결론부터 말하면 llms.txt는 지금 시점에서 필수가 아니며, AEO(AI최적화)의 순서로 보면 본문과 구조화 데이터를 정리한 다음 마지막에 얹는 쪽이 맞다.
llms.txt는 무엇인가?
llms.txt는 사이트 최상위 주소에 두는 마크다운 문서 한 장이다(예: 우리도메인.com/llms.txt). 사람이 읽는 페이지가 아니라, AI가 우리 사이트의 정체와 핵심 페이지를 빠르게 파악하도록 목록으로 정리해 둔 안내문에 가깝다.
AI가 홈페이지를 읽을 때 실제로 마주치는 건 메뉴, 배너, 팝업, 스크립트가 뒤섞인 화면이다. 그 안에서 진료 안내가 어디고 비용 안내가 어딘지 찾아내야 하는데, 사이트가 클수록 이 과정에서 엉뚱한 페이지를 집는 일이 생긴다.
llms.txt는 그 수고를 미리 덜어 주자는 발상에서 나온 형식이다. 2024년에 제안된 뒤 개발자 문서 사이트를 중심으로 퍼졌고, 아직 공식 표준으로 확정된 규격은 아니다. 즉 이걸 반드시 읽겠다고 약속한 AI 회사는 없다는 뜻이기도 하다.
robots.txt와 무엇이 다른가?
robots.txt는 출입 규칙이고 llms.txt는 안내문이다. robots.txt로 막으면 AI는 그 페이지를 아예 읽지 않지만, llms.txt는 막거나 여는 힘이 없고 어디부터 보라고 권하는 역할만 한다.
위험의 크기가 다르다는 점이 중요하다. llms.txt는 잘못 써도 손해가 거의 없지만, robots.txt는 한 줄을 잘못 적어 AI와 검색엔진을 동시에 막아 버리는 사고가 실제로 자주 난다.
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤러의 출입 허용·차단 | 사이트 요약과 핵심 페이지 안내 |
| 형식 | 정해진 규칙 문법 | 사람이 읽어도 되는 마크다운 글 |
| 위치 | 도메인 최상위 | 도메인 최상위 |
| 표준 여부 | 오래된 관행이자 사실상의 표준 | 제안 단계, 지원은 서비스마다 다름 |
| 없을 때 | 크롤러가 대체로 전부 읽어 간다 | AI가 사이트를 직접 뒤져 판단한다 |
| 잘못 쓰면 | 노출이 통째로 끊긴다 | 대체로 무시되고 끝난다 |
AI가 우리 사이트를 읽는 것을 막거나 허용하는 건 어디서 정하는가?
llms.txt가 아니라 robots.txt에서 정한다. AI 회사마다 크롤러 이름이 따로 있어서, 이름 단위로 허용하거나 막는 방식이다.
AI 검색에서 우리 병원이나 매장이 언급되기를 바란다면 이 크롤러들을 막을 이유가 없다. 반대로 보안이 필요한 내부 페이지가 있다면 그 경로만 골라 막는 편이 안전하다.
크롤러 이름은 회사 사정에 따라 바뀌거나 늘어난다. 한 번 적어 두고 잊지 말고, 홈페이지를 손볼 때마다 각사 공식 문서로 현재 이름을 확인하는 편이 좋다.
| 크롤러 이름 | 쓰는 곳 | 막으면 생기는 일 |
|---|---|---|
| GPTBot | OpenAI | ChatGPT 쪽 수집에서 제외된다 |
| OAI-SearchBot | OpenAI 검색 | 답변 인용 후보에서 빠질 수 있다 |
| ClaudeBot | Anthropic | Claude 쪽 수집에서 제외된다 |
| PerplexityBot | Perplexity | 출처 목록에 오르지 않는다 |
| Google-Extended | Google 계열 AI | AI 답변 활용 범위에서 빠진다 |
그래서 llms.txt는 꼭 있어야 하는가?
필수는 아니다. 지금까지 확인되는 범위에서 llms.txt 하나로 AI 답변 노출이 늘었다고 단정할 근거는 없고, 없다고 해서 인용에서 빠지지도 않는다. 다만 만드는 데 드는 품이 적어 마지막 정리 단계에서 넣어 두는 정도가 적당하다.
- 먼저 할 일 — 본문질문 형태의 제목과 그 아래 즉답 문단. AI가 실제로 인용해 가는 덩어리는 결국 본문이다. 여기가 비어 있으면 안내문을 아무리 잘 써도 가져갈 내용이 없다.
- 그다음 — 구조화 데이터진료시간, 위치, 연락처처럼 틀리면 곤란한 정보를 기계가 읽는 형식으로 한 번 더 적어 둔다. 오독을 줄이는 효과가 llms.txt보다 분명하다.
- 그다음 — robots.txt 점검AI 크롤러가 막혀 있지 않은지 확인한다. 여기서 막혀 있으면 나머지 작업이 전부 소용없어진다.
- 마지막 — llms.txt위 세 가지가 끝난 뒤 얹는다. 순서를 뒤집어 llms.txt부터 만드는 경우를 종종 보는데, 그 방향으로는 결과가 잘 따라오지 않는다.
llms.txt에는 무엇을 적는가?
사이트가 무엇을 하는 곳인지 한 줄, 그리고 중요한 페이지 주소와 각 페이지가 무엇을 다루는지 한 줄씩이면 기본은 갖춘 것이다. 길게 쓸수록 좋은 문서가 아니라, 사이트에 이미 있는 내용을 정확히 가리키는 문서여야 한다.
- 사이트 한 줄 정의지역, 업종, 주요 진료·서비스를 한 문장에 담는다. 예를 들어 어느 지역의 무슨 과 의원이고 어떤 진료를 주로 하는지까지.
- 핵심 페이지 링크와 설명진료 안내, 의료진 소개, 비용 안내, 오시는 길처럼 손님이 실제로 궁금해하는 페이지부터. 링크마다 한 줄 설명을 붙인다.
- 바뀌지 않는 사실 정보상호, 주소, 대표번호, 진료시간. 간판과 지도 등록 정보와 글자까지 같게 맞춘다. 표기가 갈리면 AI는 다른 곳으로 셀 수 있다.
- 자주 묻는 질문 링크FAQ 페이지가 있으면 가리켜 둔다. 질문과 답이 쌍으로 정리된 페이지는 AI가 특히 잘 집어 간다.
- 넣지 말아야 할 것본문에 없는 주장, 순위나 효과를 단정하는 문구. 병의원은 의료광고법, 소상공인은 표시광고법 검수 대상이라는 점이 llms.txt 안에서도 똑같이 적용된다.
만들고 나서 무엇을 확인해야 하는가?
브라우저 주소창에 우리도메인.com/llms.txt를 직접 쳐서 글이 그대로 보이는지부터 본다. 여기서 404가 뜨거나 파일이 내려받아지면 AI도 읽지 못한다.
- 주소로 열리는지최상위 경로에 있어야 한다. 하위 폴더에 두면 찾지 못한다. 임대형 홈페이지는 최상위에 파일을 올릴 권한이 없는 경우가 있어 미리 확인이 필요하다.
- 적어 둔 링크가 살아 있는지페이지를 개편하면 주소가 바뀐다. 죽은 링크가 섞인 안내문은 없느니만 못하다.
- 본문과 어긋나지 않는지진료시간을 홈페이지에서 고쳤는데 llms.txt는 예전 그대로면, AI가 어느 쪽을 집을지는 알 수 없다. 정보를 바꿀 때 같이 고치는 습관이 필요하다.
- 실제 답변이 달라졌는지ChatGPT, Gemini, Claude, Perplexity, Grok에 같은 질문을 넣고 답이 어떻게 바뀌는지 주기적으로 본다. 변화는 대체로 몇 주 단위로 나타나며, 사례에 따라 차이가 크다.
자주 묻는 질문
- llms.txt를 넣으면 AI 답변에 우리 병원이 나오나요?
- 그것만으로는 어렵습니다. AI가 답변에 인용하는 건 결국 본문 내용이고, llms.txt는 그 본문을 더 빨리 찾게 돕는 안내문에 가깝습니다. 본문이 비어 있으면 안내문이 가리킬 대상이 없습니다.
- robots.txt에서 AI 크롤러를 막으면 AI 답변에도 안 나오나요?
- 수집이 막히면 인용 후보에서 빠질 가능성이 큽니다. 다만 다른 사이트에 실린 우리 병원 언급까지 막을 수는 없어서, 정보가 우리 홈페이지가 아닌 곳을 근거로 전달되는 상황이 생깁니다.
- llms.txt와 llms-full.txt는 무엇이 다른가요?
- llms.txt는 목차에 가깝고, llms-full.txt는 본문 전체를 한 파일에 담은 형태입니다. 페이지 수가 많지 않은 병원이나 매장 홈페이지라면 목차 한 장으로 충분한 경우가 대부분입니다.
- 네이버 모두, 카페24 같은 임대형 홈페이지에도 올릴 수 있나요?
- 최상위 경로에 파일을 올릴 수 있어야 하는데, 임대형 서비스는 이 권한을 열어 주지 않는 경우가 많습니다. 올릴 수 없다면 llms.txt에 매달리기보다 본문 구성과 구조화 데이터 쪽에 품을 쓰는 편이 낫습니다.