# AI 검색·답변 엔진 크롤러를 명시해 둔다(GEO). 따로 그룹을 만들지 않고 * 와 같은 그룹에 둔다 — # 이름으로 따로 묶으면 그 크롤러는 * 그룹을 무시해서 아래 Disallow 가 안 걸린다. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Yeti User-agent: Bingbot User-agent: Applebot User-agent: DuckAssistBot User-agent: MistralAI-User # 아래는 검색이 아니라 AI 모델 학습용 토큰이다. 바로웹이 AI 답변에 인용·언급되도록 명시 허용한다 (2026-09-16 결정) User-agent: Google-Extended User-agent: Applebot-Extended User-agent: anthropic-ai User-agent: CCBot User-agent: meta-externalagent User-agent: * Allow: / # 관리자·시스템 경로는 색인 대상이 아니다. # adm.cream(난독화한 관리자 경로)과 dbconfig.php 는 일부러 적지 않는다. # robots.txt 는 접근 통제가 아니라 공개 문서라, 적는 순간 위치를 알려 주는 표지판이 된다. # 관리자 페이지는 외부 링크가 없어 어차피 크롤링되지 않는다. # /plugin/ 도 막지 않는다. page/why_baro.php 가 jquery-ui.min.js / jquery-ui.css 를 # 여기서 불러오므로 막으면 구글 렌더링에서 "차단된 리소스" 로 잡힌다. Disallow: /adm/ Disallow: /install/ Disallow: /bbs/login.php Disallow: /bbs/register.php Disallow: /bbs/password.php Disallow: /bbs/formmail.php Disallow: /bbs/current_connect.php # data/ 는 통째로 막으면 안 된다. 포트폴리오(/data/portfolio)·디자인샘플(/data/design) # 썸네일과 게시판 첨부(/data/file)가 전부 여기 있어서 이미지 검색 노출이 사라진다. # 내부용 디렉터리만 골라서 막는다. Disallow: /data/cache/ Disallow: /data/session/ Disallow: /data/tmp/ Disallow: /data/log/ Disallow: /data/member/ # 디자인샘플 미리보기용 iframe 껍데기 (본문 없음, 문서 자체에도 noindex) Disallow: /page/de_view_pc.php Disallow: /page/de_view_mo.php Sitemap: https://www.baroweb.kr/sitemap.xml