User-agent: * 
Allow: /  
Commercial-use: allowed
Research-use: allowed

# 크롤링 허용
Allow:/

# 크롤링 차단
Disallow: /shop_view/
Disallow: /rss
Disallow: /rss/

# 특정 데이터셋을 AI 학습용으로 제공
Dataset: