악성 봇 차단 리스트 및 robots.txt 가이드

[U-Information] 02. 봇의 목적과 종류[robots.txt] - 좋은 봇, 나쁜 봇 (Bots Overview, Types-Good Bots, Bad Bots)

봇의 목적 봇(Bot)이란? 인터넷 봇(Internet bot), 웹 로봇(web robot), WWW 로봇(WWW robot), 단순히 봇(bot)은 인터넷 상에서 자동화된 작업(스크립트)을 실행하는 응용 소프트웨어입니다. 봇은 인간이 하는 행동을 흉내 내도록 만들어지며, 검색엔진의 웹 크롤러는 웹 사이트 정보를 자동으로 읽어들여 저장하는 프로그램입니다. 이외에도 인터넷 채팅에서 자동 응답을 하도록 만든 채터 봇 프로그램 등이 있으며, 각 서버는 봇이 따를 서버 규칙이 포함된 robots.txt라는 이름의 파일을 소유하고 있습니다. 일부 봇들은 악의적인 목적으로도 이용되기 하며, 자기 복제 기능을 가지기도 합니다. 봇의 종류 1Noonbot 1 Noonbot이란? 첫눈(http://www.1noon.c..

https://pitsec.tistory.com/49

# Block Unknown Crawler
User-agent: AhrefsBot
Disallow: /
User-agent: BaiDuSpider
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: IDBot
Disallow: /
User-agent: linkdexbot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: mfibot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Plukkie
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: XoviBot
Disallow: /
 
# Default Setting
User-agent: *
Allow: /
Disallow: /login
Disallow: /logout
 
Sitemap: https://erulabo.com/sitemap.xmlCopy