User-agent: *
Disallow: /cgi
Disallow: /cgi-bin

# Инструкции для всех роботов
User-agent: Yahoo! Slurp
Disallow: /

# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:

# Инструкции для робота Гугля
User-agent: googlebot
Disallow:

# Инструкции для робота Яндекс
User-agent: Yandex
Disallow: