User-agent: *  
Disallow: /  
   
User-agent: Yandex    # указания только для робота "Yandex" 
Disallow:    # разрешает доступ ко всем страницам и директориям сайта 

User-agent: msnbot
Disallow:

User-agent: StackRambler
Disallow:

User-agent: Googlebot
Disallow: