User-agent: Yandex
Disallow: /url.php # блокирует доступ к страницам начинающимся с '/url.php'
Disallow: /engine/