User-agent: *
Allow:
# si indicas carpetas los robos las omitiran
Allow: /