User-agent: * allow: *.js allow: *.css allow: *.png allow: *.jpg allow: *.gif Allow: /