Co znamená Robot v SEO?

Robot, nebo také crawler nebo pavouk, je to počítačový program, který automaticky prohledává internet a indexuje obsah webových stránek.