Uno spider (o crawler) è un software automatico (bot o script) che analizza i contenuti di una rete (o di un database) in modo metodico.

Viene utilizzato comunemente sul Web dai motori di ricerca per esaminare tutte le pagine di tutti i siti internet al fine di effettuare una indicizzazione delle pagine.

Per fare ciò, lo spider parte da una lista di URL fornita dallo stesso motore di ricerca (precompilata dai programmatori stessi oppure suggerita da utenti)  e uno per volta, comincia ad analizzare tutti documenti a cui riesce ad accedere, creando per ognuno una breve descrizione del contenuto e salvandola nel database del motore di ricerca.

Inoltre si fa carico di analizzare tutti gli hyperlink presenti nei suddetti documenti e di aggiungerli alla sopra citata lista di URL, in modo da automatizzare il processo di aggiornamento ampliando e migliorando il risultato del suo lavoro.

Gli spider possono essere indirizzati tramite il file "robots.txt" presente nella root dei vari siti.

Alcuni degli spider più famosi, con a fianco il nome del motore di ricerca proprietario :

• googlebot - Google;
• scooter - Altavista;
• slurp - Inktomi / Yahoo!;
• ia_archiver - Alexa.