Je pravdou, že mnozí se začali obávat nejhoršího, že nás vlastně nahradí stroje, které budou provádět i poměrně důležité úkony jako jsou pohovory do zaměstnání, pracovat na recepci nebo dokonce na operačních sálech. Starší občané to mají za zlé mladým lidem, kterým se moc fyzická práce nezamlouvá a tím vlastně upadá mnoho řemeslných oborů. Jak to všechno ale dopadne je hudbou budoucnosti. S roboty se ale běžně setkáváme na internetu. Je pravda, že nejsou vidět, přesto se zde pohybují a provádí různé akce. Některé jsou i prospěšné, jelikož dokážou upozornit na některé celkem kvalitně zpracované webové stránky. Ovšem všeho moc škodí, tak je to i v tomto případu. Mnohdy musí zasáhnout lidská ruka do tvorby textu nebo uspořádání webu.
Tohle je naše soukromí
Roboti, kteří se pohybují na internetových stránkách různých webů, jsou na jednu stranu prospěšní, jelikož svým prohledáváním a procházením si každou stránku stáhnou na svůj pevný disk a poznamenají si jejich URL adresu, tím si ji vlastně označí, aby ji nenavštěvovali opakovaně. Na další místa se dostanou skrze hypertextové odkazy v textu. Je pravda, že pracují cyklicky, tudíž se sem zase pro kontrolu za čas vrátí. Jenomže i my máme ve svých textech nebo webech místa, kde je rozhodně nechceme. Jedinou možnou cestou je zkrátka jim přístup zakázat, což není problém pro někoho, kdo ví jak to provést. Robots.txt je přesně to, co bude k zákazu potřebovat. Jedná se o textový soubor, který je umístěný v kořenovém adresáři webu. S tímto by bylo lepší se obrátit na odborníky, kteří tento protokol ví ihned kam umístit, aby vše fungovalo bez problémů.
Tady se nic stahovat nebude
Některé stránky by totiž mohly být návštěvou robotů ovlivněny, ovšem negativně a to zrovna nepotřebujeme. Když jim ale dáme jasný zákaz, tak nefungují jako zvědavci, že když je něco zakázané, tak se to musí prozkoumat. Zkrátka zákaz respektují a my se na to můžeme spolehnout. Především jsou to stránky, které slouží k administraci, případně jsou placené, na některých místech v e-shopech atd. Roboti, kteří zavítají na náš web, tak nejprve se dívají po tomto souboru, když zde není, tak se zde vesele mohou procházet. Když je přístup omezený nebo úplně plně zakázaný, tuto skutečnost respektují.