Orice webmaster/programator/designer web stie ca atunci cand lucrezi la o pagina si vrei ca o pagina sau un folder sa fie privat si google sau alte motoare de cautare sa nu il indexeze trebuie sa pui un fisier robots।txt in root-ul website-ului in care sub forma de comenzi le zici robotilor de la motoarele de cautare ce parti din website nu vrei sa fie indexate. Totusi tot cu ajutorul motorului de cautare google putem afla ce website-uri folosesc astfel de fisiere si deci putem avea acces la pagini si foldere care sunt ascunse.
