http://www.entartete-kunst.com/spidertrap/ 2+2=5 Fri, 21 Nov 2008 12:30:55 +0000 http://wordpress.org/?v=0.8.15 http://www.entartete-kunst.com/spidertrap/#comment-6390 Sun, 18 Feb 2007 14:33:24 +0000 http://www.entartete-kunst.com/spidertrap/#comment-6390 [...] Wenn du das Gros der Suchmachinen, wie Google, davon abhalten möchtest, deinen Blog in deren Suchergebnisse aufzunehmen, kannst du eine spezielle Datei erstellen, die diesen Suchdiensten die Indizierung deiner Domain untersagt. Die Datei nennt sich robots.txt oder Robots Text File. Du kannst diese auch dazu nutzen, um Suchmachinen den Zugang zu bestimmten Teilen deines Blogs zu verwehren. Wenn du nicht weißt, wie das du anstellen mußt, dann kannst du einen Generator für diese Aufgabe nutzen, kostenlos beispielsweise bei Searchcode.de. Jedoch ist es wichtig zu wissen, das einige Suchmaschinen möglicherweise die Datei robots.txt ignorieren, und dadurch deinen Blog so leichter auffindbar machen. Es gibt eine große Anzahl von Programmen und Tricks, um das zu verhindern. (siehe hier und hier z.B.) [...] [...] Wenn du das Gros der Suchmachinen, wie Google, davon abhalten möchtest, deinen Blog in deren Suchergebnisse aufzunehmen, kannst du eine spezielle Datei erstellen, die diesen Suchdiensten die Indizierung deiner Domain untersagt. Die Datei nennt sich robots.txt oder Robots Text File. Du kannst diese auch dazu nutzen, um Suchmachinen den Zugang zu bestimmten Teilen deines Blogs zu verwehren. Wenn du nicht weißt, wie das du anstellen mußt, dann kannst du einen Generator für diese Aufgabe nutzen, kostenlos beispielsweise bei Searchcode.de. Jedoch ist es wichtig zu wissen, das einige Suchmaschinen möglicherweise die Datei robots.txt ignorieren, und dadurch deinen Blog so leichter auffindbar machen. Es gibt eine große Anzahl von Programmen und Tricks, um das zu verhindern. (siehe hier und hier z.B.) [...]

]]> http://www.entartete-kunst.com/spidertrap/#comment-6128 Mon, 05 Feb 2007 16:33:32 +0000 http://www.entartete-kunst.com/spidertrap/#comment-6128 [...] Da gibts die robots.txt zum einen, mitunter um Sachen wie AboutUs.org vorzubeugen. Das ist alles gut und schön, solange sich die Bots auch daran halten. Tun die meisten aber leider nicht und für solche Bots läuft hier Spidertrap, welche mir gerade bewies, das es noch funktioniert, weil ich nämlich dämlicherweise den Link nach einem gesperrten Verzeichnis benamste. Wird solch ein Verzeichnis aufgerufen, bannt Spidertrap diese IP automatisch in der htaccess und beantwortet von nun an Anfragen dieser IP mit einer 403. Verboten. Ausgesperrt. Für menschliche Fehlklicker besteht in solchem Fall die Möglichkeit sich selbst mittels eines Captchas (jaja...) freizuschalten. Wer mag, kanns einfach mal testen. Ausserdem gibts da noch ne Whitelist. Läuft ebenso auf mehreren Servern völlig problemlos bei mir. [...] [...] Da gibts die robots.txt zum einen, mitunter um Sachen wie AboutUs.org vorzubeugen. Das ist alles gut und schön, solange sich die Bots auch daran halten. Tun die meisten aber leider nicht und für solche Bots läuft hier Spidertrap, welche mir gerade bewies, das es noch funktioniert, weil ich nämlich dämlicherweise den Link nach einem gesperrten Verzeichnis benamste. Wird solch ein Verzeichnis aufgerufen, bannt Spidertrap diese IP automatisch in der htaccess und beantwortet von nun an Anfragen dieser IP mit einer 403. Verboten. Ausgesperrt. Für menschliche Fehlklicker besteht in solchem Fall die Möglichkeit sich selbst mittels eines Captchas (jaja...) freizuschalten. Wer mag, kanns einfach mal testen. Ausserdem gibts da noch ne Whitelist. Läuft ebenso auf mehreren Servern völlig problemlos bei mir. [...]

]]> http://www.entartete-kunst.com/spidertrap/#comment-5998 Mon, 29 Jan 2007 20:50:29 +0000 http://www.entartete-kunst.com/spidertrap/#comment-5998 [...] Gerade beim Jan gefunden, upgedatet und für gut befunden: Spidertrap wird groß. [...] [...] Gerade beim Jan gefunden, upgedatet und für gut befunden: Spidertrap wird groß. [...]

]]> http://www.entartete-kunst.com/spidertrap/#comment-5592 Tue, 02 Jan 2007 21:50:46 +0000 http://www.entartete-kunst.com/spidertrap/#comment-5592 Das ist doch mal eine geile Idee :) Das ist doch mal eine geile Idee

]]> http://www.entartete-kunst.com/spidertrap/#comment-1915 Sun, 18 Jun 2006 13:59:43 +0000 http://www.entartete-kunst.com/spidertrap/#comment-1915 Oh, das klingt schick :) Oh, das klingt schick

]]>