Kushelkissen, anyone?
Schlechte Argumentation

Spidertrap wird 1

Gerade beim Jan gefunden, upgedatet und für gut befunden: Spidertrap wird groß.

Das Changelog liest sich so:

Version 1.00 - 17.01.2007
- templates for 403 and admin Interface
- new install script
- new log and email format
- first try for Cronjob support - to delete bans automatically
- better Captcha
- minor problems with captcha, file access
- new structure for files
- denied public access for blacklist, whitelist
- new admin Interface
- check also user agents
- in the emals are a link to the whois data
- IPs are also supported in the whitelist

Download

Von missi | 29.01.07- 21:50 | Träckbäck | Kommentarfeed | Ironiedetektor

· Del.icio.us · Stumble it! · Mr Wong · Wer linkt hier her? ·

Gespeichert unter:

, ,

Schon gelesen?

· Selektives IP- Logging · Spider- Trap · IE-Patch: Was lange währt, wird doch nicht gut 

Da wurde 29 x wat jesacht zu “Spidertrap wird 1” »»

  1. madchiq
    Getippselt von madchiq am 29.01.07 um 22:48

    Danke, Missi.

  2. Sven
    Getippselt von Sven am 30.01.07 um 0:30

    googlebot ist gerade volles Pfund an Spidertrap gescheitert und gesperrt!
    Wie kann das denn sein?
    Ich dachte immer, dass google sich an die robots hält!!!

  3. missi
    Getippselt von missi am 30.01.07 um 0:33

    Wars eventuell ein Fakebot? Wie war die IP denn?

  4. Sven
    Getippselt von Sven am 30.01.07 um 0:39

    Jup, ist original von Google!

  5. missi
    Getippselt von missi am 30.01.07 um 0:43

    In deiner robots.txt auf deinem Blog seh ich aber nur ein Verzeichnis, welches gesperrt wurde. Und das klingt mir nicht nach spider-trap.

  6. Sven
    Getippselt von Sven am 30.01.07 um 0:43

    Hier mal im Original:

    Neuer Spambot: /********/index.php 29.01.2007|23.50.20
    Host: blog.srbg.de
    IP: 66.249.65.71
    User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    WHOIS: http://whois.domaint...ols.com/66.249.65.71

    Irgendwie bin ich jetzt echt *confused*

  7. Sven
    Getippselt von Sven am 30.01.07 um 0:47

    Ist doch richtig, dass das Verzeichnis gesperrt ist.
    Oder meinst Du, dass die index.php noch angefügt werden muss?

  8. missi
    Getippselt von missi am 30.01.07 um 0:48

    Hmm... gute Frage, eigentlich hällt sich Google an die robots. Ich würde Google an deiner Stelle in die whitelist aufnehmen.

    Edit: Nee, die robots.txt sieht für mich richtig aus.

  9. Sven
    Getippselt von Sven am 30.01.07 um 0:51

    Könnte ein Eigentor werden, Google auszusperren ;-)
    Da muss ich doch glatt mal eine Anfrage stellen, wie das sein kann!
    Google hat erst meine ganzen statistischen Seiten gecrawlt und ist dann in das "böse" Verzeichnis rein...
    Alles irgendwie merkwürdig!

  10. missi
    Getippselt von missi am 30.01.07 um 0:54

    Hast du eine Sitemap? Eventuell liegts daran?

  11. Sven
    Getippselt von Sven am 30.01.07 um 0:58

    O.K., da ich von Sitemap bereits mehrere Definitionen gehört habe: was meinst Du genau?

  12. Sven
    Getippselt von Sven am 30.01.07 um 1:02

    auf jeden Fall keine klassische im Sinne von "urlset", falls Du darauf hinaus willst...

  13. missi
    Getippselt von missi am 30.01.07 um 1:02

    Sowas. Eine Liste aller Seiten als XML, Googlefutter. :) Achtung, 241 kB groß. :)

  14. Sven
    Getippselt von Sven am 30.01.07 um 1:06

    241 kB groß???

  15. missi
    Getippselt von missi am 30.01.07 um 1:09

    Meine sitemap, ja. Sind ja auch schon ein paar Jahre gebloggt hier. :o)

    Für Menschen ist dann aber eher dieses Archiv hier gedacht, von daher kann ich mit der Größe der xml gut leben.. :o)

  16. Sven
    Getippselt von Sven am 30.01.07 um 1:12

    HILFE! *aufmschlauchsteh*
    Dann müßte ja JEDES WP-Blog eine Sitemap haben, oder wie soll ich das jetzt verstehen (ist schon verdammt spät) ;-)

  17. missi
    Getippselt von missi am 30.01.07 um 1:19

    Hehe, also nochmal langsam: Eine Googlesitemap macht man bei Wordpress beispielsweise damit.

    Ob sie sinnvoll sind, kann man diskutieren, ich war bereits mehr als einmal (erst vor kurzen) glycklich darüber, sie zu haben.

  18. Sven
    Getippselt von Sven am 30.01.07 um 1:50

    O.K., Lesefutter nicht nur für Google..... *I´m stoned*
    Trotzdem erstmal ein großes Danke!
    PS: Ich habe erst seit meinem Blog mit PHP zu tun - ich bitte um Nachsicht ;-)

  19. Sven
    Getippselt von Sven am 30.01.07 um 9:21

    Moin moin!
    Google ist erneut reingetappt! So macht das Tool echt keinen Spass!
    Bin ich da der einzige?

  20. missi
    Getippselt von missi am 30.01.07 um 9:25

    Bei mir alles fein, wie bisher. Hast du google auf der whitelist?

  21. Sven
    Getippselt von Sven am 30.01.07 um 9:45

    Jup, habe ich!
    Aber trotz WL wieder in der htaccess!
    Ich habe schon extra einen IP-Range für die GoogleBots gesetzt!
    Ich verstehe das nicht!
    Ich habe ein META-Tag mit NOFOLLOW, eine robots.txt, und Google fragt trotzdem den bösen Ordner ab!

  22. Lawe
    Getippselt von Lawe am 30.01.07 um 12:56

    Ich glaub du darfst mal wieder support machen, falls das updaten bei mir nicht funzt ;) Wie war doch gleich deine ICQ Nr.? :-p

  23. Lawe
    Getippselt von Lawe am 30.01.07 um 18:44

    so nun is Google auch bei mir in die Falle gelatscht...
    Neuer Spambot: /guestbook/index.php 30.01.2007|18.36.30
    Host: www.lawes-world.de
    IP: 66.249.72.75
    User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    WHOIS: http://whois.domaint...ols.com/66.249.72.75

    Ich hau se mal auf die Whitelist...

  24. Lawe
    Getippselt von Lawe am 30.01.07 um 19:00

    so und auch Yahoo Slurp! is in die Falle gegangen.. entweder die Dinger scheren sich einen Dreck um die Robots.txt oder hier läuft gewaltig was schief...

  25. Sven
    Getippselt von Sven am 30.01.07 um 19:21

    Hi Lawe!
    Seit ich heute morgen googlebot in Googlebot (!) geändert habe, hat sich mein Problem mit Google erstmal erledigt!
    Könnte es evtl. ein Fake-Bot sein?
    Ansonsten die IP rein in die Whitelist (falls Du Wert auf Yahoo legst), oder wieder die 0.92er Version installiert! (Der Quelltext des Spiders ist mir echt zu unübersichtlich aufgebaut).

  26. missi
    Getippselt von missi am 30.01.07 um 20:49

    Bei mir stehts so in der whitelist: 64.68.82.*
    Und so läufts schon seit ewigen Zeiten, seit der 0.92 schon.

    Auf UserAgent würd ich persönlich nicht filtern, die lassen sich fälschen und Fakegooglebot gibts öfter da draußen. :)

    Da im Supportforum tauchte die Frage schon auf.

  27. Sven
    Getippselt von Sven am 30.01.07 um 22:47

    Ich hoffe mal, ich lande nicht wieder in Deinem Spam ;-)

    Kann es sein, dass es evtl. einfach nur an der Groß-/Kleinschreibung von Googlebot in der robots.txt liegt?
    Seit ich das geändert habe, läuft alles rund!

  28. missi
    Getippselt von missi am 31.01.07 um 0:38

    *seufz* Doch, du warst wieder im Spam. Ich muss nur nochmal rausfinden, warum das so ist. :\

    Gute Frage, obs an der robots liegt, bei mir steht "User-agent: googlebot" und Google hält sich daran. Bei den "webmaster-tools" (braucht nen account) erkennt er auch exakt die für ihn geblockten Verzeichnisse.

Trackbacks/Pingbacks»»

  1. Lawes World
    Trackback von Lawes World am 30.01.07 um 17:47

    Spambots Aussperren...

    Gerade eben drüben bei Missi gelesen, dass Spider-Trap in der V1 erschienen ist...
    Wer kennt die fiesen Spambots nicht, bzw. Crawler die sich trotz robots.txt nicht an die Anweisungen halten?
    Was kann man dagegen tun? aussperren und zwar mit ...


Ick will mal wat sagen... »»

Datenschutzhinweis

| RSS | Netvibes | del.icio.us | Impress | Archiv | Woanders | Chat |
Design by: MissAntroph/Mike® based on Marcos Saders equix. | 24 queries in 0.948 seconds |

Anophelosis - morbid state due to extreme frustration