dusticelli Posted January 21, 2016 Share Posted January 21, 2016 Hallo Leute, das hat jetzt nicht direkt mit Presta zu tun, aber nervt mich etwas, und villeicht hat hier jemand ne Erklärung: Seit ein paar Tagen habe täglich etwa 100 Seitenaufrufe die direkt auf die Startseite des Shops laufen, mit unterschiedlichen Betriebssystemen usw., aber alle von 2 verschiedenen IP-Bereichen. Vermutlich sind das wohl Bots, oder? Eine IP habe ich als meerfarbig gmbh&co. kg. identifiziert, die andere als host1free.com Was ich mich frage ist: Warum kommen die 2x pro Stunde mit unterschiedlicher Technik, nur auf die Startseite und das wars. Was haben die davon? Soll man sowas aussperren? Steckt da womöglich Google dahinter, oder was könnte das sein? Wer hat eine Idee? Link to comment Share on other sites More sharing options...
Inform-All Posted January 21, 2016 Share Posted January 21, 2016 Informationen über bots finden Sie hier:: https://www.seo-tech.de/crawler-spider-bots-slurps-die-arbeiter-der-suchmaschinen Link to comment Share on other sites More sharing options...
Shad86 Posted January 21, 2016 Share Posted January 21, 2016 Sollte man auf jeden Fall aussperren. Ich gucke mir regelmäßig in Analytics an von welchen Quellen unsere Besucher so kommen. Und sämtliche SEO Domains haben immer mit einer Firma zu tun. Die nenne ich hier jetzt nicht weil das das Ziel dieser Firma ist, aber es gibt verschiedene Theorien was die Leute vor haben. Alle nichts gutes. Unter anderem z.B. das die irgendwie per Cookie sämtliche Besucher deines Shops infizieren. Was genau der nächste Schritt ist, weiß man noch nicht, da die bisher nur versuchen sich auf möglichst viele Rechnern zu verteilen. Gut heraus zu finden ob es Bots sind, kann man duch die Zugriffszeiten. Die sind bei Bots meistens <1 sec. Und selbst wenns keine schädlichen sind, verfälschen die deine Statistik. Deshalb blocke ich diese Domains per .htaccess. Wenn ein Admin sagt das es OK ist kann man ja mal solche Domains austauschen um die nicht erst zu blocken wenn sie schon drauf waren. Andererseits gönnen ich diesen Domains nicht das sie in einem Forum erwähnt werden und dadurch genau das erreichen was sie wollen. Link to comment Share on other sites More sharing options...
selectshop.at Posted January 21, 2016 Share Posted January 21, 2016 (edited) Was sind Bots: https://de.wikipedia.org/wiki/Bot Diese können nützlich oder auch nicht sein. Die von den Suchmaschinen sind in der Regel unauffällig und unschädlich. Es gibt aber auch geclonte Bots die sich als Google oder andere große Suchmaschine tarnen. Um sie zu identifizieren muss man ein Know-How haben. Dazu gibt es viele Foren und Unterstützungen im Netz wie project honeypot oder andere Projekte die gegen Spam-Bots oder mit bad behavior arbeiten. Sollte man dagegen was tun? Ja natürlich, denn man sollte die Zugriffe auf seine Seite für gute Dinge einschränken. Alles andere ist Müll. Du solltest mal deinen Provider fragen, inwieweit er die Seite mit Tools serverseitig schützen kann. Wenn er das nicht kann, dann kläre mit ihm ab, wie du das machen kannst/darfst, falls du daran Interesse hast. Wenn dir das zu hoch ist, dann solltest du jemanden beauftragen, der dir einen Honeypot setzt. Was du jetzt schon selbst machen kannst, ist alle Länder, in denen du nicht verkaufst mal den Traffic auf deine Seite sperrst. Dazu musst du im Back-office den Tabreiter Voreinstellungen -> Geotargeting aktivieren und die Länder sperren wo du nichts verkaufst und die Länder wo du verkaufst freigeben. Wenn du diesen Tab aktivierst, wirst du gebeten eine Datenbank downzuloaden, und diese in einem Ordner auf deinen FTP zu laden. Falls du Hilfe hierzu benötigst, dann einfach hier melden. Edited January 21, 2016 by selectshop.at (see edit history) Link to comment Share on other sites More sharing options...
dusticelli Posted January 21, 2016 Author Share Posted January 21, 2016 Hallo, danke euch für die Antworten. @shad86 Hab mir schon gedacht, dass es eher nichts gutes ist, was die im Schilde führen. Und klar, die Nennung der Namen (jetzt verstehe ich es auch) könnte natürlich, in einer Art viralem marketing Sinn machen. Also werde ich es auch so machen wie Du und die beiden per htaccess aussperren. Die Namen werde ich auch aus dem Eingangspost löschen, wenn ich wieder am Desktop sitze, macht Sinn, bin jetzt aber unterwegs. Link to comment Share on other sites More sharing options...
eleazar Posted January 21, 2016 Share Posted January 21, 2016 Hallo Leute, das hat jetzt nicht direkt mit Presta zu tun, aber nervt mich etwas, und villeicht hat hier jemand ne Erklärung: Seit ein paar Tagen habe täglich etwa 100 Seitenaufrufe die direkt auf die Startseite des Shops laufen, mit unterschiedlichen Betriebssystemen usw., aber alle von 2 verschiedenen IP-Bereichen. Vermutlich sind das wohl Bots, oder? Eine IP habe ich als meerfarbig gmbh&co. kg. identifiziert, die andere als host1free.com Was ich mich frage ist: Warum kommen die 2x pro Stunde mit unterschiedlicher Technik, nur auf die Startseite und das wars. Was haben die davon? Soll man sowas aussperren? Steckt da womöglich Google dahinter, oder was könnte das sein? Wer hat eine Idee? Hallo dusticelli, das sind keine Bots! Die beiden genannten sind Internet-Provider. Damit sperrst du u.U. einfach potentielle Kunden aus, die dort einen Shared-Account haben. Ich wäre mit solchen Aktionen ein bisschen vorsichtig. Link to comment Share on other sites More sharing options...
dusticelli Posted January 21, 2016 Author Share Posted January 21, 2016 Hallo eleazar, ich weiß nicht, echte Kunden/Besucher gehen ja nicht nur auf die Startseite (0 Sek.) und verschwinden dann wieder. Und davon dann pro Stunde ca. 4, aus nur 2 Adressbereichen. Alle diese Besucher ohne Referer aber immer direkt auf sie Startseite. Das sieht schon ziemlich unnatürlich aus. Link to comment Share on other sites More sharing options...
eleazar Posted January 21, 2016 Share Posted January 21, 2016 Unnatürlich? Nicht unbedingt, denn die Angabe von 0 sec ist irreführend. Die Verweildauer ist immer eine Differenz aus zwei Time stamps. Um diese berechnen zu können, müssen daher mindestens zwei Seiten angesteuert werden. Wie das funktioniert, wird hier erklärt: http://www.kaushik.net/avinash/standard-metrics-revisited-time-on-page-and-time-on-site/ Link to comment Share on other sites More sharing options...
Shad86 Posted January 21, 2016 Share Posted January 21, 2016 Das ist wohl richtig, bei unseren stecken aber immer angebliche SEO Agenturen dahinter und wenn man die im Netz sucht oder sogar die bei Analytics angezeigte Domain besucht (ich weiß, ist teilweise auch genau das was die erzielen wollen um einem einen Cookie zu verpassen) steckt bei uns jedes mal die Firma S*e*m*a*l*t dahinter. Klar sollte man vorsichtig damit sein einfach irgendwelche IP-Regionen, Domains oder ähnliches aus zu schließen. Aber dabei handelt man immer auf eigene Gefahr. Entweder man verliert einen oder mehrere Kunden oder man lässt sich für (welche auch immer) miesen Machenschaften missbrauchen. Wie gesagt mit etwas Recherche findet man eigentlich immer heraus ob man denjegien ruhig bannen kann. Fidnet man keine Infos oder ist sich unschlüssig, erstmal noch drin lassen und ein genaueres Auge drauf haben. Ich gucke immer bei Analytics unter Akquisition > Alle Zugriffe > Quelle/Medium Das finde ich recht eindeutig. Wenn ich da von einem Domain die dem oben genannten gehört 50 Zugriffe hatte die alle <1 sec waren ist es für mich klar. Denn von der Quelle könnte kein seriöser Kunde kommen da wir da ja nicht gelistet sind oder sonstwas. Oder hat jemand eine Abteilung bei Analytics die da besser "funktioniert"? Link to comment Share on other sites More sharing options...
selectshop.at Posted January 21, 2016 Share Posted January 21, 2016 Oder hat jemand eine Abteilung bei Analytics die da besser "funktioniert"? Ich nutze ausschliesslich die Quelle von DNSBL und project honeypot (wie schon oben geschrieben). Die sind sehr zuverlässig. Sind aber serverseitige Tools die fix eingebaut sind, darum kümmere ich mich absolut garnicht mehr darum, weil sie einfach von selbst laufen und zuverlässig jeden Müll vom Server fernhalten. Link to comment Share on other sites More sharing options...
dusticelli Posted January 21, 2016 Author Share Posted January 21, 2016 Man ist das kompliziert. Ich habe s*e*m*a*l*t schon in meinem alten Shop mit den Domains 7*m*a*k*e*m*o*n*e*y*o*n*l*i*n*e oder b*u*t*t*o*n*s*-*f*o*r*-*w*e*b*s*i*t*e Hausverbot erteilt. @ eleazar das mit dem Timestamp verstehe ich. Klar, wenn die nur die Startseite besuchen, und keine weitere, habe ich keine keine Ahnung von der tatsächlichen Verweildauer. Viel auffälliger ist für mich aber - direkter Zugriff - alle von den 2 Adressbereichen - geradelienig auf den Tag verteilt 4 Stück pro Stunde - unterschiedliche technische Konfigurationen Das passt bei mir definitv nicht in ein natürliches Besucherverhalten. Ausgerechnet den "direkten Zugriffen" auf meiner Seite folgen in aller Regel weitere Seitenaufrufe, weil es sich hier im echten Leben um Kunden handeln dürfte die meine Marke kennen oder gezielt besuchen. Es sind eher die Quereinsteiger die über Google/Bing auf Landingpages landen, die sich nach 1 Seite wieder verabschieben. @ selectshop.at das von Dir verlinkte Project liefert mir überwiegend einen 500er Fehler, wenn ich dem Link folge. Was genau macht man damit. Ist das eine Software die ich auf dem Server installiere und die im Hintergrund läuft? Link to comment Share on other sites More sharing options...
Whiley Posted January 22, 2016 Share Posted January 22, 2016 Hallo dusticelli, ich würde wegen der paar Zugriffe nicht überreagieren. host1free.com ist besonders gut geeignet und beliebt, bots lozuschicken weil es dort serverseitig keine Begrenzung der requests/time gibt. Insofern dürfte klar sein, daß es sich tatsächlich um bots handelt. Deshalb aber Sperren über Geotargeting aufzubauen wäre natürlich absoluter Blödsin, auch honeypot-Lösungen greifen nicht, weil die bots - wie du beobachtet hast - ja keinen internen Links folgen! Nun kannst du natürlich anfangen die identifizierten IPs über die htaccess (deny from IP) auzusperren, es wird aber nicht bei den 2 IPs bleiben, du wirst ständig beobachten und nachbessern und ergänzen müssen. Wenn du vorbeugen willst könntest du auch fertige Lösungen für die htaccess einbauen. Aber... ...bedenke die htaccess wird bei jedem Seitenaufruf abgearbeitet, d.h.echte Besucher deiner Site haben unmittelbare Performance-Nachteile während die 4 bot-Zugriffe pro Stunde niemanden beeinträchtigen dürften. Grüsse Whiley Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 Deshalb aber Sperren über Geotargeting aufzubauen wäre natürlich absoluter Blödsin, auch honeypot-Lösungen greifen nicht, weil die bots - wie du beobachtet hast - ja keinen internen Links folgen! Tja, da habe ich eine absolut andere und langjährige Erfahrung mit honeypots und die Verwendung von DNSBL-Listen. Mein Server ist frei seit Jahren von s*e*m*a*l*t & Co... Diese Methode und Geotargeting bringen absolute Ruhe in die Kiste.... Aber jeder hat da ja so seine eigenen Erfahrungswerte, die nicht gleich immer Blödsinn oder falsch sein müssen.... Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 (edited) Wie auch schon bereits weiter oben durch Bolinga verlinkt, selbst Google empfiehlt spam-referer zu bekämpfen, denn einmal bei s*e*m*a*l*t gelistet, verbreitet sich das wie ein Virus bei anderen bad behavior Seiten/Suchbots. http://veithen.github.io/2015/01/21/referrer-spam.html Wer nichts tut, oder diese wenigen Zugriffe auf die leichte Schulter nimmt, der wird sich wundern, wenn das in absehbarer Zeit nicht mehr so ist und nur unnütze Zugriffe auf seine Seite verzeichnen kann... Edited January 22, 2016 by selectshop.at (see edit history) Link to comment Share on other sites More sharing options...
Whiley Posted January 22, 2016 Share Posted January 22, 2016 On 1/22/2016 at 9:35 AM, selectshop.at said: Tja, da habe ich eine absolut andere und langjährige Erfahrung mit honeypots und die Verwendung von DNSBL-Listen. Mein Server ist frei seit Jahren von s*e*m*a*l*t & Co... Diese Methode und Geotargeting bringen absolute Ruhe in die Kiste.... Aber jeder hat da ja so seine eigenen Erfahrungswerte, die nicht gleich immer Blödsinn oder falsch sein müssen.... Erfahrungen und das Verstehen der Technik sind wohl zwei verschiedene paar Stiefel! Ich habe schon viele Honeypots zur Analyse von Link-Spam (content-wrappern, email-spider, form-wrappern) aufgebaut. Mit meinem offensichtlich nicht sehr fundiertem Halbwissen habe ich das so gemacht, daß ich auf die betroffene Seite ganz oben einen unsichtbaren Link auf eine php-datei gelegt habe. Wenn ein bot dann dem Link gefolgt ist (Honeypot) hat die php-datei den bot dann analysiert und bei Bedarf Abwehrmaßnahmen ergriffen. Sicher kannst du mir - aber bitte in einfachen Worten, daß auch ich es verstehe - erkären wie man das macht wenn der bot keinem Link folgt. Ich lerne auf jeden Fall gerne dazu. Referral Spam & Google Analytics Es ist mehr als blauäugig zu glauben man/frau könne referral spam durch serverseitige Maßnahmen verhindern. Referral-Spammer wie z.B. darodar.com oder ilovevitaly.com besuchen deine Site garnicht mehr. Abwehrmaßnahmen (Google-Analytics-Filter, Trackingnumber ändern etc) findest du bei Google mit der entsprechenden Suche. Whiley 1 Link to comment Share on other sites More sharing options...
dusticelli Posted January 22, 2016 Author Share Posted January 22, 2016 Hallo Leute, interessante Diskussion. Also aussperren per GEO-targeting wäre mir jetzt auch eine Nummer zu groß. Ich habe aber auch überhaupt keine Referrer von diesen Bots. Deshalb kann es doch wohl auch nicht um Referrer-SPAM gehen, oder? Mit dem IP Block habe ich die beiden jetzt erst mal ausgesperrt. Allein schon weil die mir die Statistik und die Übersicht stören... Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 s*e*m*a*l*t ist ein bekannter spam-referrer. Lies dir die Links durch, die ich weiter oben bekanntgegeben habe. Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 (edited) Liebe Conny, Erfahrungen und das Verstehen der Technik sind wohl zwei verschiedene paar Stiefel! Ich habe schon viele Honeypots zur Abwehr von Link-Spam (content-wrappern, email-spider, form-wrappern) aufgebaut. Mit meinem offensichtlich nicht sehr fundiertem Halbwissen habe ich das so gemacht, daß ich auf die betroffene Seite ganz oben einen unsichtbaren Link auf eine php-datei gelegt habe. Wenn ein bot dann dem Link gefolgt ist (Honeypot) hat die php-datei den bot dann analysiert und bei Bedarf Abwehrmaßnahmen ergriffen. Sicher kannst du mir - aber bitte in einfachen Worten, daß auch ich es verstehe - erkären wie man das macht wenn der bot keinem Link folgt. Ich lerne auf jeden Fall gerne dazu. Referral Spam & Google Analytics Es ist mehr als blauäugig zu glauben man/frau könne referral spam durch serverseitige Maßnahmen verhindern. Referral-Spammer wie z.B. darodar.com oder ilovevitaly.com besuchen deine Site garnicht mehr. Abwehrmaßnahmen (Google-Analytics-Filter, Trackingnumber ändern etc) findest du bei Google mit der entsprechenden Suche. Whiley über eine block.php auf der Wurzel deines Webs eingebaut in Prestashop config.inc.php-Datei und über fail2Ban. Das sollte zunächst auch serverseitig reichen. Über honeypot zu gehen, das erfortert natürlich Wissen, damit es auch funktioniert und ist nicht genau der Weg, den du beschrieben hast. Warum ist Geotargeting in deinen Augen verpönt ? Warum soll ich nicht damit arbeiten IP-Blöcke auszusperren die nicht meine Käufer sind ? Wenn mein Shop nicht nach Thailand, China, Südafrika, Südamerika und sonstwo, wo die meisten spamer sitzen liefert, dann ist es auch legitim diese Länder wegzusperren, oder nicht ? Edited January 22, 2016 by selectshop.at (see edit history) Link to comment Share on other sites More sharing options...
Whiley Posted January 22, 2016 Share Posted January 22, 2016 Über honeypot zu gehen, das erfortert natürlich Wissen, damit es auch funktioniert und ist nicht genau der Weg, den du beschrieben hast. So, so ..., damit der Bär den Honigtopf findet muß er sich halt dort hin bewegen. Ein Bot der keinem Link folgt kann sich auch nicht zum honeypot bewegen. Wie gesagt erkläre es mir wie es gehen soll, ich höre dir gern zu. Warum ist Geotargeting in deinen Augen verpönt ? Warum soll ich nicht damit arbeiten IP-Blöcke auszusperren die nicht meine Käufer sind ? Wenn mein Shop nicht nach Thailand, China, Südafrika, Südamerika und sonstwo, wo die meisten spamer sitzen liefert, dann ist es auch legitim diese Länder wegzusperren, oder nicht ? Conny, Dusticelli betreibt in Deutschland einen Shop, hat host1free.com als Quelle für bots identifiziert und du, die du mit "professional solutions" und "technical service" hier im Forum wirbst, räts hier allen Ernstes Länder in die er nicht verkauft über Geotargeting zu blockieren um bots auszusperren. Heißt das, daß er nicht mehr nach Deutschland verkaufen soll und dann Deutschland über Geotargeting sperren soll um host1free.com abzuwehren? Oder soll er mal prophylaktisch Thailand und China aussperren und hoffen das host1free.com eines Tages von Deutschland nach Thailand umzieht? Um es mal mit Brigitte Nielsens Worten zu kommentieren: "Was geht los da rein?" Whiley 2 Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 (edited) So, so ..., damit der Bär den Honigtopf findet muß er sich halt dort hin bewegen. Ein Bot der keinem Link folgt kann sich auch nicht zum honeypot bewegen. Wie gesagt erkläre es mir wie es gehen soll, ich höre dir gern zu. Conny, Dusticelli betreibt in Deutschland einen Shop, hat host1free.com als Quelle für bots identifiziert und du, die du mit "professional solutions" und "technical service" hier im Forum wirbst, räts hier allen Ernstes Länder in die er nicht verkauft über Geotargeting zu blockieren um bots auszusperren. Heißt das, daß er nicht mehr nach Deutschland verkaufen soll und dann Deutschland über Geotargeting sperren soll um host1free.com abzuwehren? Oder soll er mal prophylaktisch Thailand und China aussperren und hoffen das host1free.com eines Tages von Deutschland nach Thailand umzieht? Um es mal mit Brigitte Nielsens Worten zu kommentieren: "Was geht los da rein?" Whiley Um es kurz zu machen. Schon mal was von white and blacklist gehört ??? Und das geht auch mit dem Geotargeting von Prestashop. Die whitelist ganz unten ist dir schon noch aufgefallen, oder ??? Und ein honeypot muss nicht unbedingt ein Link sein der sonstwo hinführt, sondern es kann auch ein vorgeschaltetes Skript sein, welches mal die bad behavior IP's vorher abfängt, oder einfacher gesagt der Türsteher am Eingang. Sorry, nichts für ungut, aber wenn ich mir so deine Beiträge lese, dann bist du nicht wirklich der Spezialist für solche Fragen... Du magst andere Dinge gut verstehen, aber von Abwehrtechniken auf einem Server, deren Einsatz und Möglichkeiten, fehlt anscheinend doch einiges an fachlichen Kenntnissen. Edited January 22, 2016 by selectshop.at (see edit history) Link to comment Share on other sites More sharing options...
dusticelli Posted January 22, 2016 Author Share Posted January 22, 2016 Also, wenn ich hier auch noch mal meine 5Cent dazu geben darf. Ich habe wohl weniger Ahnung als whiley und selectshop.at, jedenfalls was den Schutz vor Bots & Co. betrifft, aber es ist sicher klar, dass eine Ländersperre per Geotargeting, meinetwegen auch mit Whitelistpflege mit Kanonen auf Spatzen schießen bedeutet. Der umgekehrte Weg macht sicherlich mehr Sinn, also, der Türsteher sperrt nur die bösen Buben aus. Denn wer sagt denn, dass ein potentieller Kunde nicht z.B. gerade in Thailand im Urlaub ist und aus Langeweile nach alternativer Fußpflege in Deutschland sucht, damit er sich damit befasst, wenn er wieder zurück ist? Aber um nochmal auf meine Eingangsfrage zurück zu kommen: Was für Gründe haben die beiden genannten Dienste wohl, jede Stunde 2x meine Startseite und nur die Aufzurufen? Also Referrer-Spamming kann es ja nicht sein, weil Sie die Seite ohne Referrer besuchen, so steht es jedenfalls in meinem Logs, oder habe ich da etwas falsch verstanden? Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 Wenn du s*e*m*a*l*t schon auf Besuch hattest, dann hattest du bereits den größten Spam-Referer auf Besuch.... Weil kein referrer mitgegeben wird, heisst noch lange nicht, dass er kein böser Bub ist. Das Thema ist nicht so einfach wie man sich das denkt. Ich rate dir mal im GG mit den Suchworten bot trap oder spider trap zu suchen, um sich damit ein wenig vertraut zu machen. Du wirst dort fündig. Und wie gesagt project honeypot und Geotargeting ist das was ich einsetze, neben natürlich auch andere Abwehrmechanismen serverseitig eingesetzt. Es gibt viele Methoden seine Seite zu schützen. Manche sind mehr wert, andere weniger. Über .htaccess würde ich den Weg nicht gehen, denn diese belastet deinen Traffic. Link to comment Share on other sites More sharing options...
selectshop.at Posted January 22, 2016 Share Posted January 22, 2016 Hier findest du einen leicht verständlichen en Artikel über Spam-Referer: https://www.mindshape.de/blog/knowhow/so-werden-sie-den-referrer-spam-von-semalt-co-los.html Link to comment Share on other sites More sharing options...
dusticelli Posted January 22, 2016 Author Share Posted January 22, 2016 @ selectshop.at danke für die Mühe, aber genau das war es ja bei mir nicht. Ich hatte von diesen beiden Bots ausschließlich "direkte Zugriffe" auf die Startseite. Keine Referrer in Piwik, keine in GA, keine in Webalyzer. Ich schätze mal, es geht evtl. eher um sowas wie Screenshots, vielleicht irgendwie Speedtests, oder Darstellung mit verschiedenen Clients, oder so. Man findet seine Seite ja auch immer wieder auf irgendwelchen Directoryseiten, mit Pseudoinformationen zur Sicherheit der Seite usw. Vielleicht waren die Bots wegen sowas unterwegs. Referrer-Spam würde ja keinen Sinn machen, weil es keine Referrer gibt. Link to comment Share on other sites More sharing options...
Whiley Posted January 23, 2016 Share Posted January 23, 2016 Was für Gründe haben die beiden genannten Dienste wohl, jede Stunde 2x meine Startseite und nur die Aufzurufen? Hallo dusticelli, kannst du mal einen der Einträge in der access.log posten. Grüsse Whiley Link to comment Share on other sites More sharing options...
dusticelli Posted January 23, 2016 Author Share Posted January 23, 2016 Moin Whiley, das sieht z.B. so aus 94.249.212.185 - - [21/Jan/2016:00:57:23 +0100] "GET / HTTP/1.1" 302 26 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.184 - - [21/Jan/2016:00:57:23 +0100] "GET / HTTP/1.1" 301 26 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.182 - - [21/Jan/2016:00:57:24 +0100] "GET / HTTP/1.1" 302 26 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.180 - - [21/Jan/2016:00:57:24 +0100] "GET /de/ HTTP/1.1" 200 23973 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.183 - - [21/Jan/2016:00:57:26 +0100] "GET /piwik/piwik.js HTTP/1.1" 200 15611 "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.176 - - [21/Jan/2016:00:57:27 +0100] "GET /piwik/piwik.php?action_name=Mein%20Webseiten%20%7C%20Name&idsite=1&rec=1&r=442052&h=0&m=57&s=26&url=https%3A%2F%2Fwww.meinedomain.de%2Fde%2F&_id=fbf0abcdef1f&_idts=1453334247&_idvc=1&_idn=0&_refts=0&_viewts=1453334247&send_image=0&cookie=1&res=1024x768>_ms=580 HTTP/1.1" 204 - "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 5.1.84.135 - - [21/Jan/2016:00:58:02 +0100] "GET / HTTP/1.1" 302 26 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 5.1.84.137 - - [21/Jan/2016:00:58:03 +0100] "GET / HTTP/1.1" 301 26 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.179 - - [21/Jan/2016:00:58:03 +0100] "GET / HTTP/1.1" 302 26 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 5.1.84.135 - - [21/Jan/2016:00:58:03 +0100] "GET /de/ HTTP/1.1" 200 23974 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 5.1.84.142 - - [21/Jan/2016:00:58:08 +0100] "GET /piwik/piwik.js HTTP/1.1" 200 15611 "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.181 - - [21/Jan/2016:00:58:08 +0100] "GET /piwik/piwik.php?action_name=Mein%20Webseiten%20%7C%20Name&idsite=1&rec=1&r=859842&h=0&m=58&s=8&url=https%3A%2F%2Fwww.meinedomain.de%2Fde%2F&_id=ff361234569766&_idts=1453334289&_idvc=1&_idn=0&_refts=0&_viewts=1453334289&send_image=0&cookie=1&res=1024x768>_ms=797 HTTP/1.1" 204 - "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" Geht es wohl irgendwie um piwik? Link to comment Share on other sites More sharing options...
Whiley Posted January 23, 2016 Share Posted January 23, 2016 Moin, Moin, 94.249.212.182 - - [21/Jan/2016:00:57:24 +0100] "GET / HTTP/1.1" 302 26 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" Statuscode 302 Rückgabe vom Verzeichnis \ mit 26 Byte (vemutlich mit der Info \de) 94.249.212.180 - - [21/Jan/2016:00:57:24 +0100] "GET /de/ HTTP/1.1" 200 23973 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" Statuscode 200 Rückgabe vom Verzeichnis \de mit 23973 Byte (vermutlich mit der Info "\piwik") 94.249.212.183 - - [21/Jan/2016:00:57:26 +0100] "GET /piwik/piwik.js HTTP/1.1" 200 15611 "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" 94.249.212.176 - - [21/Jan/2016:00:57:27 +0100] "GET /piwik/piwik.php?action_name=Mein%20Webseiten%20%7C%20Name&idsite=1&rec=1&r=442052&h=0&m=57&s=26&url=https%3A%2F%2Fwww.meinedomain.de%2Fde%2F&_id=fbf0abcdef1f&_idts=1453334247&_idvc=1&_idn=0&_refts=0&_viewts=1453334247&send_image=0&cookie=1&res=1024x768>_ms=580 HTTP/1.1" 204 - "https://www.meinedomain.de/de/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" "normale" Anfrage eines piwik-Servers zum Auslesen der access.log, 1. Zeile mit Get Statuscode 200 und 15611 Byte Rückgabe Wenn das also nicht dein eigener Piwik-Server sein sollte, wird deine access.log unter Verwendung von piwik.js bzw piwik.php fremd-ausgelesen. Grüsse Whiley Link to comment Share on other sites More sharing options...
dusticelli Posted January 23, 2016 Author Share Posted January 23, 2016 Moin Whiley, jetzt verstehe ich gar nix mehr. Die access.log ist eine Datei von Presta, welche die Zgriffe auf das Sytem (presta) aufzeichnet, richtig?! Ich habe im shoproot auch eine piwik-Installation. Bis jetzt habe das eher so verstanden, dass diese Bots versuchen auf diese Piwik Installation zuzugreifen. So wie ich Dich jetzt verstehe, versucht aber eine piwik Installation (meine? eine fremde?) diese Prestashop-access.log auszulesen? Link to comment Share on other sites More sharing options...
Whiley Posted January 23, 2016 Share Posted January 23, 2016 Die access.log ist eine Datei deines Servers (Apache/Nginx nicht von Presta). Piwik wertet diese access.log für die bekannten Piwik-Statistiken aus. So wie ich Dich jetzt verstehe, versucht aber eine piwik Installation (meine? eine fremde?) diese Prestashop-access.log auszulesen? sieht für mich ganz danach aus, bennene doch dein \piwik-Verzeichnis mal um und beobachte wie dann die o.a. Zeilen beim nächsten Zugriff aussehen Grüsse Whiley Link to comment Share on other sites More sharing options...
dusticelli Posted January 23, 2016 Author Share Posted January 23, 2016 Hallo Whiley, die access.log habe ich aber aus dem Prestashopverzeichnis /logs Daher meine Beschreibung dass es sich um eine Prestashop-Datei handelt. Jetzt habe ich auf dem selbem Webspace noch 5 weitere Prestashop Verzeichnisse, die haben aber das Verzeichnis /logs nicht. Ein paar andere Shops (Magento/Shopware) und das Verzeichnis auf dem alle Shops parallel installiert sind dagegen schon. Nach welcher Maßgabe wird denn dieses Verzeichnis und die access.log installiert? Jetzt bin ich aber doch ein bisschen confused Link to comment Share on other sites More sharing options...
selectshop.at Posted January 25, 2016 Share Posted January 25, 2016 Wie bereits weiter oben von mir auch schon verlinkt, kannst du den Bot, bzw. die automatisierten Abfragen von Bots die piwik suchen auch aussperren, indem du sie in deiner robots.txt hinterlegst. Wenn das nicht ausreicht, dann sollte eine Sperre mittels .htaccess oder irgendeine andere wie bereits weiter oben von mir angegeben in dein Prestashopverzeichnis ebenso erfolgreich sein. Diese Sperre greift dann nicht auf deine anderen Seiten, weil Prestashop ja laut deiner Angabe in einem eigenen Verzeichnis liegt. Damit die Zugriffe von piwik nicht in deine Prestashop- oder Googler-Analytic-Statistiken fallen (weiss nicht, ob hier das der Fall ist, dann gibt es im piwik-Forum einige Topics über das Thema), bzw. wie du das verhindern kannst. z.B. http://forum.piwik.org/t/botzugriffe-aus-statistiken-raushalten/13584 Bezüglich deiner access-logs bzw. Verz. /logs. Ich weiss nicht wie dein Server aufgebaut ist, aber es gibt mehrere log-Möglickeiten. Vermutlich vermischt du die logs des Servers, mit den logs die speziell Prestashop aufzeichnet und im Back-office zu sehen sind im Tab: Erweiterte Einstellungen -> Log-Dateien. Der Server selbst hat natürlich auch ein Verzeichnis für logs und dies hängt von der Konfiguration des Servers ab wo dieses Verzeichnis liegt. Generell liegt es im Root deines Servers und enthält auch die Dateien: access_log, access_log.processed, acccess.log.webstat, usw..... Weiters kann es sein dass du unter /logs/Seite 1/ die gleichen Dateien findest. Dann sieht das so aus: /logs/Seite1, /logs/Seite2, /logs/Magento oder sonstwie das Verzeichnis heisst. All diese SERVER-LOGS haben aber nichts mit dem Verzeichnis /logs im Prestashopverzeichnis zu tun. Ich gehe davon aus, dass du die IP's aus diesem Serververzeichnis ausgelesen hast ? Link to comment Share on other sites More sharing options...
selectshop.at Posted January 25, 2016 Share Posted January 25, 2016 Ich habe mich jetzt nochmal vergewissert und das Unterverzeichnis von Prestashop heisst /log und dort findest du Dateien mit den Namen xxxxxx_exception.log oder xxxxxx_instalation.log. Diese Logs siehst du im Back-Office von Prestashop. Der Ordner unterscheidet sich somit von den /logs vom Server, wo alle Zugriffe aufgezeichnet werden, (auf den Root deines Server und auch auf die Unterverzeichnisse am Server). Link to comment Share on other sites More sharing options...
dusticelli Posted January 25, 2016 Author Share Posted January 25, 2016 Hallo selectshop.at, danke für Deine Antworten. Ich habe verschiedene Shops in parallelen Verzeichnissen. Wie ich inzwischen festgestellt habe, sind die Server-Logs alle, jeweils im Verzeichnis "/logs". Das Log-Verzeichnis von Presta heißt wie Du richtig schreibst "/log". Allerdings, und das hatte mich verwirrt, habe ich ein "/logs" Verzeichnis in verschiedenen (Shop-)Verzeichnissen. Wie ich bereits schrieb, mal ja, mal nein. Ich kann keine Systematik erkennen, nach der diese Verzeichnisse und Inhalte vom Server geschrieben werden. Ist aber auch egal. Die Logs die ich gefunden hatte waren aus der access.log im /logs Verzeichnis meines Prestashops. Link to comment Share on other sites More sharing options...
selectshop.at Posted January 25, 2016 Share Posted January 25, 2016 (edited) Es hängt davon ab, wie deine Server-Verzeichnis-Struktur aufgebaut ist. Vermutlich befinden sich in diesen Verzeinissen /logs die Logs die der Server mitschreibt. Die Dateien würden dann heissen: access.log oder sogar mit Endung .zip oder gzip falls diese zu lang sind. Wann sie geschrieben werden, hängt von der Routine ab, die in deinem Server hinterlegt wurde. Täglich, Wöchentlich, nach einer bestimmten Größe (vermutlich so, wenn sie nicht täglich geschrieben werden). Nähere Auskunft darüber kann dir sicher dein Provider geben, oder derjenige, der den Server administriert. Bezüglich piwik-Problem, siehe meinen Topic #31. Falls du nicht möchtest, dass andere Verzeichnisse durchsucht werden, dann mittels robots.txt einschränken, oder im Forum von Piwik den Ausschluss aus den Statistiken erwirken. Edited January 25, 2016 by selectshop.at (see edit history) Link to comment Share on other sites More sharing options...
Whiley Posted January 27, 2016 Share Posted January 27, 2016 (edited) Ich habe mich jetzt nochmal vergewissert und das Unterverzeichnis von Prestashop heisst /log und dort findest du Dateien mit den Namen xxxxxx_exception.log oder xxxxxx_instalation.log. Diese Logs siehst du im Back-Office von Prestashop. Der Ordner unterscheidet sich somit von den /logs vom Server, wo alle Zugriffe aufgezeichnet werden, (auf den Root deines Server und auch auf die Unterverzeichnisse am Server). Könntest du noch erklären bei welcher Prestashop-Version die Daten, die du im Backoffice unter Erweiterungen -->Log-Dateien siehst, tatsächlich in dem von dir genannten Ordner /log abgelegt sind. Bei den akktuellen Prestashop-Versionen werden diese Log-Daten - im normalen Shopbetrieb - in der Datenbank (ps_log) gespeichert und auch von dort wieder abgerufen. Der Speichervorgang wird geregelt in /classes/Logger.php durch die Funktion addLogg (Ps 1.5) und aktuell (Ps 1.6) durch eine neu geschaffene Klasse PrestaShopLogger. Um es kurz zu machen. Schon mal was von white and blacklist gehört ??? Und das geht auch mit dem Geotargeting von Prestashop. Die whitelist ganz unten ist dir schon noch aufgefallen, oder ??? Das heißt also: Will man einen deutschen Shop vor Bots die von einem deutschen Server kommen (wie in dem hier vorliegenden Fall) schützen, sperrt man also über Geotargeting zunächst Deutschland komplett aus. Dann nimmt man die Whitelist und trägt dort alle in Deutschland vorkommenden IPs ein, mit Ausnahme der einen IP des Bot-sendenden-Servers. Geniale Idee . Die Arbeit für die nächsten Jahre ist gesichert. Axel Schröder würde sagen "Ja nee is klar".- selectshop.at (Professional solutions for • Prestashop • WordPress • Joomla • SEO • SEM/SEA • mobile commerce • social commerce • UPGRADE/ server/ technical services) erklärt was ein Honeypot ist (oder besser was sie darunter versteht): Und ein honeypot muss nicht unbedingt ein Link sein der sonstwo hinführt, sondern es kann auch ein vorgeschaltetes Skript sein, welches mal die bad behavior IP's vorher abfängt, oder einfacher gesagt der Türsteher am Eingang. Soetwas was man vornedran schaltet "damit dann bad behavior IP's vorher abgefangen werden oder einfacher gesagt der Türsteher am Eingang", nennt man gemeinhin firewall (wenn du den Begriff nicht kennst einfach mal danach googeln) Ein Honeypot ist etwas ganz anderes, mit einem Honeypot wird garnichts abgefangen, bei einem Honeypot werden Zugriffe auf eine Anwendung, einen Webspace oder einen Server umgeleitet, um analysiert und bewertet (gut/böse -schädlich/unschädlich - brauchbar/unbrauchbar) zu werden. Ich zitiere mal Ralf Spenneberg (Autor mehrerer Bücher zum Thema, der Experte für Netzweksicherheit) und als Unterzitat Lance Spitzner, (Gründer des Honeynet Project) Was ist denn nun ein Honeypot? Lance Spitzner, Gründer des Honeynet Project definiert in seinem Artikel „Honeypots“ einen Honeypot als „a security resource who's value lies in being probed, attacked or compromised“. Frei übersetzt bedeutet dies, dass ein Honeypot ein Sicherheitsinstrument ist, das die Untersuchung, Angriffe und Einbrüche durch Cracker bezweckt. Ein Honeypot stellt also in keiner Weise eine Verteidigung dar. Im Gegenteil, es wird gehofft, dass dieser Rechner angegriffen wird. [Quelle] Wenn man das so liest, was du da so alles von dir gegeben hast ist einfach nur Kopfschütteln angesagt. Zu allem Überfluß maßt du dir dann auch noch an die fachliche Qualifikation anderer bewerten zu müssen... Sorry, nichts für ungut, aber wenn ich mir so deine Beiträge lese, dann bist du nicht wirklich der Spezialist für solche Fragen... Du magst andere Dinge gut verstehen, aber von Abwehrtechniken auf einem Server, deren Einsatz und Möglichkeiten, fehlt anscheinend doch einiges an fachlichen Kenntnissen. ... ich denke jeder weitere Kommentar erübrigt sich. Whiley Edited January 27, 2016 by Whiley (see edit history) 1 Link to comment Share on other sites More sharing options...
selectshop.at Posted January 28, 2016 Share Posted January 28, 2016 (edited) Ich spreche von PS 1.6. in allen Versionen und von den sehr positiven Erfahrungen, die ich jahrelang nicht nur mit Prestashop gemacht habe. Jeder schützt seinen Server so wie er es für nötig hält, oder auch nicht.... Edited January 28, 2016 by selectshop.at picture delete, wrong picture added. (see edit history) Link to comment Share on other sites More sharing options...
eleazar Posted January 28, 2016 Share Posted January 28, 2016 Ja, dass diese Log-Dateien für Fehlermeldungen von Prestashop angelegt werden, wird wohl auch niemand bestreiten. Nur haben sie nichts mit dem Thema Bots zu tun. Doch allmählich scheint mir die Diskussion hier ins Off Topic abzugleiten. Ich erinnere daran, dass es ursprünglich darum ging, eine Frage von Dusticelli zu beantworten. Deshalb wäre es vielleicht die beste Lösung, hier jetzt einen Schlussstrich zu ziehen,oder? Link to comment Share on other sites More sharing options...
Whiley Posted January 29, 2016 Share Posted January 29, 2016 Hallo Whiley, die access.log habe ich aber aus dem Prestashopverzeichnis /logs Daher meine Beschreibung dass es sich um eine Prestashop-Datei handelt. Jetzt habe ich auf dem selbem Webspace noch 5 weitere Prestashop Verzeichnisse, die haben aber das Verzeichnis /logs nicht. Ein paar andere Shops (Magento/Shopware) und das Verzeichnis auf dem alle Shops parallel installiert sind dagegen schon. Nach welcher Maßgabe wird denn dieses Verzeichnis und die access.log installiert? Jetzt bin ich aber doch ein bisschen confused Ist den der Inhalt der access.log-Dateien in den unterschiedlichen /logs Verzeichnissen denn identisch oder werden im jeweiligen /logs Verzeichnis tatsächlich nur die Zugriffe aufgezeichnet die zum jeweiligen Unterverzeichnis gehören? Link to comment Share on other sites More sharing options...
dusticelli Posted January 30, 2016 Author Share Posted January 30, 2016 Ist den der Inhalt der access.log-Dateien in den unterschiedlichen /logs Verzeichnissen denn identisch oder werden im jeweiligen /logs Verzeichnis tatsächlich nur die Zugriffe aufgezeichnet die zum jeweiligen Unterverzeichnis gehören? Hallo Whiley, 1. ich habe endlich entdeckt warum ich nicht alle Mails vom Forum bekomme. Die landen manchmal im SPAM-Ordner 2. Die Logs zeichnen bei mir die Zugriffe auf das jeweilige Verzeichnis auf. Sie unterscheiden sich also.. Link to comment Share on other sites More sharing options...
Whiley Posted January 30, 2016 Share Posted January 30, 2016 Hallo dusticelli, ich habe endlich entdeckt warum ich nicht alle Mails vom Forum bekomme. Die landen manchmal im SPAM-Ordner Ich habe sowas schon vermutet, die Zustellungsprobleme seitens des Forums die es kurzzeitig mal gab, sind schon lange behoben. Aber da kannst du jetzt ja tatsächlich die hier bereits in anderem Zusammenhang erwähnte Whitelist doch einsetzen 2. Die Logs zeichnen bei mir die Zugriffe auf das jeweilige Verzeichnis auf. Sie unterscheiden sich also.. Sind die Verzeichnisse mit access.log ev. identisch mit angelegten subdomains (z.B. wegen Mediaserver)? Wenn der Server so angelegt ist, daß die access.log auf das Stammverzeichnis der Domain abgelegt wird (damit du, falls du keine Server-Root-Rechte hast, auf die access.log zugreifen kannst) würde das identisch auch bei Subdomains so sein! Dann hätten wir eine plausible Erklärung für das Phänomen. Grüsse Whiley Link to comment Share on other sites More sharing options...
dusticelli Posted February 1, 2016 Author Share Posted February 1, 2016 daß die access.log auf das Stammverzeichnis der Domain abgelegt wird (damit du, falls du keine Server-Root-Rechte hast, auf die access.log zugreifen kannst) Hallo Whiley, so ist es. Überall da, wo eine Domain bzw. Subdomain auf ein Verzeichnis zeigt, ist eine access.og dabei Link to comment Share on other sites More sharing options...
Whiley Posted February 1, 2016 Share Posted February 1, 2016 Das erschien mir auch die einzig wirklich vernünftige Erklärung. Wir konfigurieren Server auch manchmal so, daß diese access.log in das Stammverzeichnis der Domain abgelegt wird wobei dann nur die Zugriffe auf die jeweilige Domain protokolliert werden. Bei Sub-Domains verhält sich das dann analog. Ich denke mal es spricht wenig dagegen, den thread jetzt auf "gelöst" zu setzen - ich mach das mal. Grüsse Whiley Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now