Italian SMF

Supporto SMF => SMF 2.0.x => Discussione aperta da: Tanaka il Venerdì - 22 Novembre 2019 - 11:57

Titolo: Problema con spider o bot
Inserito da: Tanaka il Venerdì - 22 Novembre 2019 - 11:57
Ho notato, da inizio Novembre, una massiccia folla di visitatori che per tutto il santo giorno naviga sul forum che amministro. Molto strano per il nostro forum che è poco frequentato.
Ho verificato e gli IP sono tutti contigui l'uno all'altro.

Immagino che sia un bot o uno spider, ma nemmeno settando un firewall e cercando di bloccare gli ip incriminati, ci salto fuori, anzi aumentano. Ora ci sono circa 200 utenti dei quali 180 sono sicuramente dei "fake" .

Secondo voi, come posso fare ad eliminarli ? Ho timore impallino il server con richieste varie.

Grazie mille
Titolo: Re:Problema con spider o bot
Inserito da: Darknico il Venerdì - 22 Novembre 2019 - 12:16
Perdonami, ma perchè vuoi eliminare gli spider?
Sono li per indicizzare il tuo forum e renderlo più visibile ai motori di ricerca.
E come puoi anche essere sicuro che non siano utenti reali?

Bloccare IP non è mai una scelta giusta perchè potresti bloccare anche utenti reali.

Io ti sconsiglio di agire, a meno che non hai problemi di carico e/o ti accorgi che soni bot che cercando di buttarti giu e/o accedere in qualche modo.
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Venerdì - 22 Novembre 2019 - 15:28
Ciao Darknico,

vorrei eliminarli perchè non so chi siano. So che non possono essere i file del crawler di google, yahoo,alexa, ecc... perchè quelli li vedo regolarmente e mi compaiono trai i visitatori appunto come crawler di un motore di ricerca, dichiarati, diciamo così.

Questi sono centinaia e hanno ip sequanziale. Stanno intasando la banda e il db (che per ora comunque, regge bene). Mi fanno anche sballare tutti i conteggi sulle visite, ecc.. dato che non sono reali. C'è stato un giorno che erano 881 !! io il massimo di utenti che ho in genere sarà di 40 o 50, non di più.

Spero non impallino il server. Ho provato a mettere un firewall su plesk, ma niente da fare. Ho provato tramite htaccess, ma niente da fare ..
Titolo: Re:Problema con spider o bot
Inserito da: Filippo il Venerdì - 22 Novembre 2019 - 22:34
tipo questo?

https://www.ip2location.com/demo/54.36.150.130
Titolo: Re:Problema con spider o bot
Inserito da: emanuele il Sabato - 23 Novembre 2019 - 23:50
Tanaka, se htaccess non ha bloccato vuol dire che avrai inserito qualcosa di "sbaglaito" da qualche parte, perché altrimenti quegli ip in php non li vedevi di certo. ;)
Titolo: Re:Problema con spider o bot
Inserito da: Flavio93Zena il Domenica - 24 Novembre 2019 - 06:52
Citazione di: emanuele il Sabato - 23 Novembre 2019 - 23:50
Tanaka, se htaccess non ha bloccato vuol dire che avrai inserito qualcosa di "sbaglaito" da qualche parte, perché altrimenti quegli ip in php non li vedevi di certo. ;)
Generalmente non linko mai al "posto oscuro", ma direi che una guida possa essere utile, una delle poche che mi ero davvero impegnato a scrivere ;D https://www.simplemachines.org/community/index.php?topic=524146.0
Un giorno la traduco in italiano... Forse xD
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Martedì - 26 Novembre 2019 - 17:55
Grazie a tutti, molto gentili come sempre.

Così come erano venuti, sono spariti. Sono rimasti praticamente 15 giorni circa.
Mi viene il dubbio fosse qualche motore di ricerca estero e magari nuovo. I vari google, yahoo, ecc.. li riconosco.

Pazienza. Tutto è bene quel che finisce bene.
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Lunedì - 06 Gennaio 2020 - 06:23
In realtà sono tornati ed hanno hackerato una delle caselle email ( credo, dato che mi sono ritrovato in blacklist).

Ora sono pieno di visitatori che SMF segnala come azione : "Niente, o niente che tu possa vedere..." e nuovamente, hanno tutti IP contigui.

Secondo voi, come posso agire ? (a parte modificare tutte le password, naturalmente)

Da htaccess non riesco ad usare queste linee :

order allow,deny
deny from 30.31.0/16
allow from all

perchè altrimenti non funziona più il forum


Mi tocca limitarmi a questo :

order allow,deny
deny from 30.31.32.0/24
allow from all

peccato perchè il range da coprire è vastissimo.
Inoltre, ma se cambiano IP, sono da capo...
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Mercoledì - 15 Gennaio 2020 - 11:31
Come volevasi dimostrare, sono tornati.
E adesso hanno Ip nel range del 114.119. ecc..ecc..

Come mai se metto queste righe nel file htaccess


order allow,deny
....
deny from 114.119.0/16

...



mi si blocca il forum con errore 500 ?

Eppure la guida dice che si fà così : https://www.simplemachines.org/community/index.php?topic=524146.0
Titolo: Re:Problema con spider o bot
Inserito da: Flavio93Zena il Mercoledì - 15 Gennaio 2020 - 22:27
Non lo so purtroppo. Anche a me è capitato che non funzionassero i ban "estesi" con lo stesso problema, ho risolto con molti copia/incolla e ban più piccoli ;D
Titolo: Re:Problema con spider o bot
Inserito da: emanuele il Giovedì - 16 Gennaio 2020 - 00:06
Credo che la versione corretta sia:
deny from 114.119.0.0/16
3 ottetti non sono un indirizzo ip valido.
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Sabato - 18 Gennaio 2020 - 13:46
Grazie ragazzi .

Il consiglio di Emanuele sembra funzionare.  ;)

Però , uno alla volta, mi stanno facendo escludere un mare di "range" di IP .

Secondo voi ho altre chance ?
Titolo: Re:Problema con spider o bot
Inserito da: Filippo il Sabato - 18 Gennaio 2020 - 14:48
lasciarli zampettare allegri
Titolo: Re:Problema con spider o bot
Inserito da: Flavio93Zena il Sabato - 18 Gennaio 2020 - 18:21
https://custom.simplemachines.org/mods/index.php?mod=2502
Titolo: Re:Problema con spider o bot
Inserito da: Tanaka il Mercoledì - 22 Gennaio 2020 - 19:03
Grazie Flavio ! Non ci ho capito moltissimo, ma proverò. Grazie