Autore Topic: Problema con spider o bot  (Letto 683 volte)

0 Utenti e 1 Visitatore stanno visualizzando questo topic.

Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Problema con spider o bot
« il: Venerdì, 22 Novembre 2019 11:57 »
Ho notato, da inizio Novembre, una massiccia folla di visitatori che per tutto il santo giorno naviga sul forum che amministro. Molto strano per il nostro forum che è poco frequentato.
Ho verificato e gli IP sono tutti contigui l'uno all'altro.

Immagino che sia un bot o uno spider, ma nemmeno settando un firewall e cercando di bloccare gli ip incriminati, ci salto fuori, anzi aumentano. Ora ci sono circa 200 utenti dei quali 180 sono sicuramente dei "fake" .

Secondo voi, come posso fare ad eliminarli ? Ho timore impallino il server con richieste varie.

Grazie mille

Offline Darknico

  • Amministratore IS
  • *******
  • Post: 2316
  • Sesso: Maschio
  • Server Admin
    • Mostra profilo
    • Darknico.com
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #1 il: Venerdì, 22 Novembre 2019 12:16 »
Perdonami, ma perchè vuoi eliminare gli spider?
Sono li per indicizzare il tuo forum e renderlo più visibile ai motori di ricerca.
E come puoi anche essere sicuro che non siano utenti reali?

Bloccare IP non è mai una scelta giusta perchè potresti bloccare anche utenti reali.

Io ti sconsiglio di agire, a meno che non hai problemi di carico e/o ti accorgi che soni bot che cercando di buttarti giu e/o accedere in qualche modo.
Non supporto privatamente, non risponderei e ci rimarreste male....





Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #2 il: Venerdì, 22 Novembre 2019 15:28 »
Ciao Darknico,

vorrei eliminarli perchè non so chi siano. So che non possono essere i file del crawler di google, yahoo,alexa, ecc... perchè quelli li vedo regolarmente e mi compaiono trai i visitatori appunto come crawler di un motore di ricerca, dichiarati, diciamo così.

Questi sono centinaia e hanno ip sequanziale. Stanno intasando la banda e il db (che per ora comunque, regge bene). Mi fanno anche sballare tutti i conteggi sulle visite, ecc.. dato che non sono reali. C'è stato un giorno che erano 881 !! io il massimo di utenti che ho in genere sarà di 40 o 50, non di più.

Spero non impallino il server. Ho provato a mettere un firewall su plesk, ma niente da fare. Ho provato tramite htaccess, ma niente da fare ..

Offline Filippo

  • Traduttore IS
  • *******
  • Post: 1105
  • Sesso: Maschio
    • Mostra profilo
    • Gilera bi4
  • Versione SMF: 2.0.x
Re:Problema con spider o bot
« Risposta #3 il: Venerdì, 22 Novembre 2019 22:34 »

Offline emanuele

  • Amministratore IS
  • *******
  • Post: 4983
    • Mostra profilo
    • ElkArte
  • Versione SMF: Altro
  • Versione ElkArte: 1.0.x
Re:Problema con spider o bot
« Risposta #4 il: Sabato, 23 Novembre 2019 23:50 »
Tanaka, se htaccess non ha bloccato vuol dire che avrai inserito qualcosa di "sbaglaito" da qualche parte, perché altrimenti quegli ip in php non li vedevi di certo. ;)

Offline Flavio93Zena

  • Staff IS
  • *******
  • Post: 3073
  • Sesso: Maschio
  • Sniper Legends
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #5 il: Domenica, 24 Novembre 2019 06:52 »
Tanaka, se htaccess non ha bloccato vuol dire che avrai inserito qualcosa di "sbaglaito" da qualche parte, perché altrimenti quegli ip in php non li vedevi di certo. ;)
Generalmente non linko mai al "posto oscuro", ma direi che una guida possa essere utile, una delle poche che mi ero davvero impegnato a scrivere ;D https://www.simplemachines.org/community/index.php?topic=524146.0
Un giorno la traduco in italiano... Forse xD

Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #6 il: Martedì, 26 Novembre 2019 17:55 »
Grazie a tutti, molto gentili come sempre.

Così come erano venuti, sono spariti. Sono rimasti praticamente 15 giorni circa.
Mi viene il dubbio fosse qualche motore di ricerca estero e magari nuovo. I vari google, yahoo, ecc.. li riconosco.

Pazienza. Tutto è bene quel che finisce bene.

Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #7 il: Lunedì, 06 Gennaio 2020 06:23 »
In realtà sono tornati ed hanno hackerato una delle caselle email ( credo, dato che mi sono ritrovato in blacklist).

Ora sono pieno di visitatori che SMF segnala come azione : "Niente, o niente che tu possa vedere..." e nuovamente, hanno tutti IP contigui.

Secondo voi, come posso agire ? (a parte modificare tutte le password, naturalmente)

Da htaccess non riesco ad usare queste linee :

order allow,deny
deny from 30.31.0/16
allow from all

perchè altrimenti non funziona più il forum


Mi tocca limitarmi a questo :

order allow,deny
deny from 30.31.32.0/24
allow from all

peccato perchè il range da coprire è vastissimo.
Inoltre, ma se cambiano IP, sono da capo...
« Ultima modifica: Lunedì, 06 Gennaio 2020 06:46 da Tanaka »

Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #8 il: Mercoledì, 15 Gennaio 2020 11:31 »
Come volevasi dimostrare, sono tornati.
E adesso hanno Ip nel range del 114.119. ecc..ecc..

Come mai se metto queste righe nel file htaccess

Codice: [Seleziona]
order allow,deny
....
deny from 114.119.0/16

...


mi si blocca il forum con errore 500 ?

Eppure la guida dice che si fà così : https://www.simplemachines.org/community/index.php?topic=524146.0

Offline Flavio93Zena

  • Staff IS
  • *******
  • Post: 3073
  • Sesso: Maschio
  • Sniper Legends
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #9 il: Mercoledì, 15 Gennaio 2020 22:27 »
Non lo so purtroppo. Anche a me è capitato che non funzionassero i ban "estesi" con lo stesso problema, ho risolto con molti copia/incolla e ban più piccoli ;D

Offline emanuele

  • Amministratore IS
  • *******
  • Post: 4983
    • Mostra profilo
    • ElkArte
  • Versione SMF: Altro
  • Versione ElkArte: 1.0.x
Re:Problema con spider o bot
« Risposta #10 il: Giovedì, 16 Gennaio 2020 00:06 »
Credo che la versione corretta sia:
Codice: [Seleziona]
deny from 114.119.0.0/163 ottetti non sono un indirizzo ip valido.

Offline Tanaka

  • Utente IS Lv.2
  • **
  • Post: 190
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -
Re:Problema con spider o bot
« Risposta #11 il: Ieri alle 13:46 »
Grazie ragazzi .

Il consiglio di Emanuele sembra funzionare.  ;)

Però , uno alla volta, mi stanno facendo escludere un mare di "range" di IP .

Secondo voi ho altre chance ?

Offline Filippo

  • Traduttore IS
  • *******
  • Post: 1105
  • Sesso: Maschio
    • Mostra profilo
    • Gilera bi4
  • Versione SMF: 2.0.x
Re:Problema con spider o bot
« Risposta #12 il: Ieri alle 14:48 »
lasciarli zampettare allegri

Offline Flavio93Zena

  • Staff IS
  • *******
  • Post: 3073
  • Sesso: Maschio
  • Sniper Legends
    • Mostra profilo
  • Versione SMF: 2.0.x
  • Versione ElkArte: -

 

Solito problema di registrazioni farlocche

Aperto da gpezzariniSezione SMF 1.1 (No supporto)

Risposte: 15
Visite: 6112
Ultimo post Martedì, 13 Agosto 2013 11:36
da THOR
problema con le statistiche

Aperto da elan157Sezione SMF 2.0

Risposte: 10
Visite: 3214
Ultimo post Mercoledì, 20 Febbraio 2013 08:26
da elan157
Problema compatibilità mod e come reinstallare SMF

Aperto da SebbeneSezione SMF 2.0

Risposte: 2
Visite: 1165
Ultimo post Martedì, 10 Settembre 2013 00:46
da Sebbene
SimplePortal 2.3.7 © 2008-2018, SimplePortal