oggi voglio parlare di chiedere
domande più importanti voglio parlare
riguardo a porre domande sui dati che
abbiamo già e fare scelte come
le persone interagiscono con i nostri siti umani o
il più delle volte il robot ci penserà noi
riempire soddisfare qualsiasi richiesta loro
inviaci ma alla fine della giornata
sono buoni BOT e cattivi BOT e in
il caso di BOT cattivi siamo davvero
parlare di un caso di asimmetrico
guerra come molti di voi hanno un business
dove l’unico scopo commerciale è
mantenere il traffico e la macchina malevoli
il traffico dalle reti di persone va bene
ottimo quindi dato che è il caso butyl
addley qui questo non è il tuo tempo pieno
lavoro hai un lavoro per fare soldi o
fornire un servizio o qualsiasi altra cosa tranne il
le persone che stanno facendo le cose cattive loro
il lavoro a tempo pieno sta facendo le cose cattive e
quindi non è giusto e quindi il titolo di
questo discorso non riguarda il modo in cui scaliamo
gli umani è come i nostri robot possono trovare
i loro robot e questo è davvero il punto
vuoi fare un robot?
capace di combattere l’altro massiccio
robot là fuori, ma un punto su
prima i robot è che internet è
efficacemente alimentato da robot e tu
so che questi sono i robot che sono buoni
se questi robot prendi questi robot
le cose brutte accadono alla tua ricerca
classifica dei motori che non vuoi che facciano
vai via vuoi che siano in giro e
in realtà questo è così importante che noi
mettere insieme team di persone da gestire
loro giusto SEO e SEM e tutti gli altri
squadre come queste sono squadre molto importanti
la maggior parte delle aziende ha squadre interne
fai questo a volte sono abbastanza grandi
molto importante soprattutto quando lo sei
nello spazio e-commerce o altro
cose del genere che vieni nel
posti giusti quindi impieghiamo squadre di
le persone solo per riuscire a usare buoni robot
ma dal lato oscuro non tutti i robot
sono creati uguali per esempio è questo
richiesta in un file di log un robot è umano
è guidato meccanicamente o come a
umano cliccando su un robot del browser perché
è un robot, voglio dire che è una richiesta di arricciatura
vero, viene da uno che conosci
API di basso livello di qualche tipo probabilmente solo
il comando di arricciatura e ma quello
piuttosto ovvio come su questo
macchina il robot è come me
metti a punto un robot umano o macchina
macchina perché dice wow cosa fa cosa
fa wow significa sì se non lo sapessi
che qualunque altra cosa lo dia via
sembra un browser abbastanza tradizionale
user agent forse google si scopre
essere un bot il punto è che sono entrambi
robot e diventa più difficile quando le persone finiscono
gli agenti utente fanno cose diverse
diventa più difficile e alcuni robot sono di più
guai che valgono e questo è
la cosa più importante è a volte
non è prezioso per elaborare questo
traffico um ma prima quanti di voi
in realtà sapere quanto del tuo traffico
non è collegato nessuno mai dare un’occhiata
e vedi quante cose hai ed è
effettivamente BOTS sì, non molti di noi lo fanno
questo per la coppia di voi che si alza
la tua mano quanto dovrebbe essere robot
traffico correlato rispetto a quanto tu
Consentitemi di passare alla domanda successiva così per
quelli di voi che non hanno alzato la mano
riguardo al traffico di bot questa domanda potrebbe essere a
Poco più rilevante chi qui in realtà
fa test e monitoraggio
sperimentazione a / b testing multivariato
testare quel tipo di cose che dovrei vedere
molto più mani ora probabilmente lo farai
fallo, o forse sei solo stanco
chiunque alza la mano e come ha fatto il
cattivo robot buttare via i test fa così
i dati hanno mai incasinato i tuoi test e
la sperimentazione è che non ho mai influenzato il tuo
risultati qualcuno lo vede accadere prima
si, um
si faranno scattare l’aria che faranno
seguiranno ciecamente la sperimentazione
percorsi che creeranno rumore che potrebbero
sembra che tu sappia che qualcosa sta funzionando
che tu davvero non lo sei se ne hai uno
modello di convergenza potrebbe richiedere più tempo
convergere perché stai cercando di filtrare
fuori quel rumore alla fine lo faranno gli umani
vincere ma potrebbe volerci più tempo
ottenere la risposta e così anche per i test
e seguendo le cose che butta via
l’analitica non è l’ intelligenza
e poi l’ ultima domanda è come cosa
questi bot stanno davvero facendo il tuo
il sito che butta via l’analisi non lo è
quello che stanno facendo hanno uno scopo
di un intento di qualche tipo e Gavin quello
l’intento è molto importante ma prima di noi
andare troppo lontano voglio parlare di alcuni
tipi comuni di robot e tipo di
classificali e parla di come noi
identificali prima di entrare nel
dettagli più profondi il primo e il più
cose ovvie sono cose che fanno ragni
basterà visitare i link e
strisciare il tuo sito ogni link disponibile prova
per catturare ciò che sta succedendo ai ragni
la radice di praticamente tutto il resto
parleremo di tutti gli altri tipi di
i robot di solito hanno associati i ragni
con loro per raccogliere informazioni e il
utilizzando set di scraper e scanner per
cercare contenuti per trovare le cose
a volte le persone li usano solo sul loro
possedere in particolare cose come Google Bot
giusto lo farà e figurerà
fuori ciò che le pagine sono indicizzate e
in generale è banale costruire qualcuno
puoi costruirle puoi scaricarle
sono prontamente disponibili proprio come
per costruire un raschietto, in pratica, sai a
un paio di passi che vai su una pagina
i collegamenti li metti in coda e
ripeti finché non è finito o fino a quando
hai superato qualche tipo di sai
gli spider di soglia sono incredibilmente facili da fare
punto perché si discostano da un tipico
comportamento che visitano tutto quanti
di voi avete pochi minuti per visitare ogni pagina
hai prima che se ne vadano tutto bene io
indovina quanti di noi lottano mantenendo
l’utente su una pagina per più di 30
secondi esattamente esattamente a rimbalzo
i tassi è più è più quello che stiamo cercando
perché qui non rimbalzano solo loro
continua a tornare per più ma loro
deviare molto rapidamente dal comportamento e
ancora più importante è uno dei più grandi
le deviazioni che vedrai sono il verbo
associato con la richiesta
la maggior parte delle volte faremo una pausa
giù qualche distribuzione di verbi HTTP in
i nostri file di registro sono un sacco di numeri
che penso sia uguale al cento per cento
ma l’idea è che ne avrai un po ‘
distribuzione si prende una fetta nel tempo di
tutto il tuo traffico e campionamento e put
questo fuori e poi confrontarlo con a
attore singolo se deviano
significativamente qualcosa non si aggiunge
bene se si tratta di un get cento per cento
richieste e che non corrisponde al
traffico sai i ragni che stanno in piedi
fuori davvero ovviamente molto velocemente così
semplicemente campionando il traffico e guardando
la deviazione prende molta attività
molto velocemente è una cosa super semplice
per farlo è economico è efficace e di più
è importante l’idea di questo discorso
di pensare a come chiederle
domande e quindi progettazione di sistemi
intorno a loro e ho intenzione di iniziare con
un sacco di cose semplici, tutto bene
Voglio parlare è piuttosto facile
quasi unendo e facendo
scelte basate sulle informazioni
velocità giusta quanto spesso hanno colpito
il sito era una volta ogni metà di un
secondo e probabilmente non è un umano
a meno che non siano davvero bravi
computering ma anche allora la sua velocità
è un grande indicatore di questo cattivo robot
i rottami sono scarsi per i ragni
sta andando a colpire più che possono
il più velocemente possibile e poi andare via per
più tardi potrebbero tornare con a
agenda diversa dopo, ma è così
l’idea di abbonati di scrapers automatici
sono una specie di evoluzione di questa volta
vedi un ragno a volte sei piccolo
file con il raschietto e gli skater
hai intenzione che gli scraper vogliano i tuoi dati
voglio scoprire cosa c’è nella pagina loro
vuoi salvarlo, vogliono scaricarlo
stavano facendo qualcosa con quei dati
è importante per loro e ci sono
i modi per affrontare i raschietti ci sono
quelli facili, il primo scenario è se
hai una API e in pratica solo
fermali o definisci sotto l’API
giusto dire hey nessuna macchina va qui secondo
lo scenario è che non hai un’API e
non dovrebbero fare questo bene il
la risposta è davvero facile, basta fermarli
dì che ti dispiace il terzo scenario tu
non fornire un’API e dovresti
smettere di essere pigro ma è proprio così
quando si tratta di raschietti e vogliono
i tuoi dati e in qualche modo non sei stato
in grado di fornire loro un modo per ottenere
i tuoi dati quindi probabilmente stanno raschiando
la tua pagina o non hanno prestato attenzione
o troppo pigro per ottenere i tuoi documenti API e farlo
è il modo giusto in questo caso server API
macchine e interfacce web ogni essere umano
se qualcuno vuole i tuoi dati e tu vuoi
per rendere disponibili i tuoi dati, ecco cosa
l’API serve per essere sicuro di forzare
robot in quel percorso perché cosa
succede qui è raschietti sono stupidi e
sono infranti la maggior parte del tempo e loro
potrebbe effettivamente ottenere i dati sbagliati, quindi se
stai cercando di farti vedere dall’affiliato
i miei partner che vogliono fornire un
trasmetti le tue informazioni e loro sono
usando un raschietto potrebbero sbagliare
dati e produrre il contenuto sbagliato e
quindi pasticciare con l’amplificazione del tuo di
le tue idee se fornisci loro i dati
dalla fonte originale e provengono dal
vera fonte della verità finiscono per ottenere
è giusto e presentato nel modo giusto
in fondo alla strada quindi è una win-win quando
avrebbe fatto nel modo giusto giusto se
non c’è motivo per una macchina in una
scenario o umano in altri scenari voi
non voglio permetterlo, basta fermarlo
questo è molto importante per noi
tollerare questi robot attività robot cattivi
comportamento perché non è davvero affetto
qualsiasi cosa non ti stiano hackerando
non ti sta portando fuori è un po ‘
cattivo comportamento tollerabile ma si ottiene
composti nel tempo fa davvero male
cose ma puoi puoi schiacciare questo
facilmente come ho detto la maggior parte del tempo
raschietti sono abbastanza fatti questo è sufficiente
a pieno di raschietto nella maggior parte dei casi um
semplicemente inserisci un commento in una pagina con a
link e poi guardando chi segue
quel collegamento perché se lo seguono
link non sono umani perché loro
non l’ho visto non è possibile fare clic su di esso
un raschietto segue questo link quindi se vedi
questo è in realtà abbastanza buono per
buttare via un sacco di quei documenti
venire in giro è stupido ma
è efficace e ora alcuni di voi
conosci i kit più recenti che sono usciti
che sfuggono alle pagine di cui avranno bisogno
consapevole del contesto e se ne occuperanno
ma inizia con questo semplice questo piccolo
il trucco ridurrà il tuo traffico se
se tu in effetti blocchi quella traccia,
attori rapidamente abbastanza significativamente
subito fuori di testa e in questo
scenario devi accettare che un piccolo
parte degli attori intelligenti farà
attraverso ad un certo punto in questa battaglia
come ho detto, è una guerra asimmetrica
non preoccuparti di questo a tempo pieno
cento per cento non è l’ obiettivo qui
vuoi essere abbastanza efficace da farti
non notare più il rumore del Delta
è ridotto e puoi continuare a muoverti
su questo è il punto centrale di questo e
il rilevamento di questo è simile a
ragni stanno andando bene ai raschiatori
fondamentalmente il ragno prima e prendi nota e
fare il rumore in questo modo, ma sono
andando a colpire le pagine in un ordine coerente
e stanno andando a fare molto
richieste che di solito sono il tipo di
l’abitudine qui a destra e in effetti come ho detto
un ragno potrebbe precedere un graffio o semplicemente
per capire quali pagine vuole
cercare ma quella deviazione del comportamento
su cui sto parlando di un tema
accettabile giusto il meccanismo per
la scelta di questo tipo è ancora valida
attraverso ragni e scanner o spider
e raschietti ma poi c’è di più
categoria dannosa di robot che è
scanner l’idea di scanner deve essere
puramente dannoso che è tutto vogliono
prova ad entrare veramente a guardare
per le vulnerabilità nella tua applicazione
questo è il loro scopo che potrebbe avere
raschietti e scanner e scraper e
ragni costruiti ma stanno cercando
vulnerabilità in particolare sono
anche incredibilmente facile da individuare quanti di
hai effettuato un’ispezione del carico utile o
logging su richiesta per entrare come post
chiede quel genere di cose a chiunque guardi
a quel tipo di cose che tipo di
gli strumenti stanno usando quello per quello sì
stai guardando qualcosa dal tipo
di sistema di rilevamento del traffico dannoso o
qualsiasi cosa del genere sembra esaminare
in payload per tag di script o strani
roba del genere si intendo dire basato su quelli
questi scammer che stanno per deviare da
comportamento ma stanno per presentare
ovviamente dati maligni che stai per fare
guardalo e ti vedrai
conoscere una serie di 50 milioni di A da vedere
se riescono a sapere qualcosa traboccare
o un tag script o virgolette singole o
qualcosa qualcosa al posto del
segnale a loro che c’è un problema
qui e una volta scoprono che lo faranno
Continua così
manualmente e prova a passare ma
qualcosa che è più importante è questi
gli scanner cercheranno URL che loro
sapere di essere una specie di vulnerabile standard
URL aperti predefiniti in modo che producano una tonnellata
di 40 forza così facile modo per individuare gli scanner
è guardare la quantità di 404 che a
produttori di attori singoli o singoli IP
l’indirizzo produce e tu sarai fuori
grafici per questi scanner perché è così
stanno solo cercando cose come PHP
myadmin e conosci l’amministratore del dash di WP e
come se sfidassimo semplicemente a cercare di trovare cosa
applicazioni che hai corso dietro
il tuo server e per vedere se possono dire
ok bene sto facendo funzionare plex ed è io
ho trovato questa versione quindi ho un set di
sfruttare e andare avanti e lanciarli
giusto ed è così che funziona
bloccarli come se volessi semplicemente delle cose
per andare via l’asterisco qui è
importante assicurarsi di parlare con
gente nella tua compagnia, perché a volte
la tua azienda cosa facciamo questo facendo
per davvero legittimo come provare a
capire se si dispone di vulnerabilità
quindi prima di bloccare tutto il
scanner fuori proprio con cui vuoi parlare
la sicurezza delle tue applicazioni più informazioni SEC
squadra e assicurati che non abbiano
scansioni pianificate come te che vuoi consentire
quelli attraverso per assicurarsi che quello sia
lo sai testato correttamente così sei tu
vuole bloccare tutto, ma proprio
azienda facendo questo tipo di cose il
La ragione per cui ho chiesto degli strumenti è stata la rete
i firewall delle applicazioni possono aiutare qui ora
in realtà fanno questa ispezione sul
le risate sono al livello dei server web
bello non mi piacciono, ma lo sono
sono dei buoni strumenti che preferisco correre
in modalità passiva, in pratica modalità passiva
dice quando vedo qualcosa che ho intenzione di
ti faccio sapere a questo proposito, ma non mi va
per fermarlo attivamente se hai mai visto il web
firewall dell’applicazione lanciati o venduti
sono le pallottole d’argento tutto il web
sicurezza delle applicazioni ed è completa
scherzo quello che sono è espressione regolare
importa e ciò significa falsi positivi
molto, molto e molto falso
positivi che otterrai quelli che vuoi
blocca con esso sono al traffico se ti giri
loro e li lasciamo ma noi
richiedono molta messa a punto ma altro
è importante che manciate la mano così se io
dì e invia un modulo con
tag script e dico 403 vietato e
poi faccio la stessa forma che non ha
non mi blocca mi hai appena detto
avere una risata e ora ho intenzione di assumere
mia moglie evasione
niques e basta andare in giro perché
l’altra cosa sono le espressioni regolari
sono fatti e puoi fare lo stesso
conosci gli stessi input ma lo è
bypassato quella espressione regolare perché
molti di loro sono piuttosto deboli e quindi tu
non voglio darti una mancia quando tu
avere la risata che vuoi le risate lasciate
Diteci che qualcosa di brutto è
accadendo e dietro le quinte essere
lavorando su un tipo di blocco definitivo
loro, invece di dare mostrarlo in
la loro mano e farli sperimentare
finché non arrivano da tua moglie perché loro
li avevi dati a quel punto e
c’è una specie di altra classificazione
e anche questi sono malevoli ma lo sono
frode denial of service spionaggio che
in particolare tipo di frode
qualcosa per cui molti di voi
i siti di e -commerce in corso stanno per
affrontare ad un certo punto nel tempo il
la negazione del servizio sarà dura
di cui non ho intenzione di dire nulla
la negazione volumetrica della bici di servizio
attacca come se ti sbattessero a faccia a faccia
un sacco di traffico per andare via
a un livello inferiore sono in segno di diniego
attacchi di servizio in cui qualcuno trova il
pagine lente sul tuo sito e inizia appena
per caricarti con quel tipo di
la ricerca in questo modo giusto e così sono
portarti giù tramite l’applicazione no
tramite il livello di rete questi cadono ancora
nella categoria maliziosa anche se giusta
stanno facendo qualcosa di offensivo
qualcosa di malevolo di proposito ma loro
comportarsi in modo diverso e quali sono questi strumenti
di solito fanno hanno un obiettivo mirato
corrono dietro alle carte di credito
stanno cercando di farti sapere di più
cose che dovrebbero essere in grado di fare in base
sulle regole hanno un qualche tipo di
l’agenda ovvia è come se guardassi
il traffico che stanno ovviamente andando
dopo una cosa particolare in una sola
quindi sono molto puntati
quello che stanno facendo e il rilevamento qui è
un po ‘più difficile perché devi
capire che cosa stanno cercando ma
una volta capito questo modello super
facile perché come ho detto che sono sempre
super ovvio su quello che stanno facendo
e ti mostrerò un paio di esempi in a
minuto di quello che sembra e quello
scende a un po ‘come quello che guardiamo
per e in questo caso ce n’è uno comune
modello giusto era la distribuzione del verbo
tipo di un modo semplice per farti capire
andando qui ma c’è un pezzo di anomalia
di questo vogliamo cercare anomalie
e vogliamo che vogliamo iniziare con a
Ipotesi nulla e ipotesi nulla
tutto ci consente di rifiutare ciò che è
ciò che trova i nostri candidati ma questo è il
parte difficile e in realtà questo è il più
parte importante
dobbiamo prima definire il modo normale
molti di voi fanno un sacco di aggregazione di log
quanti hanno un analizzatore di query in qualche modo
guardare i tuoi registri non molte mani
fai quel primo diritto che devi avere
tutte le tue cose in un posto, quindi puoi
vedere cosa sta succedendo la visibilità è super
importante per tutto questo quindi se non lo fai
sai cosa è normale non sai cosa
non normale è necessario definire normale
prima è super importante e tu hai
per sapere cosa deve cambiare per
non essere normale, quindi dici se questi
le cose sono vere, non siamo nulla di buono
è sbagliato qui, ma se questo paio di
le cose cambiano è molto importante agire
e capire cosa sia veramente
significa che non significa che sia cattivo significa
un anonimo e tu vuoi capire
cosa significa di più e quindi ecco a
un paio di richieste e voglio guardare
attraverso questi e vedere se voi ragazzi spot
l’intento possiamo parlare di fatti tutti
vuoi ma vogliamo vedere il
intento della richiesta quindi ne abbiamo quattro
richieste e poi parleremo un po ‘
attraverso di essa la prima richiesta è un post /
l’accesso ha già un agente utente
ha identificato alcune cose su questo essere
probabilmente generato da una macchina ma ecco
la prima richiesta prima richiede questo
indirizzo mai fatto seconda richiesta è un
inviare agli utenti carte di credito Roland king
l’endpoint delle carte di credito è il
terzo o terzo di noi ed ecco il
quarta richiesta quindi cosa vedeva la gente
qui in questo rispetto a quello che saniflo richiede
provando a convalidare la carta di credito mmm
la convalida della carta di credito è certa
tipo di attacco associato a allora
chiamato un attacco di carda o persone prendono un
lista di carte di credito rubate e loro vedono
quale funziona ancora, quindi facciamo un grande
cosa per usabilità dove se qualcuno
ha un account sul nostro sistema che abbiamo
loro inseriscono i dettagli della carta di credito in anticipo
di tempo e li convalidiamo per fare
certo che quando arriva il momento di controllare
fuori possiamo separarli da loro
denaro il più veloce possibile, giusto impulso
acquisti sono la via di Internet e così via
vogliamo fare è assicurarci che
quell’attrito è sparito e quindi questo è un
secondo questo è un passaggio separato da fare
certo che tutti gli acquisti futuri sono giusti
tipo di sai un tasto un clic
qualunque cosa possiamo fare bene questo servizio
lavora contro di te e la forma di questi
sorvegliando gli attacchi come si prende il merito
carte online e-commerce di qualche tipo
un altro di quanti ne sei consapevole
questo succede ho visto questo attacco
prima di destra se non l’hai visto andare
guarda vai, chiedi ai tuoi registri lo troverai
praticamente tutti quelli che accettano
le carte di credito hanno questo comportamento sono
in realtà piuttosto bravo a volare sotto il
radar fino alla quantità di
richieste che fanno in base alla tua taglia ma
la maggior parte delle persone avrà questo e solo grande
anelli di frode della carta di credito che cercano
carte di credito valide e vendendole o
possibilmente girando usando loro
contro il tuo sito quando hanno convalidato
loro che è l’altra cosa giusta
abbiamo identificato questa è la cardatura
attacco che spieghiamo cosa carda
attacca davvero e io sono sul
superficie ma diamo un’occhiata alla richiesta
di nuovo c’è un sacco di cose che
ci rende consapevoli di questa anomalia
prima è la richiesta di accesso dovrebbe
sono stati preceduti da una richiesta di ottenere
non avevamo la richiesta di ottenere che abbiamo
sono 200 qui che va tutto bene ma
la richiesta successiva è mi dispiace in realtà io
Stavo cercando una prossima richiesta che abbiamo
un ritardo di un secondo nei nostri account o
richiedi un secondo un secondo un secondo
un secondo ogni tutti che non posso citare
il numero della mia carta di credito e le informazioni in
un secondo che ha colpito, non è così
possibile forse hai un pilastro o
qualunque cosa, ma ho intenzione di dire che è
pescoso un secondo in punto ogni volta
e vediamo che è un firefox otto su
windows seven è una strana combinazione
di cose abbiamo anche identificato che il
la vedova su Windows è un’altra cosa
cosa da cercare, ma l’agente utente è
è un pesce non è abbastanza non abbastanza
aggiungere e la prossima cosa è super
importante anche geoip posizione proprio dove
è questa persona che viene se te l’ ho detto
questa è una compagnia americana che fa buon spazio
affari è una società immaginaria ma se
ti ho detto quell’informazione e hai visto
questa richiesta potresti pensare di fare la nostra
inizia a fare altre domande proprio noi
normalmente non vedi il traffico da
bulgaria cosa sta succedendo qui perché
è questo il motivo per cui è tutto improvvisamente spuntato
e poi finalmente un gruppo di 30
qui qui che non vengono mai seguiti correttamente
e ha bisogno di entrare nei browser compatibili
andando a seguire i 30 ci vediamo quando
ottiene è che è che è così che sta andando a
lavoro così abbiamo visto un sacco di cose
facci sapere che questo non è umano e
in realtà più importante non è un
browser conforme agli standard e così via
c’è qualcosa di strano è qualcosa
diverso su questo ora potremmo andare avanti
gli altri fatti qui questo in realtà
continuato altre 10.000 volte quindi tu
essere abbastanza sicuro che sia un attacco di cardatura il
l’idea è di individuarlo identifica il
intento e fermarlo prima che accada
10.000 volte giusto se lo si fa in
prima coppia di richieste la vita è migliore
hanno dimenticato che forse sono riusciti a farlo
provare una carta di credito, prima che ci si ferma
okay, intendo che potrebbero scannerizzarlo
che oltre 10.000 IPS in un giorno e che è
bene, ma stanno per esaurire il loro
pool di ips prima che facciano qualcosa di reale
informazioni che stanno cercando per il volume
loro vogliono che io abbia centinaia di
milioni di carte reddit per testare che sono
non andando a spendere tutti i loro ips
il tuo sito se puoi renderlo troppo difficile
si tratta di deviazione del comportamento come
Identifichiamo che mi rendo così
giusto e ci sono suggerimenti per questo lì
sono cose semplici come velocità, quanto velocemente
se guardi quanto è veloce un utente normale
interagisce e poi guardi il delta
su un singolo attore puoi trovare una bella
veloce ogni sito ha modelli diversi
alcune persone che stanno facendo clic
abbastanza rapidamente alcune persone sono forse te
avere una grande lista di cose da mostrare e
la gente vuole leggerlo e guardarlo
e vedere le raccolte di cose a destra a
groupon abbiamo elenchi di offerte che potresti
passare diversi minuti a guardare attraverso a
un’unica pagina solo per vedere quali sono le offerte
lì la velocità è importante se vediamo
persone fare clic fare clic fare clic fare clic
fare clic su c’è troppe informazioni
sulla pagina non c’era quel clic
così veloce a meno che non sappiano esattamente cosa
ci stanno andando ma non lo è
normale i modelli di accesso al momento di
giorno in cui il culo quando qualcuno sta facendo il
cosa stanno facendo se hai dei picchi
e le valli del traffico che conosci
dì che sei in servizio commerciale e
fare il pranzo o qualcosa e tutto il tuo
il traffico arriva all’ora di pranzo e poi tu
vedere un grande spiky come 2am che non lo è
normale giusto è qualcosa di diverso
quindi il pattern di accesso coinvolge anche il percorso
a cui qualcuno prende per arrivare a te così
questo è dove tu X e sicurezza incontrano a
buona esperienza utente è in realtà uno
delle migliori cose che puoi fare per
sicurezza se progettate un utente per andare giù
un certo percorso è davvero facile
capire fuori vuole deviare da esso ma
se hai una brutta esperienza utente e
guida le persone dappertutto
in realtà non riesco a capire quando sono
deviando dal percorso comune standard
quindi torna indietro e ridisegna il tuo utente
esperienza per guidare le persone verso il basso
percorso vedrai le deviazioni che faranno
essere in modo più ovvio lasciare che l’esperienza utente
è super importante e come guidi
i tuoi utenti ad agire sulla tua pagina ti aiutano
capire quando stanno facendo quando
le persone sono come se andassero
è un momento della giornata super importante
la geolocalizzazione è enorme e risale a
schemi di accesso ma dove sono le persone
contattarti da cosa ti sta succedendo
vogliono sapere dove stanno venendo da
e davvero un po ‘di ora del giorno e
la geolocalizzazione è anche molto importante
giusto così se sei da parte per il pranzo
esempio se il tuo pranzo rispetto al in
ora centrale guarderai a mezzogiorno
se il tuo pranzo a Londra lo sarà
un tempo diverso in modo che tu voglia abbinarlo
con pranzo in qualunque paese tu sia
servire se è se è ufficio è 2
sono a Londra ed è uno sguardo e
stai cercando cose di Londra che conosci
questo sarà l’anomalo
cosa così anche la geolocalizzazione arriva
l’ora del giorno e il modello di accesso vi riempiono
vuoi vedere cosa vuoi allineare
così su è più fattori che
sono venuto in una sorta di modellazione di questo
ancora una volta la distribuzione dei verbi era un esempio di noi
ha già mostrato l’agente utente in modo da agenti utente
bene, ma user agent spoofing nessuno in grado
può mettere qualunque cosa diavolo vogliono
l’intestazione user-agent e via
proprio non lo controlliamo davvero
non è qualcosa di cui ti puoi fidare, ma tu
può combinare questo con altre informazioni
come l’ordine di intestazione quanti di voi
mai visto l’ effettivo ordine in cui
le intestazioni scendono da un browser
chiunque abbia mai guardato , lo fa
cambia no non cambia mai ogni browser
ha un’impronta digitale nell’ordine in cui il
le intestazioni che scendono sono statiche per tutti
browser quindi se qualcuno dice che sono Safari
e le intestazioni non vengono nell’ordine
che Safari arriva non è Safari
solo dritto così è
palese menzogna ora non significa che sia
malizioso ma significa che lo sono
mentendo come te puoi identificarlo quasi
uniformemente in ogni singola situazione
e quindi questo è un trucco super semplice da fare
un piccolo modulo intorno al tuo
webserver che ti darà l’ordine grezzo
le intestazioni e quindi le impronte digitali e
quindi costruisci un mignolo per
database e basta controllare il tasso di successo come
spesso la richiesta ha avuto successo come me
disse che gli scanner avevano il tempo di buttarci fuori
abbastanza lontano ma conosci un esempio qui
questo indirizzo IP fece 1878 richieste e
avevano una percentuale di successo pari a zero
erano tutti e 40 forza questo è questo non lo è
questo non è farlo non vuoi
bloccare quel diritto ma tu vuoi avere
il suo tipo di sistex disponibile per te
a destra 403 è 40 quarantacinque e
sai 40 quelli sono tutti importanti
tutti i pezzi rilevanti vanno bene per i 500
anche un grande regalo se ne hai una coppia
cinquecento significa che hai un errore
e ne abbiamo un paio di migliaia cinque
cento due significa che sono probabilmente
cercando di sfruttare qualcosa che hanno trovato
per vedere se è 500 potrebbe essere lo sai
affrontato in una sorta di modi nefasti tutti
questa roba era roba di superficie noi
può andare molto più a fondo qui perché cosa
stiamo cercando è davvero intento
voglio sapere cosa stanno facendo perché
lo stanno facendo in modo che possiamo guidare
li spacciati nel modo giusto o davvero vogliono
capire se sono un robot o no
in realtà è questo il punto
di questo discorso giusto scoprire se a
il robot è fagioli che esaminano come un robot
cose che un robot pensa e si comporta
diversamente da un umano e possiamo
gioca su quella nozione e in effetti ne fa una
il robot ci dice il robot semplicemente chiedendo
per fare certe cose che un umano
altrimenti farebbe normalmente o in questo
caso sarebbe un browser compatibile standard
normalmente lo fanno e ignora è stato
programmato per fare una certa cosa e questo
farà quella cosa certa perché
era programmato per fare quel genere di cose
come il 302 piace seguire i 30 G di destra
se non è mai stato programmato per farlo
andrà avanti e tutto normale
il browser compatibile dovrebbe solo archiviare il 3x
così potremmo davvero se fossimo
chiedendosi se o sospetti abbiano chiesto il
palla per fare qualcosa che sai
la guarigione normalmente andrebbe nel modo giusto
e vedi se non è così, non lo sei
identificato un robot e quindi possiamo
fondamentalmente spingere i robot a dirci il loro
BOT di un solo chiedendo di fare certe
cose e alla fine abbiamo un obiettivo
Vogliamo bloccare rapidamente i robot
possibile è così e la storia è
poche richieste possibili i robot vanno via
andiamo avanti con i nostri giorni non è un tribunale
affari non ci interessa davvero la fine di
volevo essere ripensato, voglio
vai a vedere e assicurati
tutto sta succedendo e i bluff di
i pipistrelli vengono bloccati ma io voglio andare
di nuovo al business come al solito ci sono
altre cose che possiamo fare se andiamo più a fondo
possiamo incorporare gli script e le nostre pagine
fondamentalmente chiedi al capo di parlarci
loro stessi in realtà tutti ci dicono
su se stessi ma siamo davvero
cercando informazioni a destra a
piccolo insieme di JavaScript indietro i post
a te puoi essere correlato con gli altri
schemi di traffico per dire hey cosa cosa
su questo è significativo e circa
questo browser è utente significativo ora
sembra rumoroso come te
facendo monitoraggio stai facendo domande
quello che stai davvero cercando di fare
l’intento è però trovare i robot
JavaScript non contiene molte cose qui
e c’è un pezzo in particolare è
veramente grandi gli oggetti di Navigator che sono
andando oggetto citare in giudizio manator mai visto che
prima di aprire il browser o il tuo dispositivo di sviluppo
strumenti e vai a guardare il Navigatore
oggetto o semplicemente guardare i documenti di quello che era
proprio sito Web sono davvero buoni per
esempio un paio di cose che possiamo chiederci
possiamo chiedere all’agente utente in modo che possiamo
effettivamente vedere ciò che dice il browser e
quale è il vero intestazione
scende il flusso dice e se loro
non corrisponde a quello che sai di solito a
indicatore o qualcosa di interessante
risoluzione dello schermo quanti di voi mai
eseguire un browser uno per uno se ne vedi uno
da uno a giveaway morto che non è un
umano perché non possiamo proprio vederlo
ma quelle avventure sono importanti
la piattaforma su cui è in esecuzione
importante che tu possa farlo
potrebbe dire che è linux nel browser
e quindi l’ utente non dice finestre su
Windows aspetta un minuto cosa sta succedendo
qui o torna come Apple proprio tu
può anche usare il flash è una specie di a
razza di morire appena ti spruzza per essere il modo
più prezioso qui, ma meno persone più
le persone hanno installato il flash blocker
il flash è come morire javis
diventando sempre più potente in modo da puntare su
JavaScript questo punto ma puoi ancora
usa il flash ma fondamentalmente i dettagli lo rendono
è facile individuare un bot, voglio dire che c’è il
una cosa ovvia se non viene eseguita
e torna da te è probabilmente lo è
a destra potrebbero avere JavaScript
disabilitato quindi di nuovo la maggior parte di noi no
avere siti che funzionano quando javascript
disabilitato quindi è l’ esperienza dell’utente
comunque piuttosto schifoso ma possiamo prendere un
guarda bene ho parlato di user agent
prima di destra vedi se si allinea con il
agente utente che è stato effettivamente inviato a voi
sul filo della risoluzione dello schermo come
Ho detto che era interessante ma
c’è un altro movimento del cursore della roba
modello di movimento che il mouse fa a
l’umano ha schemi normali di spostamento del
mouse sono lisci anche se lo sono
velocemente sono fluidi e il cursore verrà tracciato
attraverso lo schermo anche se è più veloce
lento c’è sempre un robot modello
tipo di browser senza testa o web scusato
i driver non lo fanno saltano semplicemente
le coordinate salteranno da qui a qui
qui a qui a qui sanno come fare
la coordinata nella pagina e il
la quantità di esso sarà così irregolare che a
l’umano non potrebbe mai possibilmente
generato in modo da poter guardare il
schemi di movimento sul cursore e vedere
il comportamento di deviazione vede quel tipo di
fingerprinting quali sono i plugin
installato puoi chiedere i plug-in
che sono installati per la maggior parte dei nostri browser
i difetti sono i plugin, così dice
sai che sono Internet Explorer e
Internet Explorer ha un elenco predefinito di
plugin, ma è come il plugin
torna vuoto o dì che sai che non lo so
conosci bene l’addon di cromo
non potrei mai andare ad un
Explorer sapete che c’è una mancata corrispondenza del
impronte digitali le impronte digitali del browser
sono interessanti e in realtà hanno
utilizzato molto meglio il rilevamento delle impronte digitali
semplicemente essere un po ‘come l’installazione
quali caratteri sono installati hash ma ora
quella roba esiste e anche fino a
dettagli di caricare me l’oggetto canvas e
fai tante domande sulla tela
e WebGL e ci sono le impronte digitali
capita anche di mettere dentro quello e così
conservi anche le impronte digitali conosciute
scatola così una volta che hai deciso che c’è un
certo browser fingerman che è cattivo e
vedi di nuovo quell’impronta digitale
vai subito a sapere di non passare
e bloccali subito perché quelli
tipo standard di driver web simili a
tipo di cose che sono davvero
i dati di ritorno avranno sempre lo stesso
Impronta digitale che conosci per sempre
una libreria open source dall’uso chiamata
Val questo non è questo non è quello con
la compagnia il nome dell’utente è giusto
Valvola la sua impronta digitale e anche lui
ha qualcosa chiamato fingerprint ASG
che è una specie di rielaborazione
ma è un buon modo per farlo
tipo di iniziare e vedere come
interagire con navigatore come tu ed io
sono con WebGL e canvas e le cose
per darti quella impronta digitale
disponibilità quindi voglio concludere e
dare un po ‘di tempo per le domande, ma a
un altro paio di cose da ricordare è quello
noi impieghiamo adolescenti e persone da gestire
i bravi robot sono ben noti
Pratica è che è stabilito quello che noi
non ho ancora fatto sta costruendo squadre di
le persone che gestiscono i cattivi è
importante per costruire davvero una squadra che
può fare questo per scrivere questi cattivi robot
stanno diventando molto più prominenti come
il tempo passa per il loro rapporto rumore
dirompente come il caso migliore è il
dirompente nel peggiore dei casi in cui effettivamente
star irrompendo e facendo cose cattive
la cardatura attacca la frode l’abuso
ti fa guardare male si rallenta
altrimenti mette a rischio la tua metrica
causa solo problemi a cui non è salutare
Consenti a questa roba che dobbiamo fare
sistema che ci permette di fare questo giusto
il rilevamento è parte di ciò che vuoi essere
in grado di capire chi sta facendo cosa e
quando per bloccare loro, ma anche voi volete
essere in grado di bloccarli quando è il momento se
hai mai provato a farlo in un normale
modo significa mettere una voce in un web
server o un bilanciamento del carico e ricaricare
la configurazione e così succede a
coppia centomila volte al giorno o
10.000 volte quindi sono in realtà solo
dieci volte al giorno e tu ne hai una coppia
un centinaio di web server a cui piace
ricarica più e più volte il meglio
playbook ansible nel mondo non lo fa
fa davvero andare via questo dolore proprio noi
avere qualcosa di più dinamico
hai un posto dove puoi cercare e
quindi c’è uno strumento open source là fuori
chiamato foglio rap che tipo di fa quello
si incorpora sul server Web e a
motore dell’anno scorso X e utilizza un effimero
denaro contante per le ricerche e quindi tutto ciò che
hai dietro le quinte puoi chiudere i dati
dentro e guarderà rapidamente il
informazioni e decidere cosa fare
blocca qualcuno così puoi avere una dinamica
bloccare il foglio rap è solo una coppia
proietta a perché è di coppia
le cose scritte in C sono open source
progetto sotto il mio account github o
in realtà ha questo su goetaborg ora e
ci collegherò più tardi ma è un piccolo
quantità di codice C che dà solo un’occhiata
a ciò che è in contanti e come è necessario
10 nodi o blocchi qualcuno e poi fa
un po ‘di registrazione e quel tipo di cose è
disponibile come
modulo server 4 motore X e per Apache
c’è una libreria principale che condividono
e vedi c’è anche una versione Java di
la libreria di ricerca che puoi incorporare come
bene per se stai facendo dritto
roba servlet non dietro un server web
e giù per l’ambiente dell’applicazione
è una specie di quel buffer
prima di colpire l’ambiente della tua app
può anche far scattare cose ma tu hai
che slot di elaborazione di banda hai
ottima reputazione nutre l’altro
cose e c’è molto di più che posso ottenere
in se si vuole parlare di più su questo
trovami alla festa dopo la festa che posso
ti dico un sacco di cose su questo
roba funziona perché siamo in realtà
usandolo ora e abbiamo effettivamente costruito a
mucchio di visualizzazione intorno ad esso così noi
può guardare in qualsiasi momento e vedere
cosa sta succedendo, quali sono i cattivi robot?
cosa stiamo bloccando sai che questo è un
immagine di una cattura in cui stai vedendo
diverse migliaia o centomila o
milioni di blocchi in alcuni casi, intendo dire che lo è
abbastanza facile da dire a quelli negli Stati Uniti
su quegli angoli o Amazon l’AWS e
se ingrandisci vedrai solo un mucchio
di roba AWS e tu sai davvero
è importante ricordare il giusto
a parte la brutta richiesta giusta chi possiede
il blocco del sidro ma ti sta contattando
è importante perché è abbastanza comune
quella roba da oceano digitale e
Rackspace e AWS e qualsiasi VPS
fornitori sarà robotico
le persone con il diritto al traffico non stanno affittando AWS
istanze a come computer giusto questo è
non è normale avere un computer
quindi non hanno bisogno di altri computer per
basta fare il calcolo normale lì è
guidando sta eseguendo programmi e così
a volte vuoi pensarci su
e nessuna delle sue intrinseche milizie
o male è lo spazio in affitto così chiunque può
fallo ma qualunque cosa lo vogliano per a
un po ‘ di un prezzo e in realtà quelli
carte di credito fraudolente che le persone
convalidare sul tuo sito che usano quelli per
comprare tempo sulla società di hosting, così loro
può mai essere rintracciato e non ottenere mai
spento ma alla fine lo vogliamo
ridurre il rumore comprato testo è circa
ridurre il rumore e capire cosa
conta davvero per il tuo business
vuole ridurre l’impatto degli attacchi se
I BOT vengono scacciati prima che possano
davvero capire un problema sul tuo sito
è meno probabile che tu sappia che tipo
di un attacco di vulnerabilità drive-by così
è probabile che ne avrai un po ‘
tipo di incidente di sicurezza sulla strada
ma tu non vuoi essere colpito dal
scanner giusto è imbarazzante da ottenere
colpiti dai robot e fatti hackerare e
mostra un po ‘di mancanza di maturità così tu
voglio evitare che tu voglia prenderle
robot via e, naturalmente, la fine del
giorno buona programmazione difensiva e a
buona pratica di sicurezza del software
ti aiuta a fare questo, ma anche voi volete
fare in modo che questi scanner vadano a destra
più individuano i più vulnerabili
finisci per diventare e vuoi migliorare
fiducia competente nei tuoi dati questo
test di intelligenza di business analytics
rintracciarlo significa denaro più velocemente noi
capire come convertire l’unità di acquisizione
interazione più velocemente arriviamo a
soldi e loro del giorno e io sono
parlando a nome di voi conoscete un
piattaforma di e-commerce ma alla fine di
il giorno in cui sei in quella portata
vuoi guidare l’interazione e
vuoi sapere cosa funziona e questi
robot che ti offrono e così via
più a lungo per trovare i soldi e al
entità che è ciò che conta davvero
quindi ho un paio di riferimenti per te
uscire dallo stato calmo / rap ha tutto il
codice pacchetti disponibile per il rap
foglio di cui ho parlato e mi piace
Ho detto se vuoi saperne di più
di cui sono felice di parlare a lungo
quello dopo il Navigator oggetto dal
La documentazione di Mozilla come quella è la
chiave per combattere questo tipo di semplice
piccoli script che puoi incorporare nel tuo
pagina per fare qualche analisi di controllo di cosa si tratta
andando lì l’impronta digitale Jas e
js2 sono di biblioteca di cui stavo parlando
circa le impronte digitali di base
ci sono strumenti migliori là fuori
servizi commerciali so che c’è
niente che non approva nessuno
in particolare ma puoi uscire e vedere
servizi di impronte digitali che sono veramente
bene hanno un grande gigante espansivo
reti di dati che si paga per richiesta
in fondo possono essere piuttosto costosi
ma ci sono alcuni servizi davvero buoni
questo lo fanno e sono guidati da molto
di una scienza davvero interessante e quindi lo farei
incoraggiarti se vuoi davvero andare
lungo la strada se le impronte digitali jf roba
i lavori vanno e trovano quelli commerciali
entità posso aiutarti in questo
anche perché puoi averne un po ‘
grandi dati da quello e finalmente abbiamo
un po ‘di tempo per le domande
tu
domande più importanti voglio parlare
riguardo a porre domande sui dati che
abbiamo già e fare scelte come
le persone interagiscono con i nostri siti umani o
il più delle volte il robot ci penserà noi
riempire soddisfare qualsiasi richiesta loro
inviaci ma alla fine della giornata
sono buoni BOT e cattivi BOT e in
il caso di BOT cattivi siamo davvero
parlare di un caso di asimmetrico
guerra come molti di voi hanno un business
dove l’unico scopo commerciale è
mantenere il traffico e la macchina malevoli
il traffico dalle reti di persone va bene
ottimo quindi dato che è il caso butyl
addley qui questo non è il tuo tempo pieno
lavoro hai un lavoro per fare soldi o
fornire un servizio o qualsiasi altra cosa tranne il
le persone che stanno facendo le cose cattive loro
il lavoro a tempo pieno sta facendo le cose cattive e
quindi non è giusto e quindi il titolo di
questo discorso non riguarda il modo in cui scaliamo
gli umani è come i nostri robot possono trovare
i loro robot e questo è davvero il punto
vuoi fare un robot?
capace di combattere l’altro massiccio
robot là fuori, ma un punto su
prima i robot è che internet è
efficacemente alimentato da robot e tu
so che questi sono i robot che sono buoni
se questi robot prendi questi robot
le cose brutte accadono alla tua ricerca
classifica dei motori che non vuoi che facciano
vai via vuoi che siano in giro e
in realtà questo è così importante che noi
mettere insieme team di persone da gestire
loro giusto SEO e SEM e tutti gli altri
squadre come queste sono squadre molto importanti
la maggior parte delle aziende ha squadre interne
fai questo a volte sono abbastanza grandi
molto importante soprattutto quando lo sei
nello spazio e-commerce o altro
cose del genere che vieni nel
posti giusti quindi impieghiamo squadre di
le persone solo per riuscire a usare buoni robot
ma dal lato oscuro non tutti i robot
sono creati uguali per esempio è questo
richiesta in un file di log un robot è umano
è guidato meccanicamente o come a
umano cliccando su un robot del browser perché
è un robot, voglio dire che è una richiesta di arricciatura
vero, viene da uno che conosci
API di basso livello di qualche tipo probabilmente solo
il comando di arricciatura e ma quello
piuttosto ovvio come su questo
macchina il robot è come me
metti a punto un robot umano o macchina
macchina perché dice wow cosa fa cosa
fa wow significa sì se non lo sapessi
che qualunque altra cosa lo dia via
sembra un browser abbastanza tradizionale
user agent forse google si scopre
essere un bot il punto è che sono entrambi
robot e diventa più difficile quando le persone finiscono
gli agenti utente fanno cose diverse
diventa più difficile e alcuni robot sono di più
guai che valgono e questo è
la cosa più importante è a volte
non è prezioso per elaborare questo
traffico um ma prima quanti di voi
in realtà sapere quanto del tuo traffico
non è collegato nessuno mai dare un’occhiata
e vedi quante cose hai ed è
effettivamente BOTS sì, non molti di noi lo fanno
questo per la coppia di voi che si alza
la tua mano quanto dovrebbe essere robot
traffico correlato rispetto a quanto tu
Consentitemi di passare alla domanda successiva così per
quelli di voi che non hanno alzato la mano
riguardo al traffico di bot questa domanda potrebbe essere a
Poco più rilevante chi qui in realtà
fa test e monitoraggio
sperimentazione a / b testing multivariato
testare quel tipo di cose che dovrei vedere
molto più mani ora probabilmente lo farai
fallo, o forse sei solo stanco
chiunque alza la mano e come ha fatto il
cattivo robot buttare via i test fa così
i dati hanno mai incasinato i tuoi test e
la sperimentazione è che non ho mai influenzato il tuo
risultati qualcuno lo vede accadere prima
si, um
si faranno scattare l’aria che faranno
seguiranno ciecamente la sperimentazione
percorsi che creeranno rumore che potrebbero
sembra che tu sappia che qualcosa sta funzionando
che tu davvero non lo sei se ne hai uno
modello di convergenza potrebbe richiedere più tempo
convergere perché stai cercando di filtrare
fuori quel rumore alla fine lo faranno gli umani
vincere ma potrebbe volerci più tempo
ottenere la risposta e così anche per i test
e seguendo le cose che butta via
l’analitica non è l’ intelligenza
e poi l’ ultima domanda è come cosa
questi bot stanno davvero facendo il tuo
il sito che butta via l’analisi non lo è
quello che stanno facendo hanno uno scopo
di un intento di qualche tipo e Gavin quello
l’intento è molto importante ma prima di noi
andare troppo lontano voglio parlare di alcuni
tipi comuni di robot e tipo di
classificali e parla di come noi
identificali prima di entrare nel
dettagli più profondi il primo e il più
cose ovvie sono cose che fanno ragni
basterà visitare i link e
strisciare il tuo sito ogni link disponibile prova
per catturare ciò che sta succedendo ai ragni
la radice di praticamente tutto il resto
parleremo di tutti gli altri tipi di
i robot di solito hanno associati i ragni
con loro per raccogliere informazioni e il
utilizzando set di scraper e scanner per
cercare contenuti per trovare le cose
a volte le persone li usano solo sul loro
possedere in particolare cose come Google Bot
giusto lo farà e figurerà
fuori ciò che le pagine sono indicizzate e
in generale è banale costruire qualcuno
puoi costruirle puoi scaricarle
sono prontamente disponibili proprio come
per costruire un raschietto, in pratica, sai a
un paio di passi che vai su una pagina
i collegamenti li metti in coda e
ripeti finché non è finito o fino a quando
hai superato qualche tipo di sai
gli spider di soglia sono incredibilmente facili da fare
punto perché si discostano da un tipico
comportamento che visitano tutto quanti
di voi avete pochi minuti per visitare ogni pagina
hai prima che se ne vadano tutto bene io
indovina quanti di noi lottano mantenendo
l’utente su una pagina per più di 30
secondi esattamente esattamente a rimbalzo
i tassi è più è più quello che stiamo cercando
perché qui non rimbalzano solo loro
continua a tornare per più ma loro
deviare molto rapidamente dal comportamento e
ancora più importante è uno dei più grandi
le deviazioni che vedrai sono il verbo
associato con la richiesta
la maggior parte delle volte faremo una pausa
giù qualche distribuzione di verbi HTTP in
i nostri file di registro sono un sacco di numeri
che penso sia uguale al cento per cento
ma l’idea è che ne avrai un po ‘
distribuzione si prende una fetta nel tempo di
tutto il tuo traffico e campionamento e put
questo fuori e poi confrontarlo con a
attore singolo se deviano
significativamente qualcosa non si aggiunge
bene se si tratta di un get cento per cento
richieste e che non corrisponde al
traffico sai i ragni che stanno in piedi
fuori davvero ovviamente molto velocemente così
semplicemente campionando il traffico e guardando
la deviazione prende molta attività
molto velocemente è una cosa super semplice
per farlo è economico è efficace e di più
è importante l’idea di questo discorso
di pensare a come chiederle
domande e quindi progettazione di sistemi
intorno a loro e ho intenzione di iniziare con
un sacco di cose semplici, tutto bene
Voglio parlare è piuttosto facile
quasi unendo e facendo
scelte basate sulle informazioni
velocità giusta quanto spesso hanno colpito
il sito era una volta ogni metà di un
secondo e probabilmente non è un umano
a meno che non siano davvero bravi
computering ma anche allora la sua velocità
è un grande indicatore di questo cattivo robot
i rottami sono scarsi per i ragni
sta andando a colpire più che possono
il più velocemente possibile e poi andare via per
più tardi potrebbero tornare con a
agenda diversa dopo, ma è così
l’idea di abbonati di scrapers automatici
sono una specie di evoluzione di questa volta
vedi un ragno a volte sei piccolo
file con il raschietto e gli skater
hai intenzione che gli scraper vogliano i tuoi dati
voglio scoprire cosa c’è nella pagina loro
vuoi salvarlo, vogliono scaricarlo
stavano facendo qualcosa con quei dati
è importante per loro e ci sono
i modi per affrontare i raschietti ci sono
quelli facili, il primo scenario è se
hai una API e in pratica solo
fermali o definisci sotto l’API
giusto dire hey nessuna macchina va qui secondo
lo scenario è che non hai un’API e
non dovrebbero fare questo bene il
la risposta è davvero facile, basta fermarli
dì che ti dispiace il terzo scenario tu
non fornire un’API e dovresti
smettere di essere pigro ma è proprio così
quando si tratta di raschietti e vogliono
i tuoi dati e in qualche modo non sei stato
in grado di fornire loro un modo per ottenere
i tuoi dati quindi probabilmente stanno raschiando
la tua pagina o non hanno prestato attenzione
o troppo pigro per ottenere i tuoi documenti API e farlo
è il modo giusto in questo caso server API
macchine e interfacce web ogni essere umano
se qualcuno vuole i tuoi dati e tu vuoi
per rendere disponibili i tuoi dati, ecco cosa
l’API serve per essere sicuro di forzare
robot in quel percorso perché cosa
succede qui è raschietti sono stupidi e
sono infranti la maggior parte del tempo e loro
potrebbe effettivamente ottenere i dati sbagliati, quindi se
stai cercando di farti vedere dall’affiliato
i miei partner che vogliono fornire un
trasmetti le tue informazioni e loro sono
usando un raschietto potrebbero sbagliare
dati e produrre il contenuto sbagliato e
quindi pasticciare con l’amplificazione del tuo di
le tue idee se fornisci loro i dati
dalla fonte originale e provengono dal
vera fonte della verità finiscono per ottenere
è giusto e presentato nel modo giusto
in fondo alla strada quindi è una win-win quando
avrebbe fatto nel modo giusto giusto se
non c’è motivo per una macchina in una
scenario o umano in altri scenari voi
non voglio permetterlo, basta fermarlo
questo è molto importante per noi
tollerare questi robot attività robot cattivi
comportamento perché non è davvero affetto
qualsiasi cosa non ti stiano hackerando
non ti sta portando fuori è un po ‘
cattivo comportamento tollerabile ma si ottiene
composti nel tempo fa davvero male
cose ma puoi puoi schiacciare questo
facilmente come ho detto la maggior parte del tempo
raschietti sono abbastanza fatti questo è sufficiente
a pieno di raschietto nella maggior parte dei casi um
semplicemente inserisci un commento in una pagina con a
link e poi guardando chi segue
quel collegamento perché se lo seguono
link non sono umani perché loro
non l’ho visto non è possibile fare clic su di esso
un raschietto segue questo link quindi se vedi
questo è in realtà abbastanza buono per
buttare via un sacco di quei documenti
venire in giro è stupido ma
è efficace e ora alcuni di voi
conosci i kit più recenti che sono usciti
che sfuggono alle pagine di cui avranno bisogno
consapevole del contesto e se ne occuperanno
ma inizia con questo semplice questo piccolo
il trucco ridurrà il tuo traffico se
se tu in effetti blocchi quella traccia,
attori rapidamente abbastanza significativamente
subito fuori di testa e in questo
scenario devi accettare che un piccolo
parte degli attori intelligenti farà
attraverso ad un certo punto in questa battaglia
come ho detto, è una guerra asimmetrica
non preoccuparti di questo a tempo pieno
cento per cento non è l’ obiettivo qui
vuoi essere abbastanza efficace da farti
non notare più il rumore del Delta
è ridotto e puoi continuare a muoverti
su questo è il punto centrale di questo e
il rilevamento di questo è simile a
ragni stanno andando bene ai raschiatori
fondamentalmente il ragno prima e prendi nota e
fare il rumore in questo modo, ma sono
andando a colpire le pagine in un ordine coerente
e stanno andando a fare molto
richieste che di solito sono il tipo di
l’abitudine qui a destra e in effetti come ho detto
un ragno potrebbe precedere un graffio o semplicemente
per capire quali pagine vuole
cercare ma quella deviazione del comportamento
su cui sto parlando di un tema
accettabile giusto il meccanismo per
la scelta di questo tipo è ancora valida
attraverso ragni e scanner o spider
e raschietti ma poi c’è di più
categoria dannosa di robot che è
scanner l’idea di scanner deve essere
puramente dannoso che è tutto vogliono
prova ad entrare veramente a guardare
per le vulnerabilità nella tua applicazione
questo è il loro scopo che potrebbe avere
raschietti e scanner e scraper e
ragni costruiti ma stanno cercando
vulnerabilità in particolare sono
anche incredibilmente facile da individuare quanti di
hai effettuato un’ispezione del carico utile o
logging su richiesta per entrare come post
chiede quel genere di cose a chiunque guardi
a quel tipo di cose che tipo di
gli strumenti stanno usando quello per quello sì
stai guardando qualcosa dal tipo
di sistema di rilevamento del traffico dannoso o
qualsiasi cosa del genere sembra esaminare
in payload per tag di script o strani
roba del genere si intendo dire basato su quelli
questi scammer che stanno per deviare da
comportamento ma stanno per presentare
ovviamente dati maligni che stai per fare
guardalo e ti vedrai
conoscere una serie di 50 milioni di A da vedere
se riescono a sapere qualcosa traboccare
o un tag script o virgolette singole o
qualcosa qualcosa al posto del
segnale a loro che c’è un problema
qui e una volta scoprono che lo faranno
Continua così
manualmente e prova a passare ma
qualcosa che è più importante è questi
gli scanner cercheranno URL che loro
sapere di essere una specie di vulnerabile standard
URL aperti predefiniti in modo che producano una tonnellata
di 40 forza così facile modo per individuare gli scanner
è guardare la quantità di 404 che a
produttori di attori singoli o singoli IP
l’indirizzo produce e tu sarai fuori
grafici per questi scanner perché è così
stanno solo cercando cose come PHP
myadmin e conosci l’amministratore del dash di WP e
come se sfidassimo semplicemente a cercare di trovare cosa
applicazioni che hai corso dietro
il tuo server e per vedere se possono dire
ok bene sto facendo funzionare plex ed è io
ho trovato questa versione quindi ho un set di
sfruttare e andare avanti e lanciarli
giusto ed è così che funziona
bloccarli come se volessi semplicemente delle cose
per andare via l’asterisco qui è
importante assicurarsi di parlare con
gente nella tua compagnia, perché a volte
la tua azienda cosa facciamo questo facendo
per davvero legittimo come provare a
capire se si dispone di vulnerabilità
quindi prima di bloccare tutto il
scanner fuori proprio con cui vuoi parlare
la sicurezza delle tue applicazioni più informazioni SEC
squadra e assicurati che non abbiano
scansioni pianificate come te che vuoi consentire
quelli attraverso per assicurarsi che quello sia
lo sai testato correttamente così sei tu
vuole bloccare tutto, ma proprio
azienda facendo questo tipo di cose il
La ragione per cui ho chiesto degli strumenti è stata la rete
i firewall delle applicazioni possono aiutare qui ora
in realtà fanno questa ispezione sul
le risate sono al livello dei server web
bello non mi piacciono, ma lo sono
sono dei buoni strumenti che preferisco correre
in modalità passiva, in pratica modalità passiva
dice quando vedo qualcosa che ho intenzione di
ti faccio sapere a questo proposito, ma non mi va
per fermarlo attivamente se hai mai visto il web
firewall dell’applicazione lanciati o venduti
sono le pallottole d’argento tutto il web
sicurezza delle applicazioni ed è completa
scherzo quello che sono è espressione regolare
importa e ciò significa falsi positivi
molto, molto e molto falso
positivi che otterrai quelli che vuoi
blocca con esso sono al traffico se ti giri
loro e li lasciamo ma noi
richiedono molta messa a punto ma altro
è importante che manciate la mano così se io
dì e invia un modulo con
tag script e dico 403 vietato e
poi faccio la stessa forma che non ha
non mi blocca mi hai appena detto
avere una risata e ora ho intenzione di assumere
mia moglie evasione
niques e basta andare in giro perché
l’altra cosa sono le espressioni regolari
sono fatti e puoi fare lo stesso
conosci gli stessi input ma lo è
bypassato quella espressione regolare perché
molti di loro sono piuttosto deboli e quindi tu
non voglio darti una mancia quando tu
avere la risata che vuoi le risate lasciate
Diteci che qualcosa di brutto è
accadendo e dietro le quinte essere
lavorando su un tipo di blocco definitivo
loro, invece di dare mostrarlo in
la loro mano e farli sperimentare
finché non arrivano da tua moglie perché loro
li avevi dati a quel punto e
c’è una specie di altra classificazione
e anche questi sono malevoli ma lo sono
frode denial of service spionaggio che
in particolare tipo di frode
qualcosa per cui molti di voi
i siti di e -commerce in corso stanno per
affrontare ad un certo punto nel tempo il
la negazione del servizio sarà dura
di cui non ho intenzione di dire nulla
la negazione volumetrica della bici di servizio
attacca come se ti sbattessero a faccia a faccia
un sacco di traffico per andare via
a un livello inferiore sono in segno di diniego
attacchi di servizio in cui qualcuno trova il
pagine lente sul tuo sito e inizia appena
per caricarti con quel tipo di
la ricerca in questo modo giusto e così sono
portarti giù tramite l’applicazione no
tramite il livello di rete questi cadono ancora
nella categoria maliziosa anche se giusta
stanno facendo qualcosa di offensivo
qualcosa di malevolo di proposito ma loro
comportarsi in modo diverso e quali sono questi strumenti
di solito fanno hanno un obiettivo mirato
corrono dietro alle carte di credito
stanno cercando di farti sapere di più
cose che dovrebbero essere in grado di fare in base
sulle regole hanno un qualche tipo di
l’agenda ovvia è come se guardassi
il traffico che stanno ovviamente andando
dopo una cosa particolare in una sola
quindi sono molto puntati
quello che stanno facendo e il rilevamento qui è
un po ‘più difficile perché devi
capire che cosa stanno cercando ma
una volta capito questo modello super
facile perché come ho detto che sono sempre
super ovvio su quello che stanno facendo
e ti mostrerò un paio di esempi in a
minuto di quello che sembra e quello
scende a un po ‘come quello che guardiamo
per e in questo caso ce n’è uno comune
modello giusto era la distribuzione del verbo
tipo di un modo semplice per farti capire
andando qui ma c’è un pezzo di anomalia
di questo vogliamo cercare anomalie
e vogliamo che vogliamo iniziare con a
Ipotesi nulla e ipotesi nulla
tutto ci consente di rifiutare ciò che è
ciò che trova i nostri candidati ma questo è il
parte difficile e in realtà questo è il più
parte importante
dobbiamo prima definire il modo normale
molti di voi fanno un sacco di aggregazione di log
quanti hanno un analizzatore di query in qualche modo
guardare i tuoi registri non molte mani
fai quel primo diritto che devi avere
tutte le tue cose in un posto, quindi puoi
vedere cosa sta succedendo la visibilità è super
importante per tutto questo quindi se non lo fai
sai cosa è normale non sai cosa
non normale è necessario definire normale
prima è super importante e tu hai
per sapere cosa deve cambiare per
non essere normale, quindi dici se questi
le cose sono vere, non siamo nulla di buono
è sbagliato qui, ma se questo paio di
le cose cambiano è molto importante agire
e capire cosa sia veramente
significa che non significa che sia cattivo significa
un anonimo e tu vuoi capire
cosa significa di più e quindi ecco a
un paio di richieste e voglio guardare
attraverso questi e vedere se voi ragazzi spot
l’intento possiamo parlare di fatti tutti
vuoi ma vogliamo vedere il
intento della richiesta quindi ne abbiamo quattro
richieste e poi parleremo un po ‘
attraverso di essa la prima richiesta è un post /
l’accesso ha già un agente utente
ha identificato alcune cose su questo essere
probabilmente generato da una macchina ma ecco
la prima richiesta prima richiede questo
indirizzo mai fatto seconda richiesta è un
inviare agli utenti carte di credito Roland king
l’endpoint delle carte di credito è il
terzo o terzo di noi ed ecco il
quarta richiesta quindi cosa vedeva la gente
qui in questo rispetto a quello che saniflo richiede
provando a convalidare la carta di credito mmm
la convalida della carta di credito è certa
tipo di attacco associato a allora
chiamato un attacco di carda o persone prendono un
lista di carte di credito rubate e loro vedono
quale funziona ancora, quindi facciamo un grande
cosa per usabilità dove se qualcuno
ha un account sul nostro sistema che abbiamo
loro inseriscono i dettagli della carta di credito in anticipo
di tempo e li convalidiamo per fare
certo che quando arriva il momento di controllare
fuori possiamo separarli da loro
denaro il più veloce possibile, giusto impulso
acquisti sono la via di Internet e così via
vogliamo fare è assicurarci che
quell’attrito è sparito e quindi questo è un
secondo questo è un passaggio separato da fare
certo che tutti gli acquisti futuri sono giusti
tipo di sai un tasto un clic
qualunque cosa possiamo fare bene questo servizio
lavora contro di te e la forma di questi
sorvegliando gli attacchi come si prende il merito
carte online e-commerce di qualche tipo
un altro di quanti ne sei consapevole
questo succede ho visto questo attacco
prima di destra se non l’hai visto andare
guarda vai, chiedi ai tuoi registri lo troverai
praticamente tutti quelli che accettano
le carte di credito hanno questo comportamento sono
in realtà piuttosto bravo a volare sotto il
radar fino alla quantità di
richieste che fanno in base alla tua taglia ma
la maggior parte delle persone avrà questo e solo grande
anelli di frode della carta di credito che cercano
carte di credito valide e vendendole o
possibilmente girando usando loro
contro il tuo sito quando hanno convalidato
loro che è l’altra cosa giusta
abbiamo identificato questa è la cardatura
attacco che spieghiamo cosa carda
attacca davvero e io sono sul
superficie ma diamo un’occhiata alla richiesta
di nuovo c’è un sacco di cose che
ci rende consapevoli di questa anomalia
prima è la richiesta di accesso dovrebbe
sono stati preceduti da una richiesta di ottenere
non avevamo la richiesta di ottenere che abbiamo
sono 200 qui che va tutto bene ma
la richiesta successiva è mi dispiace in realtà io
Stavo cercando una prossima richiesta che abbiamo
un ritardo di un secondo nei nostri account o
richiedi un secondo un secondo un secondo
un secondo ogni tutti che non posso citare
il numero della mia carta di credito e le informazioni in
un secondo che ha colpito, non è così
possibile forse hai un pilastro o
qualunque cosa, ma ho intenzione di dire che è
pescoso un secondo in punto ogni volta
e vediamo che è un firefox otto su
windows seven è una strana combinazione
di cose abbiamo anche identificato che il
la vedova su Windows è un’altra cosa
cosa da cercare, ma l’agente utente è
è un pesce non è abbastanza non abbastanza
aggiungere e la prossima cosa è super
importante anche geoip posizione proprio dove
è questa persona che viene se te l’ ho detto
questa è una compagnia americana che fa buon spazio
affari è una società immaginaria ma se
ti ho detto quell’informazione e hai visto
questa richiesta potresti pensare di fare la nostra
inizia a fare altre domande proprio noi
normalmente non vedi il traffico da
bulgaria cosa sta succedendo qui perché
è questo il motivo per cui è tutto improvvisamente spuntato
e poi finalmente un gruppo di 30
qui qui che non vengono mai seguiti correttamente
e ha bisogno di entrare nei browser compatibili
andando a seguire i 30 ci vediamo quando
ottiene è che è che è così che sta andando a
lavoro così abbiamo visto un sacco di cose
facci sapere che questo non è umano e
in realtà più importante non è un
browser conforme agli standard e così via
c’è qualcosa di strano è qualcosa
diverso su questo ora potremmo andare avanti
gli altri fatti qui questo in realtà
continuato altre 10.000 volte quindi tu
essere abbastanza sicuro che sia un attacco di cardatura il
l’idea è di individuarlo identifica il
intento e fermarlo prima che accada
10.000 volte giusto se lo si fa in
prima coppia di richieste la vita è migliore
hanno dimenticato che forse sono riusciti a farlo
provare una carta di credito, prima che ci si ferma
okay, intendo che potrebbero scannerizzarlo
che oltre 10.000 IPS in un giorno e che è
bene, ma stanno per esaurire il loro
pool di ips prima che facciano qualcosa di reale
informazioni che stanno cercando per il volume
loro vogliono che io abbia centinaia di
milioni di carte reddit per testare che sono
non andando a spendere tutti i loro ips
il tuo sito se puoi renderlo troppo difficile
si tratta di deviazione del comportamento come
Identifichiamo che mi rendo così
giusto e ci sono suggerimenti per questo lì
sono cose semplici come velocità, quanto velocemente
se guardi quanto è veloce un utente normale
interagisce e poi guardi il delta
su un singolo attore puoi trovare una bella
veloce ogni sito ha modelli diversi
alcune persone che stanno facendo clic
abbastanza rapidamente alcune persone sono forse te
avere una grande lista di cose da mostrare e
la gente vuole leggerlo e guardarlo
e vedere le raccolte di cose a destra a
groupon abbiamo elenchi di offerte che potresti
passare diversi minuti a guardare attraverso a
un’unica pagina solo per vedere quali sono le offerte
lì la velocità è importante se vediamo
persone fare clic fare clic fare clic fare clic
fare clic su c’è troppe informazioni
sulla pagina non c’era quel clic
così veloce a meno che non sappiano esattamente cosa
ci stanno andando ma non lo è
normale i modelli di accesso al momento di
giorno in cui il culo quando qualcuno sta facendo il
cosa stanno facendo se hai dei picchi
e le valli del traffico che conosci
dì che sei in servizio commerciale e
fare il pranzo o qualcosa e tutto il tuo
il traffico arriva all’ora di pranzo e poi tu
vedere un grande spiky come 2am che non lo è
normale giusto è qualcosa di diverso
quindi il pattern di accesso coinvolge anche il percorso
a cui qualcuno prende per arrivare a te così
questo è dove tu X e sicurezza incontrano a
buona esperienza utente è in realtà uno
delle migliori cose che puoi fare per
sicurezza se progettate un utente per andare giù
un certo percorso è davvero facile
capire fuori vuole deviare da esso ma
se hai una brutta esperienza utente e
guida le persone dappertutto
in realtà non riesco a capire quando sono
deviando dal percorso comune standard
quindi torna indietro e ridisegna il tuo utente
esperienza per guidare le persone verso il basso
percorso vedrai le deviazioni che faranno
essere in modo più ovvio lasciare che l’esperienza utente
è super importante e come guidi
i tuoi utenti ad agire sulla tua pagina ti aiutano
capire quando stanno facendo quando
le persone sono come se andassero
è un momento della giornata super importante
la geolocalizzazione è enorme e risale a
schemi di accesso ma dove sono le persone
contattarti da cosa ti sta succedendo
vogliono sapere dove stanno venendo da
e davvero un po ‘di ora del giorno e
la geolocalizzazione è anche molto importante
giusto così se sei da parte per il pranzo
esempio se il tuo pranzo rispetto al in
ora centrale guarderai a mezzogiorno
se il tuo pranzo a Londra lo sarà
un tempo diverso in modo che tu voglia abbinarlo
con pranzo in qualunque paese tu sia
servire se è se è ufficio è 2
sono a Londra ed è uno sguardo e
stai cercando cose di Londra che conosci
questo sarà l’anomalo
cosa così anche la geolocalizzazione arriva
l’ora del giorno e il modello di accesso vi riempiono
vuoi vedere cosa vuoi allineare
così su è più fattori che
sono venuto in una sorta di modellazione di questo
ancora una volta la distribuzione dei verbi era un esempio di noi
ha già mostrato l’agente utente in modo da agenti utente
bene, ma user agent spoofing nessuno in grado
può mettere qualunque cosa diavolo vogliono
l’intestazione user-agent e via
proprio non lo controlliamo davvero
non è qualcosa di cui ti puoi fidare, ma tu
può combinare questo con altre informazioni
come l’ordine di intestazione quanti di voi
mai visto l’ effettivo ordine in cui
le intestazioni scendono da un browser
chiunque abbia mai guardato , lo fa
cambia no non cambia mai ogni browser
ha un’impronta digitale nell’ordine in cui il
le intestazioni che scendono sono statiche per tutti
browser quindi se qualcuno dice che sono Safari
e le intestazioni non vengono nell’ordine
che Safari arriva non è Safari
solo dritto così è
palese menzogna ora non significa che sia
malizioso ma significa che lo sono
mentendo come te puoi identificarlo quasi
uniformemente in ogni singola situazione
e quindi questo è un trucco super semplice da fare
un piccolo modulo intorno al tuo
webserver che ti darà l’ordine grezzo
le intestazioni e quindi le impronte digitali e
quindi costruisci un mignolo per
database e basta controllare il tasso di successo come
spesso la richiesta ha avuto successo come me
disse che gli scanner avevano il tempo di buttarci fuori
abbastanza lontano ma conosci un esempio qui
questo indirizzo IP fece 1878 richieste e
avevano una percentuale di successo pari a zero
erano tutti e 40 forza questo è questo non lo è
questo non è farlo non vuoi
bloccare quel diritto ma tu vuoi avere
il suo tipo di sistex disponibile per te
a destra 403 è 40 quarantacinque e
sai 40 quelli sono tutti importanti
tutti i pezzi rilevanti vanno bene per i 500
anche un grande regalo se ne hai una coppia
cinquecento significa che hai un errore
e ne abbiamo un paio di migliaia cinque
cento due significa che sono probabilmente
cercando di sfruttare qualcosa che hanno trovato
per vedere se è 500 potrebbe essere lo sai
affrontato in una sorta di modi nefasti tutti
questa roba era roba di superficie noi
può andare molto più a fondo qui perché cosa
stiamo cercando è davvero intento
voglio sapere cosa stanno facendo perché
lo stanno facendo in modo che possiamo guidare
li spacciati nel modo giusto o davvero vogliono
capire se sono un robot o no
in realtà è questo il punto
di questo discorso giusto scoprire se a
il robot è fagioli che esaminano come un robot
cose che un robot pensa e si comporta
diversamente da un umano e possiamo
gioca su quella nozione e in effetti ne fa una
il robot ci dice il robot semplicemente chiedendo
per fare certe cose che un umano
altrimenti farebbe normalmente o in questo
caso sarebbe un browser compatibile standard
normalmente lo fanno e ignora è stato
programmato per fare una certa cosa e questo
farà quella cosa certa perché
era programmato per fare quel genere di cose
come il 302 piace seguire i 30 G di destra
se non è mai stato programmato per farlo
andrà avanti e tutto normale
il browser compatibile dovrebbe solo archiviare il 3x
così potremmo davvero se fossimo
chiedendosi se o sospetti abbiano chiesto il
palla per fare qualcosa che sai
la guarigione normalmente andrebbe nel modo giusto
e vedi se non è così, non lo sei
identificato un robot e quindi possiamo
fondamentalmente spingere i robot a dirci il loro
BOT di un solo chiedendo di fare certe
cose e alla fine abbiamo un obiettivo
Vogliamo bloccare rapidamente i robot
possibile è così e la storia è
poche richieste possibili i robot vanno via
andiamo avanti con i nostri giorni non è un tribunale
affari non ci interessa davvero la fine di
volevo essere ripensato, voglio
vai a vedere e assicurati
tutto sta succedendo e i bluff di
i pipistrelli vengono bloccati ma io voglio andare
di nuovo al business come al solito ci sono
altre cose che possiamo fare se andiamo più a fondo
possiamo incorporare gli script e le nostre pagine
fondamentalmente chiedi al capo di parlarci
loro stessi in realtà tutti ci dicono
su se stessi ma siamo davvero
cercando informazioni a destra a
piccolo insieme di JavaScript indietro i post
a te puoi essere correlato con gli altri
schemi di traffico per dire hey cosa cosa
su questo è significativo e circa
questo browser è utente significativo ora
sembra rumoroso come te
facendo monitoraggio stai facendo domande
quello che stai davvero cercando di fare
l’intento è però trovare i robot
JavaScript non contiene molte cose qui
e c’è un pezzo in particolare è
veramente grandi gli oggetti di Navigator che sono
andando oggetto citare in giudizio manator mai visto che
prima di aprire il browser o il tuo dispositivo di sviluppo
strumenti e vai a guardare il Navigatore
oggetto o semplicemente guardare i documenti di quello che era
proprio sito Web sono davvero buoni per
esempio un paio di cose che possiamo chiederci
possiamo chiedere all’agente utente in modo che possiamo
effettivamente vedere ciò che dice il browser e
quale è il vero intestazione
scende il flusso dice e se loro
non corrisponde a quello che sai di solito a
indicatore o qualcosa di interessante
risoluzione dello schermo quanti di voi mai
eseguire un browser uno per uno se ne vedi uno
da uno a giveaway morto che non è un
umano perché non possiamo proprio vederlo
ma quelle avventure sono importanti
la piattaforma su cui è in esecuzione
importante che tu possa farlo
potrebbe dire che è linux nel browser
e quindi l’ utente non dice finestre su
Windows aspetta un minuto cosa sta succedendo
qui o torna come Apple proprio tu
può anche usare il flash è una specie di a
razza di morire appena ti spruzza per essere il modo
più prezioso qui, ma meno persone più
le persone hanno installato il flash blocker
il flash è come morire javis
diventando sempre più potente in modo da puntare su
JavaScript questo punto ma puoi ancora
usa il flash ma fondamentalmente i dettagli lo rendono
è facile individuare un bot, voglio dire che c’è il
una cosa ovvia se non viene eseguita
e torna da te è probabilmente lo è
a destra potrebbero avere JavaScript
disabilitato quindi di nuovo la maggior parte di noi no
avere siti che funzionano quando javascript
disabilitato quindi è l’ esperienza dell’utente
comunque piuttosto schifoso ma possiamo prendere un
guarda bene ho parlato di user agent
prima di destra vedi se si allinea con il
agente utente che è stato effettivamente inviato a voi
sul filo della risoluzione dello schermo come
Ho detto che era interessante ma
c’è un altro movimento del cursore della roba
modello di movimento che il mouse fa a
l’umano ha schemi normali di spostamento del
mouse sono lisci anche se lo sono
velocemente sono fluidi e il cursore verrà tracciato
attraverso lo schermo anche se è più veloce
lento c’è sempre un robot modello
tipo di browser senza testa o web scusato
i driver non lo fanno saltano semplicemente
le coordinate salteranno da qui a qui
qui a qui a qui sanno come fare
la coordinata nella pagina e il
la quantità di esso sarà così irregolare che a
l’umano non potrebbe mai possibilmente
generato in modo da poter guardare il
schemi di movimento sul cursore e vedere
il comportamento di deviazione vede quel tipo di
fingerprinting quali sono i plugin
installato puoi chiedere i plug-in
che sono installati per la maggior parte dei nostri browser
i difetti sono i plugin, così dice
sai che sono Internet Explorer e
Internet Explorer ha un elenco predefinito di
plugin, ma è come il plugin
torna vuoto o dì che sai che non lo so
conosci bene l’addon di cromo
non potrei mai andare ad un
Explorer sapete che c’è una mancata corrispondenza del
impronte digitali le impronte digitali del browser
sono interessanti e in realtà hanno
utilizzato molto meglio il rilevamento delle impronte digitali
semplicemente essere un po ‘come l’installazione
quali caratteri sono installati hash ma ora
quella roba esiste e anche fino a
dettagli di caricare me l’oggetto canvas e
fai tante domande sulla tela
e WebGL e ci sono le impronte digitali
capita anche di mettere dentro quello e così
conservi anche le impronte digitali conosciute
scatola così una volta che hai deciso che c’è un
certo browser fingerman che è cattivo e
vedi di nuovo quell’impronta digitale
vai subito a sapere di non passare
e bloccali subito perché quelli
tipo standard di driver web simili a
tipo di cose che sono davvero
i dati di ritorno avranno sempre lo stesso
Impronta digitale che conosci per sempre
una libreria open source dall’uso chiamata
Val questo non è questo non è quello con
la compagnia il nome dell’utente è giusto
Valvola la sua impronta digitale e anche lui
ha qualcosa chiamato fingerprint ASG
che è una specie di rielaborazione
ma è un buon modo per farlo
tipo di iniziare e vedere come
interagire con navigatore come tu ed io
sono con WebGL e canvas e le cose
per darti quella impronta digitale
disponibilità quindi voglio concludere e
dare un po ‘di tempo per le domande, ma a
un altro paio di cose da ricordare è quello
noi impieghiamo adolescenti e persone da gestire
i bravi robot sono ben noti
Pratica è che è stabilito quello che noi
non ho ancora fatto sta costruendo squadre di
le persone che gestiscono i cattivi è
importante per costruire davvero una squadra che
può fare questo per scrivere questi cattivi robot
stanno diventando molto più prominenti come
il tempo passa per il loro rapporto rumore
dirompente come il caso migliore è il
dirompente nel peggiore dei casi in cui effettivamente
star irrompendo e facendo cose cattive
la cardatura attacca la frode l’abuso
ti fa guardare male si rallenta
altrimenti mette a rischio la tua metrica
causa solo problemi a cui non è salutare
Consenti a questa roba che dobbiamo fare
sistema che ci permette di fare questo giusto
il rilevamento è parte di ciò che vuoi essere
in grado di capire chi sta facendo cosa e
quando per bloccare loro, ma anche voi volete
essere in grado di bloccarli quando è il momento se
hai mai provato a farlo in un normale
modo significa mettere una voce in un web
server o un bilanciamento del carico e ricaricare
la configurazione e così succede a
coppia centomila volte al giorno o
10.000 volte quindi sono in realtà solo
dieci volte al giorno e tu ne hai una coppia
un centinaio di web server a cui piace
ricarica più e più volte il meglio
playbook ansible nel mondo non lo fa
fa davvero andare via questo dolore proprio noi
avere qualcosa di più dinamico
hai un posto dove puoi cercare e
quindi c’è uno strumento open source là fuori
chiamato foglio rap che tipo di fa quello
si incorpora sul server Web e a
motore dell’anno scorso X e utilizza un effimero
denaro contante per le ricerche e quindi tutto ciò che
hai dietro le quinte puoi chiudere i dati
dentro e guarderà rapidamente il
informazioni e decidere cosa fare
blocca qualcuno così puoi avere una dinamica
bloccare il foglio rap è solo una coppia
proietta a perché è di coppia
le cose scritte in C sono open source
progetto sotto il mio account github o
in realtà ha questo su goetaborg ora e
ci collegherò più tardi ma è un piccolo
quantità di codice C che dà solo un’occhiata
a ciò che è in contanti e come è necessario
10 nodi o blocchi qualcuno e poi fa
un po ‘di registrazione e quel tipo di cose è
disponibile come
modulo server 4 motore X e per Apache
c’è una libreria principale che condividono
e vedi c’è anche una versione Java di
la libreria di ricerca che puoi incorporare come
bene per se stai facendo dritto
roba servlet non dietro un server web
e giù per l’ambiente dell’applicazione
è una specie di quel buffer
prima di colpire l’ambiente della tua app
può anche far scattare cose ma tu hai
che slot di elaborazione di banda hai
ottima reputazione nutre l’altro
cose e c’è molto di più che posso ottenere
in se si vuole parlare di più su questo
trovami alla festa dopo la festa che posso
ti dico un sacco di cose su questo
roba funziona perché siamo in realtà
usandolo ora e abbiamo effettivamente costruito a
mucchio di visualizzazione intorno ad esso così noi
può guardare in qualsiasi momento e vedere
cosa sta succedendo, quali sono i cattivi robot?
cosa stiamo bloccando sai che questo è un
immagine di una cattura in cui stai vedendo
diverse migliaia o centomila o
milioni di blocchi in alcuni casi, intendo dire che lo è
abbastanza facile da dire a quelli negli Stati Uniti
su quegli angoli o Amazon l’AWS e
se ingrandisci vedrai solo un mucchio
di roba AWS e tu sai davvero
è importante ricordare il giusto
a parte la brutta richiesta giusta chi possiede
il blocco del sidro ma ti sta contattando
è importante perché è abbastanza comune
quella roba da oceano digitale e
Rackspace e AWS e qualsiasi VPS
fornitori sarà robotico
le persone con il diritto al traffico non stanno affittando AWS
istanze a come computer giusto questo è
non è normale avere un computer
quindi non hanno bisogno di altri computer per
basta fare il calcolo normale lì è
guidando sta eseguendo programmi e così
a volte vuoi pensarci su
e nessuna delle sue intrinseche milizie
o male è lo spazio in affitto così chiunque può
fallo ma qualunque cosa lo vogliano per a
un po ‘ di un prezzo e in realtà quelli
carte di credito fraudolente che le persone
convalidare sul tuo sito che usano quelli per
comprare tempo sulla società di hosting, così loro
può mai essere rintracciato e non ottenere mai
spento ma alla fine lo vogliamo
ridurre il rumore comprato testo è circa
ridurre il rumore e capire cosa
conta davvero per il tuo business
vuole ridurre l’impatto degli attacchi se
I BOT vengono scacciati prima che possano
davvero capire un problema sul tuo sito
è meno probabile che tu sappia che tipo
di un attacco di vulnerabilità drive-by così
è probabile che ne avrai un po ‘
tipo di incidente di sicurezza sulla strada
ma tu non vuoi essere colpito dal
scanner giusto è imbarazzante da ottenere
colpiti dai robot e fatti hackerare e
mostra un po ‘di mancanza di maturità così tu
voglio evitare che tu voglia prenderle
robot via e, naturalmente, la fine del
giorno buona programmazione difensiva e a
buona pratica di sicurezza del software
ti aiuta a fare questo, ma anche voi volete
fare in modo che questi scanner vadano a destra
più individuano i più vulnerabili
finisci per diventare e vuoi migliorare
fiducia competente nei tuoi dati questo
test di intelligenza di business analytics
rintracciarlo significa denaro più velocemente noi
capire come convertire l’unità di acquisizione
interazione più velocemente arriviamo a
soldi e loro del giorno e io sono
parlando a nome di voi conoscete un
piattaforma di e-commerce ma alla fine di
il giorno in cui sei in quella portata
vuoi guidare l’interazione e
vuoi sapere cosa funziona e questi
robot che ti offrono e così via
più a lungo per trovare i soldi e al
entità che è ciò che conta davvero
quindi ho un paio di riferimenti per te
uscire dallo stato calmo / rap ha tutto il
codice pacchetti disponibile per il rap
foglio di cui ho parlato e mi piace
Ho detto se vuoi saperne di più
di cui sono felice di parlare a lungo
quello dopo il Navigator oggetto dal
La documentazione di Mozilla come quella è la
chiave per combattere questo tipo di semplice
piccoli script che puoi incorporare nel tuo
pagina per fare qualche analisi di controllo di cosa si tratta
andando lì l’impronta digitale Jas e
js2 sono di biblioteca di cui stavo parlando
circa le impronte digitali di base
ci sono strumenti migliori là fuori
servizi commerciali so che c’è
niente che non approva nessuno
in particolare ma puoi uscire e vedere
servizi di impronte digitali che sono veramente
bene hanno un grande gigante espansivo
reti di dati che si paga per richiesta
in fondo possono essere piuttosto costosi
ma ci sono alcuni servizi davvero buoni
questo lo fanno e sono guidati da molto
di una scienza davvero interessante e quindi lo farei
incoraggiarti se vuoi davvero andare
lungo la strada se le impronte digitali jf roba
i lavori vanno e trovano quelli commerciali
entità posso aiutarti in questo
anche perché puoi averne un po ‘
grandi dati da quello e finalmente abbiamo
un po ‘di tempo per le domande
tu
Please follow and like us: