
quindi il sottotitolo di questa presentazione è
non c’è il sottotitolo di questo
la presentazione è come sostituiamo la ricerca
Wikipedia non ho infranto nulla e
dal momento che mi piacerebbe tenerti ragazzi sul tuo
dita dei piedi ci sono due bugie in questo sottotitolo
perché è solo più divertente mentire bene
quindi le due bugie il primo è quando un
l’ingegnere dice che l’hai fatto non l’hanno fatto
rompere tutto no no no no no per niente
Ho rotto molto ma abbiamo rotto molto
piuttosto era uno sforzo di gruppo comunque il
l’altra parte è nella Wikipedia quindi vedo
questo è Windows così abbiamo detto che eravamo
ricerca piazzata su Wikipedia ma è a
Bugia, voglio dire, l’abbiamo fatto, ma anche noi
sostituirlo su wiki e wiki
dati e su comuni e wikiquote così
c’è molto, tanto, tanto tanto
di diversi wiki ci sono
888 o qualcosa se i miei appunti non mentono
c’è una settimana di lavoro al lavoro
conta bene ma è circa due
centosessantacinque lingue e tu
so che potrei andare avanti e parlarti
come non facciamo come non parliamo tutti
quelle lingue e come facciamo affidamento su Lucy
per il supporto linguistico che potevano dirti
su tutte le fantastiche funzioni che abbiamo usato
ma sarebbe una cosa irragionevole
rifiuto perché ho fatto esattamente questo quando io
stava parlando a questa presentazione che
puoi andare a vedere e avrai il blog
inserisci il link in modo da poter guardare
l’altra presentazione o potresti
solo internet mi perseguita o qualsiasi altra cosa
puoi trovare questa presentazione era a
ho avuto il mio vero amico Ciad
chi ha lavorato al progetto con me lì
ora vediamo ah così
Ho perso il posto, oh sì, lo ero
sto per dirti perché abbiamo scelto
elasticsearch ma non ho tempo per
che ho dato questa presentazione ieri sera
e sono andato molto oltre e così sto tagliando
cose fuori ma io sto andando bene
per parlare della metà del motivo per cui abbiamo scelto
fonte elastica la parte del motivo
era la comunità questo è questo era il nostro
vecchio prodotto o la nostra vecchia ricerca non l’ha fatto
avere una comunità su cui contare
che non è documentato impossibile
installa ma salterò alla parte che
Più interessante, davvero
cuspide elasticsearch di
short allocation automatica e noi
probabilmente mi è piaciuto più di quello che eravamo
più eccitato di quello che realmente
merita di essere perché con il vecchio
sistema di ricerca che avevamo dimenticato come
spostare i frammenti da nodo a nodo a destra
la documentazione era andata così da capire
come farlo sarebbe stato un esercizio
nell’archeologia digitale che suona
davvero divertente ma non è giusto e noi
saremmo stati completamente abbattuti
Ricerca destra voglio dire che cosa sarebbe
proprio come il riavvio di un nodo
cercare in giù per 15 20 minuti così eravamo
davvero abbastanza preoccupato che avremmo
rotto se abbiamo provato a spostare le cose
giro anche io avrei detto che
abbiamo adorato l’analisi e la cat api e
sono fantastici e sono fantastici ma io
non ho davvero tempo per parlare di lui
quindi salta fuori, poi c’è l’altro grande
la cosa su cui siamo saltati piaceva
elasticsearch era l’ api per la creazione
le mappature quindi nel momento in cui eravamo
lavorando con noi abbiamo iniziato abbiamo iniziato
lavorare con il solare e l’anima sono gli unici
modo per creare i mapping al momento
era quello di copiare un file su disco in alcuni
posto e che era solo un po ‘doloroso
e non era il modo in cui il
applicazione voleva lavorare aspetta così il
API di mappatura che ha elasticsearch
era molto meglio e so che Solar ha
è migliorato in questo modo non è così
Davvero una cosa giusta, d’altra parte
questo è il collegamento non funziona saltalo
ma fai finta che questo link show sia
documentazione per un collegamento per un’API e
solare quindi risulta che c’è un
API ed era un’API in solare e io
pensa che esista ancora dove tu puoi fare
un HTTP G
a cancellare un indice e io lo sai
ho trovato questo un peon ero come oh quello è
davvero carino e l’ ho copiato e incollato
su IRC al mio amico Ciad che nel
quell’altra conferenza stava andando bene
lì sul suo grande vestito comunque lui
moused sul link e il suo client IRC
era come se mi permettessi di dargli un’anteprima
quel collegamento ha oscurato il suo indice di sviluppo
e mi sono sentito davvero un troll fantastico
per il giorno e ci siamo allontanati eravamo
fatto non più solare per noi giusto um così
lasciami tornare a quello che io al
punto di questo discorso proprio al punto di
questo discorso parla di come non abbiamo rotto
qualsiasi cosa vedi ho mentito di nuovo solo noi
rotto un po ‘di roba e come noi
ha fatto proprio questa è una ricerca elastica
traccia in modo che tu sappia che parlerò molto
elastico come bene e ho appena parlato
un po ‘a riguardo così tu sei
ottenere il valore dei vostri soldi, ma sì
voglio parlare un po ‘di come
non ha portato la ricerca per sempre e
non ha fregato troppe persone no
rompere i loro flussi di lavoro cose del genere
quindi il primo passo e io non ho un
bella foto per mostrarti questo
uno è che abbiamo preso la decisione di non farlo
fork elasticsearch noi in realtà come te
ottenere in seguito ci siamo presentati molto
di patch per elasticsearch abbiamo trovato a
sacco di cose, ma elasticsearch forking
sarebbe stato un incubo da simili
come mantenere il nostro ramo di elastico
ricerca e back porting di tutte le patch
sarebbe stato un incubo per noi
perché eravamo una squadra di due persone giusta
non abbiamo avuto tempo per quello lì
c’era molto da fare mentre aspettavamo
ricerca elastica per tagliare la prossima versione
e anche allora non ho mai inviato una patch
per elasticsearch forse una documentazione
patch ma ogni passaggio che ho
inviato non è documentazione che hai
sappi detto ah fai in questo modo rinominare questo
lo rende più coerente o oh dio
cosa stai facendo che non è assolutamente
il modo giusto per farlo e va bene
giusto questo è ciò che la revisione del codice è per ma
se mi fossi appena fuso nel mio
ramo locale mi sarei diviso abbastanza
un po ‘dalla versione di ricerca elastica
e sarebbe stato davvero doloroso
quindi non l’abbiamo fatto e sono davvero contento
a proposito
quindi la prossima cosa che abbiamo fatto è stata
comunità beta queste sono comunità
che erano super entusiasti del nuovo
ricerca probabilmente non ho idea del perché loro
erano così eccitati come se fossero super
eccitato per cui la Wikipedia italiana era sì noi
prenderà la tua nuova ricerca veloce come te
può darlo a noi e hanno riferito così
molti bug e hanno lavorato con noi mentre
abbiamo appreso elasticsearch e lo erano
grandi sono persone meravigliose su IRC
stavano traducendo cose dal
wiki community village pump e
trovandolo a noi abbiamo avuto così tanti bug
che proveniva da loro dal cadillon di Wikipedia
allo stesso modo e infine incontro
wiki org mediawiki org è uno dei
siti canari tradizionali che il
la fondazione di wikimedia usa per capire
se stiamo andando a rompere le cose
quando noi quando lo distribuiamo ogni settimana
la prima vista che ottiene le cose le
media wiki org e siamo sempre su
mediawiki org che stiamo guardando
documentazione ti ho collegato ad una coppia
o ho tirato su un paio di link su
MediaWiki organo ho intenzione di tornare a
su mediawiki org è noi siamo noi
colpiscilo molto bene e io ho rotto
cerca su mediawiki dot org molto di più
volte di quanto vorrei contare ho
è due settimane fa , ma è così
okay, perché è quello che è perché è un
canarino giusto ma è anche pulito perché
è per lo più amministratori di sistema e
gli sviluppatori ci vanno e sono fantastici
quando scrivo bug, voglio dire che non è solo
come se si rompesse è come se si rompesse quando io
ha fatto questo e questo quindi è davvero questo
è stato un grande sito di canarino per noi
giusto così l’altra cosa è stata fantastica
era quello giusto dopo il tempo
andato a Wikipedia italiana che potrei essere
ottenere le mie linee del tempo un po ‘ma
proprio nel momento in cui arriviamo al
Wikipedia in italiano alcune altre persone a
la fondazione ha scritto questa funzionalità beta
plugin vedi c’è mediawiki org okay i
avevo fatto una ricerca su di me per svegliarlo
per arrivare qui così avrei saputo di averlo fatto
cinque ricerche rotte comunque questa beta
caratteristiche cosa consente agli utenti di optare in a
certo a una certa cosa, diritto ad a
alcune funzionalità in modo da consentire agli utenti di partecipare
per cercare a destra gli abbiamo dato un’opzione
chiamato nuova ricerca e potevano cliccare
e poi vanno nella nostra ricerca e
potevano beta testarlo ed è stato
impressionante è la funzionalità beta
in realtà scritto per editor visuale o
hover carte o qualcosa che tipo di
dimenticare così il
le funzionalità beta sono davvero utili
per le persone che accedono a Wikipedia e
la maggior parte delle persone che accedono a Wikipedia
gli editor non si collegano tutti gli editor
Wikipedia alcuni solo contribuiscono come IP
indirizzi come va bene ma altri log
in Wikipedia e loro possono impostare
le loro funzionalità beta sono così definibili
le mie condizioni un po ‘gli editori sono persone che
modifica Wikipedia se l’hai appena visualizzato
il tuo lettore è quello che ti chiamiamo è
ok i lettori sono bravi ci piacciono
gli editori sono buoni perché contribuiscono
e questo è un po ‘ un wiki sciocco
gnome probabilmente non è il termine corretto
ma l’ho sentito parlare di se è così
un po ‘difficile da leggere ma in positivo
giù ! lassù dice che questa pagina contiene
materiale umoristico e non dovrebbe essere
preso sul serio ma lo userò
comunque in questa presentazione perché
ci sono davvero persone che entrano e
quello che fanno questi ragazzi sono loro che vanno e
fare qualche piccolo cambiamento, giusto così là
sono come modelli che devono includere
una data e se la usi non riempi
la data bene alcuni dei miei vanno a riempirlo
per loro o se un link è un riferimento ma
è per un sito web che non ci piace
siamo collegamenti di riferimento a siti Web noi
come link di riferimento a internet dot arc
Archivio di Internet in modo tale che se il
il sito viene cancellato o qualcuno lo prende
giù o qualunque cosa vogliamo che la cosa
vivi bene , non vogliamo collegamenti morti e
riferimenti o forse se un riferimento è a
collegamento morto lo segneranno come ha fatto
mio dio come questi sono grandi cose
sono grandi per la salute di questo
fonte d’informazione, bene, mio
gli gnomi wiki preferiti sono persone che lo fanno
cerca in parte i controlli ortografici
sono i miei preferiti perché un paio di
loro erano beta tester e saltarono
su di me perché ho rotto molti dei loro
le cose vanno bene così si scopre che queste
persone che fanno ricerche per magia
le correzioni ortografiche sono davvero molto
interessati a o piuttosto sono davvero
davvero sensibile allo scatenarsi
ciò che scatena è che nessuno lo sa
il nuoto è a posto tutto bene derivante è
quando lo stemming è quando prendi il
grammatica di una parola quindi se volessi
cerca gnomi wiki bene dovresti
che dovrebbe trovare anche wiki gnome
giusto senza la S alla fine e
diventa più complicato diventa molto di più
complicato della Russia destra o dentro
polacco o alcune di queste lingue
che sono fortemente declinati nel modo giusto
comunque così questi gnomi wiki vogliono
sapere che vogliono trovare solo la parola
proprio la parola che stanno guardando
per questo sono anche molto sensibili a
qualcosa chiamato transclusioni e let
me lo definisco così tanto che è illeggibile
anche questo è illeggibile, ma è meglio così
Wikipedia e wiki in generale
certamente i wiki mediawiki sono fatti da
pagine wiki che includono modelli che
può includere modelli che possono includere
modello che può includere modelli
che può includere alcuni modelli
che sono scritti in Lua giusto perché
i vecchi modelli erano in realtà simili
touring completo tranne che era davvero
veramente lento e così qualcuno ha detto wow
stai scrivendo tutto questo codice
questi modelli sono degli hack orribili
diamo solo una lingua che tu
puoi scrivere il tuo codice e Luis gentile e
sandbox e qualsiasi diritto che non lo fa
importa andiamo avanti da quello, ma cosa
è importante che queste pagine siano incluse
modelli e a volte le persone vogliono
cerca sul testo del wiki e, a volte, sulle persone
vuoi cercare l’output effettivo di
la pagina e queste parentesi graffe significano
invoca un modello e cose simili
giusto, lasciami passare questo è dal
in modo che il modello di origine per il collegamento a un
Video di YouTube non ho idea di me
non l’ho letto Oh Dio, così stavo andando
sì andiamo tale diritto va bene così abbiamo
questi utenti beta avevano proprio questo
la beta è beta, avevamo questi wikis beta
bene, è inutile se non lo fai
in realtà imparano cosa vogliono, se è vero
non li ascolti bene così ho detto
voi file bug corretti, quindi darò
un esempio, una persona ha presentato un bug
hanno detto che ho bisogno di cercare nel wiki
il testo del documento giusto è quello
quel modello di roba che ti ho mostrato
bene, il punto il motivo per cui abbiamo fatto questo
ricerca come il progetto di ricerca
ha tre con tre requisiti
cerca wikitext o mi dispiace cerca il
testo reso della pagina per regolare
gli utenti mantengono l’indice
fino ad oggi in tempo reale in tempo reale
non era ben definito ma va bene e
tre era nessuno può odiarti quelli sono
quelli sono i tre requisiti giusti
il che è abbastanza normale, suppongo comunque
questo è il testo di rendering per la pagina
giusto se noi se tiriamo fuori, conosci il
belle foto e le tabelle che sono
qui e i collegamenti e le cose
questo è il testo di rendering della pagina giusto
quindi è quello che la maggior parte della gente vuole
cerca bene alcune persone vogliono cercare
il testo del wiki per la pagina ricorda il mio
Correzione ortografica alle persone a cui stanno a cuore
sugli errori ortografici nel testo del wiki
perché è quello che devono modificare
questo è quello che devono aggiustare proprio io
non si preoccupano di loro non si preoccupano
la texture renderizzata intendo che lo fanno
questo è in definitiva il motivo per cui lo stanno facendo
giusto ma che non è quello di cui hanno bisogno per
trovalo così quando ci schieriamo per incontrarci
rickey.org qualcuno ha detto che ho bisogno di cercare
sul testo del wiki e abbiamo detto ok
questo è assolutamente vero quindi noi
abbiamo finito per dover rendere così siamo finiti
rendendo questo nell’operatore sorgente che tu
non riesco a leggere ma sto ingrandendo leggermente
modo meno orribile per cui abbiamo fatto questo
operatore di origine che cercherebbe nel
fonte vedi come il testo è evidenziato
le porzioni sono in realtà wikitext e quando
lo si confronta con il sourcing e con
cercare nella pagina questo è in realtà
il testo renderlo così per farlo anche se tu
devono effettivamente indicizzare entrambe le parti così
questo è il gigantesco blob JSON che noi
negozio per quella pagina di Barack Obama e se
dovrai credermi perché lo sono
non andando a zumare perché si romperà
tutto ma dovrai credermi
quello è il testo della pagina e
questo è il testo sorgente della pagina così
sono entrambi disponibili e per quelli di
stai giocando che non sono in questo
stanza puoi seguire quel link e trovare
e cerca testo e preventivo
fonte del testo e trovalo e se lo hai
un bel browser che rende bene JSON
allora non sarà un muro di testo gigante
saranno due muri giganti di testo così
scopre ma non è quello che la persona
chi ha archiviato quell’insetto voluto risulta quando
abbiamo visto quando l’abbiamo fatto quando ti abbiamo dato
il
operatore e dispiegato hanno detto bene
non è giusto, quindi ho voluto trovare
questo alias di nomi di dominio WG della pagina
quando cerco gli alias dei nomi e
sai che è difficile per me vederlo
Sono sicuro che sia difficile per te vedere ma
stavano cercando lo spazio dei nomi
pseudonimi come il caso di cammello proprio in basso
caso e maiuscola A per gli alias di Nancy
ma non è quello che la pagina è giusta
la pagina è GG WG capital namespace
alias e WG è lì dentro giusto
e una ricerca normale sta per andare
l’ alias alias ws è una parola così noi
ha dovuto far funzionare la ricerca sul caso Pascal
Camelcase Nate case in caso costante così
dal modo in cui la ragione ha funzionato
perché questa pagina è composta da a
modello che include la maglia include
namespace alias caso cammello proprio come
così se stai cercando wikitext
lo troverai e questo è ciò che è vecchio
sistema ha fatto quella vecchia ricerca di sistema
wikitext ha cercato di usare Java per
parse wikitext ed era a metà strada e così
a metà strada solo a metà strada ha funzionato ma tutto
giusto quindi ignoralo per un po ‘l’altro
cosa che abbiamo rotto questo sul serio
la rottura era usata per essere in grado di cercare
per cibo cenere e solo ottenere cenere di cibo
bar se cerchi la barra spaziatrice del cibo
troverei cibo bar di cenere e spazio per il cibo
era il comportamento di ricerca della barra della cenere del cibo
davvero utile per le persone che erano
alla ricerca di errori ortografici in cui il trattino
la versione è un errore ortografico e non l’abbiamo fatto
implementarlo abbiamo appena rotto e il
la ragione per questo è che avrebbe
richiesto un analizzatore personalizzato che lo farebbe
sono stato dopo dopo un anno vorrei
sono stati in grado di cavalcarlo ma poi noi
non è nemmeno possibile installare il plugin in modo che il
cluster di ricerca elastico perché non avevamo
capito come farlo ancora da
opera da una operazione stabile e lo farò
arrivare a questo, ma così abbiamo detto che non possiamo
fallo invece che lo rendessimo regolare
ricerca di espressioni che è stata orribilmente
lento perché era un
era ingenuo giusto cercava solo
ogni documento quindi intendo sì
c’è sharding e ma no è stato
sarebbero stati necessari minuti e con quello
la vernice a tempo era scaduta
orribile è la morale della storia
alla fine abbiamo implementato plugin e
alla fine abbiamo ottenuto un trigram accelerato
ricerca di espressioni regolari che è
in realtà piuttosto veloce intendo non proprio
veloce richiede ancora 10 o 15 secondi
ma questo è assolutamente ok per questo caso d’uso
Lo prometto e così alla fine abbiamo risolto
il problema ma non gli abbiamo mai dato il
sintassi del dash è appena diventata normale
espressioni che le persone sono state
chiedendo comunque così comunque arrivare a
questa fossa fa questa roba la ragione quindi
non è utile implementare tutto ciò
caratteristiche se non li hai infranto
quindi abbiamo dovuto fare un sacco di test
questo e in effetti il vecchio sistema no
i test non hanno avuto test di integrazione
e i test unitari non ne hanno avuti
prove quindi ero determinato a non farlo
lascia che non lasceremo il mio
successore lo sai se tra 10 anni
qualcuno deve riscrivere di nuovo la ricerca
avranno una specifica giusta così là
sono come migliaia di queste cose e
la cosa interessante è che quando tu
non scrivere questi test di integrazione
appena prova non lo fanno solo il codice di prova si
ha scritto il mio test elasticsearch che testano
plugin questo test il plugin ICU questo
è che in realtà non so cosa sia
è questo è 3 o questo è quattro
diverse rappresentazioni dello stesso
parola quando normalmente quando non lo fai
La normalizzazione Unicode è la stessa
ma quando non si sintonizza Unicode
normalizzazione sono diversi e tu
vuoi quando cerchi qualcuno di questi
quattro da trovare per trovarli insieme giusto
sono gli stessi che vuoi tu voglia
infine cerca di pensarli nel
lo stesso termine è questo che è questo test
asserendo bene abbiamo anche questo test
qui dove affermiamo tutti i tipi di
roba sugli evidenziatori e quello va
e asserisce il modo in cui il
evidenziando i lavori e l’evidenziazione
estensione che abbiamo guidato e che ha un
molto a che fare con le query un elastico
ricerca e c’è questa enorme interazione
di cose che stiamo testando qui giusto
ma ciò che importa è in definitiva che il
risposte giuste escono dalla ricerca
sistema in modo da testare l’unità
stato stupido perché test unitario
qualcosa del genere sarebbe stato sciocco
sarebbe stato sciocco andare oh mia ricerca
il sistema ha prodotto il giusto JSON e questo
ha inviato il JSON giusto a elasticsearch e
se elasticsearch invia il giusto JSON
quindi rendiamo la pagina correttamente questo
non mi dà alcuna fiducia che noi
non ho rotto niente di così elastico
le ricerche sono coinvolte in tutti i test
del nostro sistema di ricerca e questo ci ha dato
la sicurezza di fare cose come l’aggiornamento
da Eau de alle nove alle 10 alle 11 sai
E sarò là a destra e sì abbiamo dovuto
sistemare alcune cose che dovevamo cambiare alcune
cose ma questi test effettivamente catturati
tutto bene quando abbiamo aggiornato e
rompere nulla è stato bello che fosse
perfetto è fantastico e mi sento davvero
orgoglioso che queste cose funzionassero così
la prossima cosa che devi fare è
cittadini Wikipedia questo è un
sito abbastanza grande su internet giusto
ci sono molti utenti che potresti non sapere
che c’è la ricerca sul sito su Wikipedia
va bene la maggior parte delle persone che vengono
Wikipedia attraverso Google ma otteniamo di più
di un milione di ricerche all’ora e noi
assomiglia a diversi milioni come cinque
o sei milioni di ricerche prefissate all’ora
è di dimensioni abbastanza decenti, quindi abbiamo
fare alcuni test di carico così ho gettato
insieme uno script python veloce e sporco
che se segui il link sulla pagina
non è molto lungo a destra è come un
cento e quattro righe incluso
documentazione e shebang e tutto il resto
ed è probabilmente sbagliato ma l’abbiamo usato
comunque provare a provare a provare così
stavamo giocando ai vecchi log delle ricerche
giusto e volevamo che tu sapessi che avevamo
campionamento quindi faremmo cose come me
ripetuto il cinque per cento dell’inglese
Ricerche di Wikipedia contro il nuovo
indice di ricerca e funzionerebbe e il
molto ma la prima volta che mi sono schiantato
al venti per cento non sono caduto
elasticsearch L’ ho appena sovraccaricato così
quando siamo i primi quando abbiamo fatto il primo
datore di lavoro abbiamo solo fino a venti
per cento del traffico di ricerca che noi
in realtà stavamo andando in realtà
volevo gestire alla fine e questo è
non abbastanza, voglio dire, sì, è solo
non abbastanza giusto quindi abbiamo dovuto uscire
sai gli strumenti per capire cosa
era lento, quindi la ricerca elastica arriva
con questa hot threads API che è
documentato in questo collegamento
questi sono tutti i collegamenti tra l’altro nel
post sul blog non sto solo tirando su
pagine web casuali comunque i thread caldi
avi è grande ma ha questa tendenza a
misurare quali thread sono caldi e quindi
quei quei fili hanno poi esso
misura quindi ottiene le tracce dello stack
che stanno succedendo in quelli come il caldo
fili come i tre o quattro caldi
discussioni che sono grandi se non quelle
i fili sono caldi durante la misurazione
tempo e poi non sono caldi durante il
stack trace collection time e when
sei quando hai camminato, ricarichiamo come
contrario al carico di indicizzazione elevato questo è
molto comune che i fili che tu
entrare in hot thread in realtà non è caldo
più ma il tempo li guardi così
l’unica cosa che puoi fare è colpire
elasticsearch con j stack o lo fa
la stessa cosa di quando vedi uscire da
applicazione java in modo che quando vedi uscire a
applicazione java su standard è solo
sputa tutta la traccia dello stack a destra
si siede anche se come cento
discussioni che elasticsearch ha in corso
al momento e così non vogliamo su
standard fuori giusto, quindi lo abbiamo colpito con
questa cosa ha chiamato una pila che la sputa
fuori dallo standard di j stack il
comando e così quindi noi convogliamo quella nota
in un file quindi abbiamo scritto uno script bash
usato parlare per contare o usare grep, penso
in realtà per contare il numero di thread
che erano caldi in certi posti, quindi
in realtà non contava il
discussioni che stavano facendo un sacco di cose
è solo un po ‘che ce l’abbiamo fatta
di volte e ha detto oh questa volta quando noi
l’ho eseguito c’erano sei thread che ti facevano
sapere che il lavoro sulla mischia suggerisce signore
e c’erano tre su di loro e loro caddero
Erano due in questo a destra e poi lo faremmo
eseguirlo di nuovo e poi di nuovo e poi
di nuovo e sarebbe solo una sorta di conteggio
dove erano i fili e poi i
discussioni che stavano spendendo più tempo
in questi vari posti siamo probabilmente
quelli erano probabilmente i posti lenti
giusto e lì sai che la JVM ha
punti sicuri e tutte queste altre cose sono
quindi è abbastanza complicato
come funziona, ma per la maggior parte di noi
capito che abbiamo avuto alcuni problemi uno
con em Bell, quindi abbiamo archiviato questo problema ah
e si scopre che è giusto e basta
scopre che potremmo sistemarlo sul nostro
proprio era
un cambio di riga più alcuni commenti e
ciò ha reso il punteggio del gioco come un
ordine di grandezza più veloce grazie campana em
poi abbiamo avuto alcuni altri cambiamenti che abbiamo avuto
un altro cambiamento che abbiamo risolto il flusso
in cui siamo stati trasmessi
elasticsearch alcuni aumenti di velocità per il
frase suggester proprio li abbiamo trovati
fuori facendo quello che ho detto facendo il
cestino avvolgendo e trovando se
stavamo spendendo un sacco di tempo e alcuni
cose che dovevamo fare da entrambe le parti così noi
abbiamo dovuto implementare più core Reese
in elasticsearch dovevamo quindi usarli
nella nostra estensione proprio così per quelli noi
aspettato dopo che abbiamo implementato un elastico
cerca come un mese o due prima
è uscito comunque l’altro interessante
La cosa importante è che l’abbiamo fatto
caricare i test in produzione perché siamo
un non-profit che davvero non possiamo permetterci di
avere due enormi cluster per fare il carico
test con così è stato solo molto attento
per non schiantare l’esca in cui si è verificato un incidente
i beta tester sbagliano lì e io sono
sono sicuro di averlo fatto, ma io
significa che è quello che ottieni quando non lo fai
Ho tanti soldi, voglio dire, non lo siamo
non è annoiato ma lo aggiusti ancora per favore
comunque wow che è difficile da leggere in modo che il
l’altra cosa che noi eravamo super
importante per noi era mediawiki vagabondo
mediawiki vagabondo Sono così grande, così vagabondo
è un sistema che imposta una casella virtuale
vm e poi corre burattino contro di essa
non si tratta di tutto ciò che è
interessante che è fondamentalmente cosa
lo fa e il burattino la roba da burattinaio
che abbiamo fatto così l’intero setup
insieme abbiamo fatto mediawiki vagabondo suo
lavoro è quello di impostare una macchina virtuale che
è molto simile al nostro gruppo di produzione
è come se ridimensionassi il
cluster di produzione e l’ha eseguito solo
quale macchina in modo che possa fare cose come
ospitare più wiki in realtà quando tu
impostalo per noi per testare la ricerca
giusto aggiungi la piccola cosa che dici
si voglio testare la ricerca si prende una scatola
quando esegui un comando che prende una scatola
per te fondamentalmente scaricherà il
ubuntu vm spin it up clone il set di codice
su apache installa la mia sequenza tutto
reticence tall elasticsearch install
alcuni plugin di ricerca elastici extra creano
un paio di wiki e indicizzali
e in realtà ci vuole un bel po ‘
perché il burattino è lento ma alla fine lo fa
viene impostato e quindi è possibile utilizzare questo
roba giusta e tu puoi puoi usare il tuo
ambiente di sviluppo e questo è pulito
perché se rompi il tuo sviluppo
ambiente puoi semplicemente distruggerlo e
ricostruirlo e non ti piace il tuo
l’ambiente di sviluppo non è più
diritto canonico ciò che è canonico è il
ambiente di sviluppo che il burattino
l’installazione di script è davvero fantastica
perché allora se la produzione cambia o se
se non riesci a riprodurre qualche problema, vai
e puoi sistemare i burattini e distruggere i tuoi
vm ricostruilo e poi se puoi
produrre bene il problema è fantastico
in questo momento il tuo ambiente di sviluppo
è più produzione come è più è
è rotto come la produzione che è
davvero importante, quindi questo era
una sorta di modo importante per noi di noi
portare gli utenti al punto in cui loro
potrebbe eseguire tutte quelle fantasiose integrazioni
prova che non abbiamo scritto alcuna prestazione
testare perché non è possibile
la prestazione lo prova in un vago rant ma
solo nessuna macchina virtuale dentro la tua
il portatile non sarà niente di simile
correre normalmente così vorrei sentire parlare
sui plugin vediamo oh wow I
in realtà ho tempo quindi siamo finiti
facendo molto sviluppo o
sviluppo in plugins eventualmente così noi
stavano inviando patch upstream a
elasticsearch ad un certo punto abbiamo iniziato
facendo un sacco di sviluppo di plugin all’interno
così io ho iniziato a fare molte cose
sviluppo di plug-in all’interno di wikimedia
fondazione e l’obiettivo qui era così
potremmo iterare più rapidamente così abbiamo
non ho dovuto aspettare per un rilascio e
questo ha funzionato correttamente questo era questo
piuttosto alla fine hanno scritto una nuova
evidenziatore perché quelli tutto il
quelli in lucene non funzionano è per questo
ce ne sono tre perché nessuno
di loro funziona, abbiamo scritto questa borsa
che contiene un sacco di backport così
sai che ho detto che non abbiamo backport molto
di roba da elasticsearch di nuovo mi piace
per tenerti in punta ci siamo comportati bene
backported alcune cose da elastico
cerca e l’abbiamo fatto nei plugin ma è così
era piuttosto raro che dovessimo essere belli
attento con ciò giusto e abbiamo anche aggiunto
cose come queste sono dove il trigramma
regex accelerato cerca cose come
e poi abbiamo creato questo Swift
repository che è dove vorresti fare
istantanee e il motivo per cui lo abbiamo fatto
perché l’ultima prova nello sport
ifft perché non è così ampiamente usato
ma lo usiamo così ci andate bene e
la ragione per cui fai il prodotto e ti ragioniamo
lo sviluppo di plugin è perché entrambi
la funzione non appartiene al nucleo
elasticsearch devi muoverti velocemente
o la tua schiena avverte le cose o tutte e tre le cose
giusto e nella ho appena mostrato in realtà
tre esami come un esempio di tutti e tre
passò comunque, volevo parlare
a proposito di cosa volevo parlare
su ciò che è stato ciò che è stato doloroso
su questo processo ciò che ha funzionato bene
Ho parlato molto di cose simili
questo funziona come avere test di integrazione
e avendo vagabondo e sottomettendo
patch di elasticsearch funziona
plugin davvero giusti come tutti loro
funziona alla grande con quello che ha funzionato molto
beh, in realtà c’è una lista di quattro
sono state le tre la scorsa notte che ho avuto
un altro così in continuo riavvio e
ricerca elastica fino a un punto sei
orribile ci sono voluti tre giorni per fare
rotolare ripristinare destra così è come
prendere nota e aggiungere e aggiungere
indietro che dura come due ore tre
ore per nodo e se sei disposto a farlo
scrivilo che siamo disposti ad averne un po ‘
guardalo tutto il giorno e puoi farlo
fatelo in meno di tre giorni ma
siamo sempre un po ‘cauti
queste cose e quindi volevamo avere un
la persona dopo che ogni nodo scende ha a
la persona va a guardare e dire tutto okay
è ancora buono fare il prossimo al
il prossimo si fa il prossimo e poi a
qualche punto la tua persona va a dormire
giusto quindi ci vogliono tre giorni
noi per farlo quando siamo arrivati
elasticsearch 106 avrà visto a filo
che ci permetterà di fare il riavvio a rotazione
molto più veloce ma dobbiamo ancora esserlo
attento perché stiamo facendo un aggiornamento
vogliamo fare che stiamo facendo un aggiornamento
non puoi downgrade elasticsearch così tu
voglio essere sicuro che se non lo fai
tutti loro molto velocemente e poi ottengono
te stesso rotto proprio così stiamo andando a
fai uno e poi aspetta e poi fai un muro
ma comunque la prossima cosa è la prossima cosa
quello non ha funzionato per noi era lavori o
piuttosto hanno lavorato per noi ma loro
dolore nel sedere così da essere sincronizzato a filo
lavoro per ottenere Singh flush per essere più veloce
solo riavviare non è necessario scrivere
l’ annuncio indice durante il riavvio a rotazione
processo in modo da farlo che devi avere
devi mettere in coda tutti i tuoi diritti
e infatti abbiamo già avuto questo perché
Sono così coppia
infastidito dal portare giù wikipedia
che abbiamo iniziato a spingere tutto il lavoro
che facciamo tutte le volte che parli
a elasticsearch a meno che non sia in una ricerca
lo facciamo in modo asincrono e non lo facciamo nemmeno
questo dopo aver scaricato le richieste
PHP tra l’altro, quindi non abbiamo thread
Giusto lo facciamo , spingiamo le cose a
coda di lavoro e poi riprendiamo il ritiro
eseguono il backup su un altro sistema e questo
è veramente utile a causa della
transclusioni e sai quando hai
un modello che viene utilizzato in un milione
luoghi dove vuoi andare e aggiornare tutto
loro quindi devi andare ad esplodere
coda di lavoro e cose del genere e corri
tutti quelli che non potevi fare in uno
processo comunque ma solo per ottenere solo su un
cambio di utente regolare abbiamo lanciato quello
cosa in coda di fila giusto e per
prova questo test questo asincrono
la cosa è un enorme dolore vero e ho detto
hai ragione sono davvero appassionato
assicurandoci di avere l’integrazione
prove che funzionano davvero e dimostrano
le cose e questo è solo così fragile
Mi piace aggiungere cose all’indice e poi
attendere che le cose vadano a buon fine
coda e la coda di lavoro sarebbe sorta
rompici e cambiano qualcosa
ed è proprio come ah così comunque il
l’altra cosa è che alcuni bug e
la ricerca elastica può far cadere tutto il
nodi o possiamo far cadere un sacco di nodi
ci sono modi per inviare bug ai loro
modi per inviare query velenose a
elasticsearch Io non vi dirò quello che
sono intenzionalmente ma certo jolly
i lavoratori fondamentalmente possono farlo bene e
puoi consumare tonnellate di memoria e quello
ucciderà ogni frammento che
preso la nota o che ha ottenuto la query e
wikipedia inglese è in cortocircuito in sette modi
abbiamo 31 server quindi 31-7 è oh merda
e sai che sono impaginato, è nel mezzo
della notte è questo infelice proprio questo
è male vero e io in realtà non lo so
la risposta a questo non lo so
soluzione diversa da non lasciare che il selvaggio
le domande sulle carte portano a sapere che lo consumano
molto ram ma questa è la soluzione più ovvia
non è la risposta giusta la risposta
è in qualche modo impedito
facendo questi errori che non vuoi
pagami per dipingerti in un angolo
giusto e finalmente installare i plugin
non ha funzionato per noi e il motivo per
questo è quello
i nodi in produzione non ce l’hanno
accesso a Internet in modo che il plugin bin
lo script non funziona come il tuo
nodi in produzione non dovrebbero avere
l’accesso a Internet o è così
si diventa un bot IRC nel proxy aperto
il malware, signore, non lo fa proprio così
male giusto quindi tutti devono negoziare
con le loro operazioni team i loro sviluppatori
squadra come li chiami loro devono
negoziare un modo per installare i plug-in
hai già negoziato probabilmente
un modo per installare pacchetti Debian o RPM
pacchetti o qualunque cosa tu faccia
per installare elasticsearch ma plug-in
non venire in quel modo, vieni in un altro modo
devi capire come ottenerli
installato e questo è un modo diverso
da come distribuiamo tutto il resto a
la fondazione quindi abbiamo dovuto negoziare
e ottenere le cose giuste e portarle a
installare le cose che si ottiene il appropriato
permessi e questo è un dolore
punto che molte persone stanno andando a soffrire
perché è così che vanno le operazioni
gli ingegneri sono paranoici e loro
dovrebbe essere paranoico questo è il loro lavoro ma
è difficile, quindi ho voluto avvolgere
Ti ho portato in una presentazione
viaggio voglio concludere con il
le cose a cui dobbiamo il nostro
un successo modesto e dal modo in cui sono
in realtà penso davvero che noi davvero
ha avuto successo anche con questo progetto
anche se abbiamo rotto alcune cose e io
e penso che ci siamo riusciti perché noi
sostituire la ricerca in diretta su un enorme sito web
non l’ha fatto male e nessuno
non ci odia, nessuno mi odia , vero
pensa che questo sia il giusto, se
Avevo rotto qualcosa che qualcuno sarebbe stato
conosci orde di persone dopo di me ma
ora sì sì, abbiamo avuto successo giusto e
dobbiamo questo successo ai beta tester
hanno subito indicato problemi
e hanno lavorato con noi, lo abbiamo fatto
Bo it per l’approccio di implementazione graduale
quello che abbiamo fatto e non l’ ho fatto tipo
saltato su quella destra siamo andati wakey
wakey quando abbiamo fatto questo lancio eravamo
intenzionalmente piuttosto lento, lo dobbiamo
a queste distribuzioni canarino a mediawiki
organo a tutte le persone per usarlo dobbiamo
a un sacco di test di integrazione andiamo
per caricare i test andiamo a vagabondare per
aiutandoci a costruire produzione come
ambienti e per avere effettivamente il
la forza di volontà per impostare questo quando io
ha iniziato l’incontro della fondazione con il calore
vagabondo non esisteva giusto e questo è
stato costruito nel frattempo
lo dobbiamo all’infrastruttura plug-in
e e alla gente di ricerca elastica o
l’elastico credo che ora siano d’oro
gente che ha costruito la cosa e aiutato
lavora con noi e rivede le patch
e alla gente che ci ha aiutato a ghiandolare
patch e leucina e cose del genere
senza quello non saremmo stati in grado di fare
è giusto e sì, così è così che siamo noi
non ha rotto molte cose quando noi e
abbiamo fatto questo cambiamento e sono emozionato
da esso e ora ho finito di parlare così
è dove applaudi e poi fai domande
quindi sì, se avete domande andare avanti
si parla di essere roba coraggiosa per
caratteristiche come il meglio che le persone in
intero sistema fontaine quindi sì questo il
la domanda di recupero informazioni e
lo abbiamo fatto con i sistemi beta noi
lo ha fatto con i beta tester e per il
la maggior parte quindi è come una toccante roba feely
giusto per la maggior parte hanno detto sì abbiamo
trovarci è almeno altrettanto buono o
meglio in tutti i casi ma non lo è
davvero non è abbastanza giusto, è così
una specie di due lati e noi
ha fatto una parte e non l’altra
e stiamo iniziando dall’altra quindi
il primo lato è che siamo andati e abbiamo ottenuto un
numero di casi di test canonici un numero
abbiamo creato un sacco di documenti di test
e cerca e si assicura che loro
è apparso nell’ordine che ci aspettavamo
loro di apparire e che funziona un
test di integrazione per questo non falliscono
è fantastico e questo è bello ma
non è davvero abbastanza buono, ma
questo è quello che abbiamo fatto e mi sto attenendo
è giusto ciò che non abbiamo fatto è che non l’abbiamo fatto
strumento e non abbiamo strumentato come
un buon lavoro che stavamo facendo perché è così
un problema incredibilmente complesso come
solo facendo una ricerca giusta e figurante
fuori se l’utente piace a quella ricerca
senza chiedere loro giusto perché noi
non hanno nessuno sta andando a riempire quel
in o le persone che riempiranno quindi e
stanno andando completamente a distorcere i nostri documenti
hanno intenzione di sciare completamente
segnala quindi devi farlo senza il
utente che lo fa bene e così a lungo
tempo non eravamo disposti a farlo
non erano disposti a spiare essenzialmente
gli utenti hanno ragione, quindi stiamo arrivando
al punto in cui siamo disposti a farlo
fare dati anonimi molto molto accurati
collezione ma questo è molto tempo dopo
fatto questo diritto di sostituzione in modo da non farlo
sai che non possiamo confrontarlo con quello vecchio
ma quello che possiamo fare è iniziare a farlo
raccolta e quindi possiamo iniziare
grafico quanto stiamo facendo bene
ma quanto sei bravo a farlo
ricerche molto è molto difficile
problema ci sono molti documenti accademici
pubblicato sulla questione che non ho
leggi e ho un delegato di destra che ho
una persona a cui ho detto che vai e
capire questo per me, per favore e poi
sai che ho un piano che non conosco
cura quante persone ci sono in questo momento
quindi il trucco è ricordare come ho detto
c’erano due persone in questo progetto così
due di noi hanno sostituito la vecchia ricerca giusta
quando hai due persone che non hai
il tempo per misurare questa roba non lo fai
avere il tempo di strumentarlo non è così
sappi ma quando ne hai 10 o 15
diventa il più possibile possibile
inizia a strumentare cose che puoi iniziare
costruire i sistemi che è possibile avviare
costruzione della registrazione degli eventi e pull
gli eventi insieme e puoi iniziare
costruire sistemi in cui sei effettivamente
in grado di calcolare questa metrica e questo è
quello che stiamo cercando di fare ora ma sì
ci vorrà un po ‘di tempo intendo
questo è un problema difficile e c’è anche
sai che esiste la precedenza esistenziale
come sai, stiamo facendo abbastanza bene
lavoro che rende anonimi i dati così come arrivano
cose giuste come quelle perché noi davvero
davvero non voglio spiarti
davvero come non lo facciamo ma vogliamo
rendere la ricerca migliore e questo è davvero
difficile e non ho la risposta giusta
giusto, so che quello è l’altro
di quanto ci proveremo molto duramente
ha risposto alla tua domanda
no no, quindi ecco la cosa giusta noi
facciamo cose come la frase Reese core e
il conteggio dei link in entrata conta e aumenta
diverse parti della pagina e
facciamo anche altre cose come lasciamo il
cambio di comunità avvio come li lasciamo
configurare i boost in modo che la comunità abbia un
cosa con loro andranno e metteranno
un modello sulla pagina se è buono
articolo wiki o se è stato un elemento caratteristico
articolo wiki o se è una buona immagine
è così per Commons questo è davvero
importante hanno messo una buona immagine e loro
Metti una brutta foto alle foto che sono
Voglio dire, come la spazzatura e la spazzatura
come bassa risoluzione e come yeah no
per quanto spiacevole comunque abbiamo dato il dare
la comunità il potere che può
configurare come questi modelli aumentano il
risultati della ricerca funziona abbastanza bene
giusto ma andando molto oltre questo
niente di speciale come l’ analisi del tema o
reti semantiche o anche solo cambiando
il peso relativo della temperatura del
titolo al testo che devi fare il suo
la strumentazione prima perché l’hai
nessun indizio se lo hai fatto meglio o
non è giusto a meno che tu non possa sapere come
un buon lavoro che stai facendo per metterti in pratica
conoscere la modellazione dell’argomento sull’analisi semantica
forse è divertente ma aspetta che potrebbe essere un
enormi sprechi di tempo potrebbero essere enormi sprechi
delle risorse della CPU che devi controllare bene
non sai bene e tu sicuramente
non so come regolare i parametri in
dentro nel sai nei vari
algoritmi di ranking che hai a meno
si sta misurando quanto bene un lavoro che sei
facendo bene puoi farlo e
poi guarda e vai guarda meglio che è
in gran parte quello che ho fatto e ammetto che
è come se non fosse un buon modo di fare
così sì sì il trucco è ogni volta che noi
andare oltre ciò che è stato costruito in Lucy né
elasticsearch ogni volta dove vogliamo
andare a sviluppare qualcosa di interessante e
nuovo dobbiamo assicurarci che fosse così
è utile proprio così sai che potremmo finire
fare cose come la prototipazione e
poi giocando le ricerche contro di esso e
vedere se i risultati sono migliori
ma dovremmo usare il genere di cose
dove abbiamo detto oh questo questo utente è ora
cliccando su
giusto ricorda il ragazzo di Facebook, proprio lui
era in piedi dove sono questo
mattina e hanno iniziato a prenderli
avere questi dati giusto sai e
quello che la sua squadra era attiva con la sua squadra
gli ho detto che oh, in realtà
più facile da fare vincere velocemente le cose da fare
cose come gli utenti hanno i risultati pin a
la cima e basta pin lui giusto forse
beh, in realtà voglio andare a rubare quello
idea e dare fondamentalmente le mie comunità
dare agli utenti registrati la possibilità di
fare clic su un tasto e dire quando cerco
questo è ciò che intendo per tirarlo fuori
è proprio quello che Google ha avuto
di quelli per molto tempo e loro
abbandonato, quindi, chi lo sa, voglio dire
è come se tutti giocassero
conosci i ragazzi grandi che hai questo
conosci migliaia di persone che lavorano su questo
problema quando ne abbiamo due o quattro e così via
sai che devi, ma incontra il
il vantaggio che abbiamo è che lo faremo
open source tutto bene tutto
noi facciamo l’open source, io non sono, non lo sono
andando a fare apparire tutti i link ma
ci sono i link dove si possono guardare
la configurazione di mappatura che usiamo
puoi guardare l’analisi
configurazione puoi guardare il
parametri ti ho mostrato il link dove
si può guardare il documento alla fonte
che abbiamo per ogni articolo che hai appena
aggiungere? l’azione è uguale a Cirrus dump to
qualsiasi articolo tu voglia e si sputerà
quello che abbiamo in elastico lo cerchiamo se
fai una ricerca puoi aggiungere una ricerca
Parametro URL e sputiamo la ricerca
che abbiamo inviato a elasticsearch e se tu
capita di avere una ricerca elastica con tutti
dei nostri dati è possibile inviarlo a ma
davvero questo è utile questo è utile
strumento di debug per me e questo è un
strumento utile per le altre persone per andare come
Hanno fatto quella cosa o perché è questa
cosa lavorare il senso che è che una specie
di sciocco giusto vogliamo che le persone siano in grado
archiviare un bug e andare e quello non è il
modo giusto di interpretare il mio amico di query così
sì, potremmo farlo solo con questo
cosa comunque um mi dispiace che fosse una specie di a
risposta sconclusionata ma immagino vagante
è abbastanza normale per me spero che funzioni
per voi ragazzi qualsiasi altra domanda si
in nessun modo usando i miei sequel il nostro premio
archiviazione primaria perché wikimedia
la fondazione ha usato il mio sequel come suo
memoria primaria prima che fosse il
wikimedia foundation quando era server
eseguire mediawiki a Jimmy Wales
il seminterrato è stato il mio sequel
è stata la mia C uguale alla mia volontà di paillettes
continuare ad essere il mio sequel fino alla terra
muore la morte del calore vero, ma tu lo sai
sarà il mio sequel per sempre che non abbiamo
vincoli non abbiamo chiavi esterne
perché non esistevano quando noi
iniziato dove quell’hard oh e anche
una volta che hai un enorme database non c’è
possibilità che tu li aggiunga senza
prendendo il sistema offline e comunque
Sono sicuro che ci sono cose in quel database
che viola quei vincoli e noi
devi solo sperare che non abbia importanza
perché con 10 anni di mediawiki
sviluppo che sa cosa c’è lì dentro
è una specie di produzione spaventosa è divertente
sì, quindi non usiamo la ricerca di Eliza come
negozio primario c’erano volte in cui noi
iniziato a usare un bicchiere per cercare dove siamo
aveva accidentalmente cose nuvolose questo era
principalmente colpa nostra e non elastica
le ricerche ci piegano in modo tale che abbiamo un molto
repository complesso dove configuriamo
i parametri di configurazione e per a
mentre la nostra estensione è scaduta il 20
repliche perché volevamo che funzionasse
correttamente con le persone che semplicemente
scaricato mediawiki ed era l’ unico
modo per ottenere il cluster verde
beh, questo è stupido, ora è predefinito
Espansione automatica a 23 repliche che è molto
meglio, ma questo è oltre il punto in
un certo punto abbiamo rovinato il
configurazione e scese a zero
repliche sul cluster di produzione e
poi abbiamo messo a fuoco uno dei frammenti per fare a
aggiornamento del disco o qualcosa del genere e perso
e non è l’ultima volta che cerco un errore
è totalmente colpa nostra, quindi sì
quando ho guadagnato questa maglietta perché io
ho rotto l’italiano
Wikipedia per un po ‘ penso in realtà
portato giù nel senso che loro
non è stato possibile modificare le pagine come
sei in piedi che significa che io sono io
io
quindi mi piace la domanda IR perché è
il difficile che non abbiamo ancora risolto
e quindi sì, hai capito bene
il modo in cui le risposte alla tua domanda
non sono in questo libro, purtroppo lo è
è una domanda davvero difficile e lo farei
amore per là essere roba open source
intorno a questo e abbiamo intenzione di lavorare su
esso
tu
non c’è il sottotitolo di questo
la presentazione è come sostituiamo la ricerca
Wikipedia non ho infranto nulla e
dal momento che mi piacerebbe tenerti ragazzi sul tuo
dita dei piedi ci sono due bugie in questo sottotitolo
perché è solo più divertente mentire bene
quindi le due bugie il primo è quando un
l’ingegnere dice che l’hai fatto non l’hanno fatto
rompere tutto no no no no no per niente
Ho rotto molto ma abbiamo rotto molto
piuttosto era uno sforzo di gruppo comunque il
l’altra parte è nella Wikipedia quindi vedo
questo è Windows così abbiamo detto che eravamo
ricerca piazzata su Wikipedia ma è a
Bugia, voglio dire, l’abbiamo fatto, ma anche noi
sostituirlo su wiki e wiki
dati e su comuni e wikiquote così
c’è molto, tanto, tanto tanto
di diversi wiki ci sono
888 o qualcosa se i miei appunti non mentono
c’è una settimana di lavoro al lavoro
conta bene ma è circa due
centosessantacinque lingue e tu
so che potrei andare avanti e parlarti
come non facciamo come non parliamo tutti
quelle lingue e come facciamo affidamento su Lucy
per il supporto linguistico che potevano dirti
su tutte le fantastiche funzioni che abbiamo usato
ma sarebbe una cosa irragionevole
rifiuto perché ho fatto esattamente questo quando io
stava parlando a questa presentazione che
puoi andare a vedere e avrai il blog
inserisci il link in modo da poter guardare
l’altra presentazione o potresti
solo internet mi perseguita o qualsiasi altra cosa
puoi trovare questa presentazione era a
ho avuto il mio vero amico Ciad
chi ha lavorato al progetto con me lì
ora vediamo ah così
Ho perso il posto, oh sì, lo ero
sto per dirti perché abbiamo scelto
elasticsearch ma non ho tempo per
che ho dato questa presentazione ieri sera
e sono andato molto oltre e così sto tagliando
cose fuori ma io sto andando bene
per parlare della metà del motivo per cui abbiamo scelto
fonte elastica la parte del motivo
era la comunità questo è questo era il nostro
vecchio prodotto o la nostra vecchia ricerca non l’ha fatto
avere una comunità su cui contare
che non è documentato impossibile
installa ma salterò alla parte che
Più interessante, davvero
cuspide elasticsearch di
short allocation automatica e noi
probabilmente mi è piaciuto più di quello che eravamo
più eccitato di quello che realmente
merita di essere perché con il vecchio
sistema di ricerca che avevamo dimenticato come
spostare i frammenti da nodo a nodo a destra
la documentazione era andata così da capire
come farlo sarebbe stato un esercizio
nell’archeologia digitale che suona
davvero divertente ma non è giusto e noi
saremmo stati completamente abbattuti
Ricerca destra voglio dire che cosa sarebbe
proprio come il riavvio di un nodo
cercare in giù per 15 20 minuti così eravamo
davvero abbastanza preoccupato che avremmo
rotto se abbiamo provato a spostare le cose
giro anche io avrei detto che
abbiamo adorato l’analisi e la cat api e
sono fantastici e sono fantastici ma io
non ho davvero tempo per parlare di lui
quindi salta fuori, poi c’è l’altro grande
la cosa su cui siamo saltati piaceva
elasticsearch era l’ api per la creazione
le mappature quindi nel momento in cui eravamo
lavorando con noi abbiamo iniziato abbiamo iniziato
lavorare con il solare e l’anima sono gli unici
modo per creare i mapping al momento
era quello di copiare un file su disco in alcuni
posto e che era solo un po ‘doloroso
e non era il modo in cui il
applicazione voleva lavorare aspetta così il
API di mappatura che ha elasticsearch
era molto meglio e so che Solar ha
è migliorato in questo modo non è così
Davvero una cosa giusta, d’altra parte
questo è il collegamento non funziona saltalo
ma fai finta che questo link show sia
documentazione per un collegamento per un’API e
solare quindi risulta che c’è un
API ed era un’API in solare e io
pensa che esista ancora dove tu puoi fare
un HTTP G
a cancellare un indice e io lo sai
ho trovato questo un peon ero come oh quello è
davvero carino e l’ ho copiato e incollato
su IRC al mio amico Ciad che nel
quell’altra conferenza stava andando bene
lì sul suo grande vestito comunque lui
moused sul link e il suo client IRC
era come se mi permettessi di dargli un’anteprima
quel collegamento ha oscurato il suo indice di sviluppo
e mi sono sentito davvero un troll fantastico
per il giorno e ci siamo allontanati eravamo
fatto non più solare per noi giusto um così
lasciami tornare a quello che io al
punto di questo discorso proprio al punto di
questo discorso parla di come non abbiamo rotto
qualsiasi cosa vedi ho mentito di nuovo solo noi
rotto un po ‘di roba e come noi
ha fatto proprio questa è una ricerca elastica
traccia in modo che tu sappia che parlerò molto
elastico come bene e ho appena parlato
un po ‘a riguardo così tu sei
ottenere il valore dei vostri soldi, ma sì
voglio parlare un po ‘di come
non ha portato la ricerca per sempre e
non ha fregato troppe persone no
rompere i loro flussi di lavoro cose del genere
quindi il primo passo e io non ho un
bella foto per mostrarti questo
uno è che abbiamo preso la decisione di non farlo
fork elasticsearch noi in realtà come te
ottenere in seguito ci siamo presentati molto
di patch per elasticsearch abbiamo trovato a
sacco di cose, ma elasticsearch forking
sarebbe stato un incubo da simili
come mantenere il nostro ramo di elastico
ricerca e back porting di tutte le patch
sarebbe stato un incubo per noi
perché eravamo una squadra di due persone giusta
non abbiamo avuto tempo per quello lì
c’era molto da fare mentre aspettavamo
ricerca elastica per tagliare la prossima versione
e anche allora non ho mai inviato una patch
per elasticsearch forse una documentazione
patch ma ogni passaggio che ho
inviato non è documentazione che hai
sappi detto ah fai in questo modo rinominare questo
lo rende più coerente o oh dio
cosa stai facendo che non è assolutamente
il modo giusto per farlo e va bene
giusto questo è ciò che la revisione del codice è per ma
se mi fossi appena fuso nel mio
ramo locale mi sarei diviso abbastanza
un po ‘dalla versione di ricerca elastica
e sarebbe stato davvero doloroso
quindi non l’abbiamo fatto e sono davvero contento
a proposito
quindi la prossima cosa che abbiamo fatto è stata
comunità beta queste sono comunità
che erano super entusiasti del nuovo
ricerca probabilmente non ho idea del perché loro
erano così eccitati come se fossero super
eccitato per cui la Wikipedia italiana era sì noi
prenderà la tua nuova ricerca veloce come te
può darlo a noi e hanno riferito così
molti bug e hanno lavorato con noi mentre
abbiamo appreso elasticsearch e lo erano
grandi sono persone meravigliose su IRC
stavano traducendo cose dal
wiki community village pump e
trovandolo a noi abbiamo avuto così tanti bug
che proveniva da loro dal cadillon di Wikipedia
allo stesso modo e infine incontro
wiki org mediawiki org è uno dei
siti canari tradizionali che il
la fondazione di wikimedia usa per capire
se stiamo andando a rompere le cose
quando noi quando lo distribuiamo ogni settimana
la prima vista che ottiene le cose le
media wiki org e siamo sempre su
mediawiki org che stiamo guardando
documentazione ti ho collegato ad una coppia
o ho tirato su un paio di link su
MediaWiki organo ho intenzione di tornare a
su mediawiki org è noi siamo noi
colpiscilo molto bene e io ho rotto
cerca su mediawiki dot org molto di più
volte di quanto vorrei contare ho
è due settimane fa , ma è così
okay, perché è quello che è perché è un
canarino giusto ma è anche pulito perché
è per lo più amministratori di sistema e
gli sviluppatori ci vanno e sono fantastici
quando scrivo bug, voglio dire che non è solo
come se si rompesse è come se si rompesse quando io
ha fatto questo e questo quindi è davvero questo
è stato un grande sito di canarino per noi
giusto così l’altra cosa è stata fantastica
era quello giusto dopo il tempo
andato a Wikipedia italiana che potrei essere
ottenere le mie linee del tempo un po ‘ma
proprio nel momento in cui arriviamo al
Wikipedia in italiano alcune altre persone a
la fondazione ha scritto questa funzionalità beta
plugin vedi c’è mediawiki org okay i
avevo fatto una ricerca su di me per svegliarlo
per arrivare qui così avrei saputo di averlo fatto
cinque ricerche rotte comunque questa beta
caratteristiche cosa consente agli utenti di optare in a
certo a una certa cosa, diritto ad a
alcune funzionalità in modo da consentire agli utenti di partecipare
per cercare a destra gli abbiamo dato un’opzione
chiamato nuova ricerca e potevano cliccare
e poi vanno nella nostra ricerca e
potevano beta testarlo ed è stato
impressionante è la funzionalità beta
in realtà scritto per editor visuale o
hover carte o qualcosa che tipo di
dimenticare così il
le funzionalità beta sono davvero utili
per le persone che accedono a Wikipedia e
la maggior parte delle persone che accedono a Wikipedia
gli editor non si collegano tutti gli editor
Wikipedia alcuni solo contribuiscono come IP
indirizzi come va bene ma altri log
in Wikipedia e loro possono impostare
le loro funzionalità beta sono così definibili
le mie condizioni un po ‘gli editori sono persone che
modifica Wikipedia se l’hai appena visualizzato
il tuo lettore è quello che ti chiamiamo è
ok i lettori sono bravi ci piacciono
gli editori sono buoni perché contribuiscono
e questo è un po ‘ un wiki sciocco
gnome probabilmente non è il termine corretto
ma l’ho sentito parlare di se è così
un po ‘difficile da leggere ma in positivo
giù ! lassù dice che questa pagina contiene
materiale umoristico e non dovrebbe essere
preso sul serio ma lo userò
comunque in questa presentazione perché
ci sono davvero persone che entrano e
quello che fanno questi ragazzi sono loro che vanno e
fare qualche piccolo cambiamento, giusto così là
sono come modelli che devono includere
una data e se la usi non riempi
la data bene alcuni dei miei vanno a riempirlo
per loro o se un link è un riferimento ma
è per un sito web che non ci piace
siamo collegamenti di riferimento a siti Web noi
come link di riferimento a internet dot arc
Archivio di Internet in modo tale che se il
il sito viene cancellato o qualcuno lo prende
giù o qualunque cosa vogliamo che la cosa
vivi bene , non vogliamo collegamenti morti e
riferimenti o forse se un riferimento è a
collegamento morto lo segneranno come ha fatto
mio dio come questi sono grandi cose
sono grandi per la salute di questo
fonte d’informazione, bene, mio
gli gnomi wiki preferiti sono persone che lo fanno
cerca in parte i controlli ortografici
sono i miei preferiti perché un paio di
loro erano beta tester e saltarono
su di me perché ho rotto molti dei loro
le cose vanno bene così si scopre che queste
persone che fanno ricerche per magia
le correzioni ortografiche sono davvero molto
interessati a o piuttosto sono davvero
davvero sensibile allo scatenarsi
ciò che scatena è che nessuno lo sa
il nuoto è a posto tutto bene derivante è
quando lo stemming è quando prendi il
grammatica di una parola quindi se volessi
cerca gnomi wiki bene dovresti
che dovrebbe trovare anche wiki gnome
giusto senza la S alla fine e
diventa più complicato diventa molto di più
complicato della Russia destra o dentro
polacco o alcune di queste lingue
che sono fortemente declinati nel modo giusto
comunque così questi gnomi wiki vogliono
sapere che vogliono trovare solo la parola
proprio la parola che stanno guardando
per questo sono anche molto sensibili a
qualcosa chiamato transclusioni e let
me lo definisco così tanto che è illeggibile
anche questo è illeggibile, ma è meglio così
Wikipedia e wiki in generale
certamente i wiki mediawiki sono fatti da
pagine wiki che includono modelli che
può includere modelli che possono includere
modello che può includere modelli
che può includere alcuni modelli
che sono scritti in Lua giusto perché
i vecchi modelli erano in realtà simili
touring completo tranne che era davvero
veramente lento e così qualcuno ha detto wow
stai scrivendo tutto questo codice
questi modelli sono degli hack orribili
diamo solo una lingua che tu
puoi scrivere il tuo codice e Luis gentile e
sandbox e qualsiasi diritto che non lo fa
importa andiamo avanti da quello, ma cosa
è importante che queste pagine siano incluse
modelli e a volte le persone vogliono
cerca sul testo del wiki e, a volte, sulle persone
vuoi cercare l’output effettivo di
la pagina e queste parentesi graffe significano
invoca un modello e cose simili
giusto, lasciami passare questo è dal
in modo che il modello di origine per il collegamento a un
Video di YouTube non ho idea di me
non l’ho letto Oh Dio, così stavo andando
sì andiamo tale diritto va bene così abbiamo
questi utenti beta avevano proprio questo
la beta è beta, avevamo questi wikis beta
bene, è inutile se non lo fai
in realtà imparano cosa vogliono, se è vero
non li ascolti bene così ho detto
voi file bug corretti, quindi darò
un esempio, una persona ha presentato un bug
hanno detto che ho bisogno di cercare nel wiki
il testo del documento giusto è quello
quel modello di roba che ti ho mostrato
bene, il punto il motivo per cui abbiamo fatto questo
ricerca come il progetto di ricerca
ha tre con tre requisiti
cerca wikitext o mi dispiace cerca il
testo reso della pagina per regolare
gli utenti mantengono l’indice
fino ad oggi in tempo reale in tempo reale
non era ben definito ma va bene e
tre era nessuno può odiarti quelli sono
quelli sono i tre requisiti giusti
il che è abbastanza normale, suppongo comunque
questo è il testo di rendering per la pagina
giusto se noi se tiriamo fuori, conosci il
belle foto e le tabelle che sono
qui e i collegamenti e le cose
questo è il testo di rendering della pagina giusto
quindi è quello che la maggior parte della gente vuole
cerca bene alcune persone vogliono cercare
il testo del wiki per la pagina ricorda il mio
Correzione ortografica alle persone a cui stanno a cuore
sugli errori ortografici nel testo del wiki
perché è quello che devono modificare
questo è quello che devono aggiustare proprio io
non si preoccupano di loro non si preoccupano
la texture renderizzata intendo che lo fanno
questo è in definitiva il motivo per cui lo stanno facendo
giusto ma che non è quello di cui hanno bisogno per
trovalo così quando ci schieriamo per incontrarci
rickey.org qualcuno ha detto che ho bisogno di cercare
sul testo del wiki e abbiamo detto ok
questo è assolutamente vero quindi noi
abbiamo finito per dover rendere così siamo finiti
rendendo questo nell’operatore sorgente che tu
non riesco a leggere ma sto ingrandendo leggermente
modo meno orribile per cui abbiamo fatto questo
operatore di origine che cercherebbe nel
fonte vedi come il testo è evidenziato
le porzioni sono in realtà wikitext e quando
lo si confronta con il sourcing e con
cercare nella pagina questo è in realtà
il testo renderlo così per farlo anche se tu
devono effettivamente indicizzare entrambe le parti così
questo è il gigantesco blob JSON che noi
negozio per quella pagina di Barack Obama e se
dovrai credermi perché lo sono
non andando a zumare perché si romperà
tutto ma dovrai credermi
quello è il testo della pagina e
questo è il testo sorgente della pagina così
sono entrambi disponibili e per quelli di
stai giocando che non sono in questo
stanza puoi seguire quel link e trovare
e cerca testo e preventivo
fonte del testo e trovalo e se lo hai
un bel browser che rende bene JSON
allora non sarà un muro di testo gigante
saranno due muri giganti di testo così
scopre ma non è quello che la persona
chi ha archiviato quell’insetto voluto risulta quando
abbiamo visto quando l’abbiamo fatto quando ti abbiamo dato
il
operatore e dispiegato hanno detto bene
non è giusto, quindi ho voluto trovare
questo alias di nomi di dominio WG della pagina
quando cerco gli alias dei nomi e
sai che è difficile per me vederlo
Sono sicuro che sia difficile per te vedere ma
stavano cercando lo spazio dei nomi
pseudonimi come il caso di cammello proprio in basso
caso e maiuscola A per gli alias di Nancy
ma non è quello che la pagina è giusta
la pagina è GG WG capital namespace
alias e WG è lì dentro giusto
e una ricerca normale sta per andare
l’ alias alias ws è una parola così noi
ha dovuto far funzionare la ricerca sul caso Pascal
Camelcase Nate case in caso costante così
dal modo in cui la ragione ha funzionato
perché questa pagina è composta da a
modello che include la maglia include
namespace alias caso cammello proprio come
così se stai cercando wikitext
lo troverai e questo è ciò che è vecchio
sistema ha fatto quella vecchia ricerca di sistema
wikitext ha cercato di usare Java per
parse wikitext ed era a metà strada e così
a metà strada solo a metà strada ha funzionato ma tutto
giusto quindi ignoralo per un po ‘l’altro
cosa che abbiamo rotto questo sul serio
la rottura era usata per essere in grado di cercare
per cibo cenere e solo ottenere cenere di cibo
bar se cerchi la barra spaziatrice del cibo
troverei cibo bar di cenere e spazio per il cibo
era il comportamento di ricerca della barra della cenere del cibo
davvero utile per le persone che erano
alla ricerca di errori ortografici in cui il trattino
la versione è un errore ortografico e non l’abbiamo fatto
implementarlo abbiamo appena rotto e il
la ragione per questo è che avrebbe
richiesto un analizzatore personalizzato che lo farebbe
sono stato dopo dopo un anno vorrei
sono stati in grado di cavalcarlo ma poi noi
non è nemmeno possibile installare il plugin in modo che il
cluster di ricerca elastico perché non avevamo
capito come farlo ancora da
opera da una operazione stabile e lo farò
arrivare a questo, ma così abbiamo detto che non possiamo
fallo invece che lo rendessimo regolare
ricerca di espressioni che è stata orribilmente
lento perché era un
era ingenuo giusto cercava solo
ogni documento quindi intendo sì
c’è sharding e ma no è stato
sarebbero stati necessari minuti e con quello
la vernice a tempo era scaduta
orribile è la morale della storia
alla fine abbiamo implementato plugin e
alla fine abbiamo ottenuto un trigram accelerato
ricerca di espressioni regolari che è
in realtà piuttosto veloce intendo non proprio
veloce richiede ancora 10 o 15 secondi
ma questo è assolutamente ok per questo caso d’uso
Lo prometto e così alla fine abbiamo risolto
il problema ma non gli abbiamo mai dato il
sintassi del dash è appena diventata normale
espressioni che le persone sono state
chiedendo comunque così comunque arrivare a
questa fossa fa questa roba la ragione quindi
non è utile implementare tutto ciò
caratteristiche se non li hai infranto
quindi abbiamo dovuto fare un sacco di test
questo e in effetti il vecchio sistema no
i test non hanno avuto test di integrazione
e i test unitari non ne hanno avuti
prove quindi ero determinato a non farlo
lascia che non lasceremo il mio
successore lo sai se tra 10 anni
qualcuno deve riscrivere di nuovo la ricerca
avranno una specifica giusta così là
sono come migliaia di queste cose e
la cosa interessante è che quando tu
non scrivere questi test di integrazione
appena prova non lo fanno solo il codice di prova si
ha scritto il mio test elasticsearch che testano
plugin questo test il plugin ICU questo
è che in realtà non so cosa sia
è questo è 3 o questo è quattro
diverse rappresentazioni dello stesso
parola quando normalmente quando non lo fai
La normalizzazione Unicode è la stessa
ma quando non si sintonizza Unicode
normalizzazione sono diversi e tu
vuoi quando cerchi qualcuno di questi
quattro da trovare per trovarli insieme giusto
sono gli stessi che vuoi tu voglia
infine cerca di pensarli nel
lo stesso termine è questo che è questo test
asserendo bene abbiamo anche questo test
qui dove affermiamo tutti i tipi di
roba sugli evidenziatori e quello va
e asserisce il modo in cui il
evidenziando i lavori e l’evidenziazione
estensione che abbiamo guidato e che ha un
molto a che fare con le query un elastico
ricerca e c’è questa enorme interazione
di cose che stiamo testando qui giusto
ma ciò che importa è in definitiva che il
risposte giuste escono dalla ricerca
sistema in modo da testare l’unità
stato stupido perché test unitario
qualcosa del genere sarebbe stato sciocco
sarebbe stato sciocco andare oh mia ricerca
il sistema ha prodotto il giusto JSON e questo
ha inviato il JSON giusto a elasticsearch e
se elasticsearch invia il giusto JSON
quindi rendiamo la pagina correttamente questo
non mi dà alcuna fiducia che noi
non ho rotto niente di così elastico
le ricerche sono coinvolte in tutti i test
del nostro sistema di ricerca e questo ci ha dato
la sicurezza di fare cose come l’aggiornamento
da Eau de alle nove alle 10 alle 11 sai
E sarò là a destra e sì abbiamo dovuto
sistemare alcune cose che dovevamo cambiare alcune
cose ma questi test effettivamente catturati
tutto bene quando abbiamo aggiornato e
rompere nulla è stato bello che fosse
perfetto è fantastico e mi sento davvero
orgoglioso che queste cose funzionassero così
la prossima cosa che devi fare è
cittadini Wikipedia questo è un
sito abbastanza grande su internet giusto
ci sono molti utenti che potresti non sapere
che c’è la ricerca sul sito su Wikipedia
va bene la maggior parte delle persone che vengono
Wikipedia attraverso Google ma otteniamo di più
di un milione di ricerche all’ora e noi
assomiglia a diversi milioni come cinque
o sei milioni di ricerche prefissate all’ora
è di dimensioni abbastanza decenti, quindi abbiamo
fare alcuni test di carico così ho gettato
insieme uno script python veloce e sporco
che se segui il link sulla pagina
non è molto lungo a destra è come un
cento e quattro righe incluso
documentazione e shebang e tutto il resto
ed è probabilmente sbagliato ma l’abbiamo usato
comunque provare a provare a provare così
stavamo giocando ai vecchi log delle ricerche
giusto e volevamo che tu sapessi che avevamo
campionamento quindi faremmo cose come me
ripetuto il cinque per cento dell’inglese
Ricerche di Wikipedia contro il nuovo
indice di ricerca e funzionerebbe e il
molto ma la prima volta che mi sono schiantato
al venti per cento non sono caduto
elasticsearch L’ ho appena sovraccaricato così
quando siamo i primi quando abbiamo fatto il primo
datore di lavoro abbiamo solo fino a venti
per cento del traffico di ricerca che noi
in realtà stavamo andando in realtà
volevo gestire alla fine e questo è
non abbastanza, voglio dire, sì, è solo
non abbastanza giusto quindi abbiamo dovuto uscire
sai gli strumenti per capire cosa
era lento, quindi la ricerca elastica arriva
con questa hot threads API che è
documentato in questo collegamento
questi sono tutti i collegamenti tra l’altro nel
post sul blog non sto solo tirando su
pagine web casuali comunque i thread caldi
avi è grande ma ha questa tendenza a
misurare quali thread sono caldi e quindi
quei quei fili hanno poi esso
misura quindi ottiene le tracce dello stack
che stanno succedendo in quelli come il caldo
fili come i tre o quattro caldi
discussioni che sono grandi se non quelle
i fili sono caldi durante la misurazione
tempo e poi non sono caldi durante il
stack trace collection time e when
sei quando hai camminato, ricarichiamo come
contrario al carico di indicizzazione elevato questo è
molto comune che i fili che tu
entrare in hot thread in realtà non è caldo
più ma il tempo li guardi così
l’unica cosa che puoi fare è colpire
elasticsearch con j stack o lo fa
la stessa cosa di quando vedi uscire da
applicazione java in modo che quando vedi uscire a
applicazione java su standard è solo
sputa tutta la traccia dello stack a destra
si siede anche se come cento
discussioni che elasticsearch ha in corso
al momento e così non vogliamo su
standard fuori giusto, quindi lo abbiamo colpito con
questa cosa ha chiamato una pila che la sputa
fuori dallo standard di j stack il
comando e così quindi noi convogliamo quella nota
in un file quindi abbiamo scritto uno script bash
usato parlare per contare o usare grep, penso
in realtà per contare il numero di thread
che erano caldi in certi posti, quindi
in realtà non contava il
discussioni che stavano facendo un sacco di cose
è solo un po ‘che ce l’abbiamo fatta
di volte e ha detto oh questa volta quando noi
l’ho eseguito c’erano sei thread che ti facevano
sapere che il lavoro sulla mischia suggerisce signore
e c’erano tre su di loro e loro caddero
Erano due in questo a destra e poi lo faremmo
eseguirlo di nuovo e poi di nuovo e poi
di nuovo e sarebbe solo una sorta di conteggio
dove erano i fili e poi i
discussioni che stavano spendendo più tempo
in questi vari posti siamo probabilmente
quelli erano probabilmente i posti lenti
giusto e lì sai che la JVM ha
punti sicuri e tutte queste altre cose sono
quindi è abbastanza complicato
come funziona, ma per la maggior parte di noi
capito che abbiamo avuto alcuni problemi uno
con em Bell, quindi abbiamo archiviato questo problema ah
e si scopre che è giusto e basta
scopre che potremmo sistemarlo sul nostro
proprio era
un cambio di riga più alcuni commenti e
ciò ha reso il punteggio del gioco come un
ordine di grandezza più veloce grazie campana em
poi abbiamo avuto alcuni altri cambiamenti che abbiamo avuto
un altro cambiamento che abbiamo risolto il flusso
in cui siamo stati trasmessi
elasticsearch alcuni aumenti di velocità per il
frase suggester proprio li abbiamo trovati
fuori facendo quello che ho detto facendo il
cestino avvolgendo e trovando se
stavamo spendendo un sacco di tempo e alcuni
cose che dovevamo fare da entrambe le parti così noi
abbiamo dovuto implementare più core Reese
in elasticsearch dovevamo quindi usarli
nella nostra estensione proprio così per quelli noi
aspettato dopo che abbiamo implementato un elastico
cerca come un mese o due prima
è uscito comunque l’altro interessante
La cosa importante è che l’abbiamo fatto
caricare i test in produzione perché siamo
un non-profit che davvero non possiamo permetterci di
avere due enormi cluster per fare il carico
test con così è stato solo molto attento
per non schiantare l’esca in cui si è verificato un incidente
i beta tester sbagliano lì e io sono
sono sicuro di averlo fatto, ma io
significa che è quello che ottieni quando non lo fai
Ho tanti soldi, voglio dire, non lo siamo
non è annoiato ma lo aggiusti ancora per favore
comunque wow che è difficile da leggere in modo che il
l’altra cosa che noi eravamo super
importante per noi era mediawiki vagabondo
mediawiki vagabondo Sono così grande, così vagabondo
è un sistema che imposta una casella virtuale
vm e poi corre burattino contro di essa
non si tratta di tutto ciò che è
interessante che è fondamentalmente cosa
lo fa e il burattino la roba da burattinaio
che abbiamo fatto così l’intero setup
insieme abbiamo fatto mediawiki vagabondo suo
lavoro è quello di impostare una macchina virtuale che
è molto simile al nostro gruppo di produzione
è come se ridimensionassi il
cluster di produzione e l’ha eseguito solo
quale macchina in modo che possa fare cose come
ospitare più wiki in realtà quando tu
impostalo per noi per testare la ricerca
giusto aggiungi la piccola cosa che dici
si voglio testare la ricerca si prende una scatola
quando esegui un comando che prende una scatola
per te fondamentalmente scaricherà il
ubuntu vm spin it up clone il set di codice
su apache installa la mia sequenza tutto
reticence tall elasticsearch install
alcuni plugin di ricerca elastici extra creano
un paio di wiki e indicizzali
e in realtà ci vuole un bel po ‘
perché il burattino è lento ma alla fine lo fa
viene impostato e quindi è possibile utilizzare questo
roba giusta e tu puoi puoi usare il tuo
ambiente di sviluppo e questo è pulito
perché se rompi il tuo sviluppo
ambiente puoi semplicemente distruggerlo e
ricostruirlo e non ti piace il tuo
l’ambiente di sviluppo non è più
diritto canonico ciò che è canonico è il
ambiente di sviluppo che il burattino
l’installazione di script è davvero fantastica
perché allora se la produzione cambia o se
se non riesci a riprodurre qualche problema, vai
e puoi sistemare i burattini e distruggere i tuoi
vm ricostruilo e poi se puoi
produrre bene il problema è fantastico
in questo momento il tuo ambiente di sviluppo
è più produzione come è più è
è rotto come la produzione che è
davvero importante, quindi questo era
una sorta di modo importante per noi di noi
portare gli utenti al punto in cui loro
potrebbe eseguire tutte quelle fantasiose integrazioni
prova che non abbiamo scritto alcuna prestazione
testare perché non è possibile
la prestazione lo prova in un vago rant ma
solo nessuna macchina virtuale dentro la tua
il portatile non sarà niente di simile
correre normalmente così vorrei sentire parlare
sui plugin vediamo oh wow I
in realtà ho tempo quindi siamo finiti
facendo molto sviluppo o
sviluppo in plugins eventualmente così noi
stavano inviando patch upstream a
elasticsearch ad un certo punto abbiamo iniziato
facendo un sacco di sviluppo di plugin all’interno
così io ho iniziato a fare molte cose
sviluppo di plug-in all’interno di wikimedia
fondazione e l’obiettivo qui era così
potremmo iterare più rapidamente così abbiamo
non ho dovuto aspettare per un rilascio e
questo ha funzionato correttamente questo era questo
piuttosto alla fine hanno scritto una nuova
evidenziatore perché quelli tutto il
quelli in lucene non funzionano è per questo
ce ne sono tre perché nessuno
di loro funziona, abbiamo scritto questa borsa
che contiene un sacco di backport così
sai che ho detto che non abbiamo backport molto
di roba da elasticsearch di nuovo mi piace
per tenerti in punta ci siamo comportati bene
backported alcune cose da elastico
cerca e l’abbiamo fatto nei plugin ma è così
era piuttosto raro che dovessimo essere belli
attento con ciò giusto e abbiamo anche aggiunto
cose come queste sono dove il trigramma
regex accelerato cerca cose come
e poi abbiamo creato questo Swift
repository che è dove vorresti fare
istantanee e il motivo per cui lo abbiamo fatto
perché l’ultima prova nello sport
ifft perché non è così ampiamente usato
ma lo usiamo così ci andate bene e
la ragione per cui fai il prodotto e ti ragioniamo
lo sviluppo di plugin è perché entrambi
la funzione non appartiene al nucleo
elasticsearch devi muoverti velocemente
o la tua schiena avverte le cose o tutte e tre le cose
giusto e nella ho appena mostrato in realtà
tre esami come un esempio di tutti e tre
passò comunque, volevo parlare
a proposito di cosa volevo parlare
su ciò che è stato ciò che è stato doloroso
su questo processo ciò che ha funzionato bene
Ho parlato molto di cose simili
questo funziona come avere test di integrazione
e avendo vagabondo e sottomettendo
patch di elasticsearch funziona
plugin davvero giusti come tutti loro
funziona alla grande con quello che ha funzionato molto
beh, in realtà c’è una lista di quattro
sono state le tre la scorsa notte che ho avuto
un altro così in continuo riavvio e
ricerca elastica fino a un punto sei
orribile ci sono voluti tre giorni per fare
rotolare ripristinare destra così è come
prendere nota e aggiungere e aggiungere
indietro che dura come due ore tre
ore per nodo e se sei disposto a farlo
scrivilo che siamo disposti ad averne un po ‘
guardalo tutto il giorno e puoi farlo
fatelo in meno di tre giorni ma
siamo sempre un po ‘cauti
queste cose e quindi volevamo avere un
la persona dopo che ogni nodo scende ha a
la persona va a guardare e dire tutto okay
è ancora buono fare il prossimo al
il prossimo si fa il prossimo e poi a
qualche punto la tua persona va a dormire
giusto quindi ci vogliono tre giorni
noi per farlo quando siamo arrivati
elasticsearch 106 avrà visto a filo
che ci permetterà di fare il riavvio a rotazione
molto più veloce ma dobbiamo ancora esserlo
attento perché stiamo facendo un aggiornamento
vogliamo fare che stiamo facendo un aggiornamento
non puoi downgrade elasticsearch così tu
voglio essere sicuro che se non lo fai
tutti loro molto velocemente e poi ottengono
te stesso rotto proprio così stiamo andando a
fai uno e poi aspetta e poi fai un muro
ma comunque la prossima cosa è la prossima cosa
quello non ha funzionato per noi era lavori o
piuttosto hanno lavorato per noi ma loro
dolore nel sedere così da essere sincronizzato a filo
lavoro per ottenere Singh flush per essere più veloce
solo riavviare non è necessario scrivere
l’ annuncio indice durante il riavvio a rotazione
processo in modo da farlo che devi avere
devi mettere in coda tutti i tuoi diritti
e infatti abbiamo già avuto questo perché
Sono così coppia
infastidito dal portare giù wikipedia
che abbiamo iniziato a spingere tutto il lavoro
che facciamo tutte le volte che parli
a elasticsearch a meno che non sia in una ricerca
lo facciamo in modo asincrono e non lo facciamo nemmeno
questo dopo aver scaricato le richieste
PHP tra l’altro, quindi non abbiamo thread
Giusto lo facciamo , spingiamo le cose a
coda di lavoro e poi riprendiamo il ritiro
eseguono il backup su un altro sistema e questo
è veramente utile a causa della
transclusioni e sai quando hai
un modello che viene utilizzato in un milione
luoghi dove vuoi andare e aggiornare tutto
loro quindi devi andare ad esplodere
coda di lavoro e cose del genere e corri
tutti quelli che non potevi fare in uno
processo comunque ma solo per ottenere solo su un
cambio di utente regolare abbiamo lanciato quello
cosa in coda di fila giusto e per
prova questo test questo asincrono
la cosa è un enorme dolore vero e ho detto
hai ragione sono davvero appassionato
assicurandoci di avere l’integrazione
prove che funzionano davvero e dimostrano
le cose e questo è solo così fragile
Mi piace aggiungere cose all’indice e poi
attendere che le cose vadano a buon fine
coda e la coda di lavoro sarebbe sorta
rompici e cambiano qualcosa
ed è proprio come ah così comunque il
l’altra cosa è che alcuni bug e
la ricerca elastica può far cadere tutto il
nodi o possiamo far cadere un sacco di nodi
ci sono modi per inviare bug ai loro
modi per inviare query velenose a
elasticsearch Io non vi dirò quello che
sono intenzionalmente ma certo jolly
i lavoratori fondamentalmente possono farlo bene e
puoi consumare tonnellate di memoria e quello
ucciderà ogni frammento che
preso la nota o che ha ottenuto la query e
wikipedia inglese è in cortocircuito in sette modi
abbiamo 31 server quindi 31-7 è oh merda
e sai che sono impaginato, è nel mezzo
della notte è questo infelice proprio questo
è male vero e io in realtà non lo so
la risposta a questo non lo so
soluzione diversa da non lasciare che il selvaggio
le domande sulle carte portano a sapere che lo consumano
molto ram ma questa è la soluzione più ovvia
non è la risposta giusta la risposta
è in qualche modo impedito
facendo questi errori che non vuoi
pagami per dipingerti in un angolo
giusto e finalmente installare i plugin
non ha funzionato per noi e il motivo per
questo è quello
i nodi in produzione non ce l’hanno
accesso a Internet in modo che il plugin bin
lo script non funziona come il tuo
nodi in produzione non dovrebbero avere
l’accesso a Internet o è così
si diventa un bot IRC nel proxy aperto
il malware, signore, non lo fa proprio così
male giusto quindi tutti devono negoziare
con le loro operazioni team i loro sviluppatori
squadra come li chiami loro devono
negoziare un modo per installare i plug-in
hai già negoziato probabilmente
un modo per installare pacchetti Debian o RPM
pacchetti o qualunque cosa tu faccia
per installare elasticsearch ma plug-in
non venire in quel modo, vieni in un altro modo
devi capire come ottenerli
installato e questo è un modo diverso
da come distribuiamo tutto il resto a
la fondazione quindi abbiamo dovuto negoziare
e ottenere le cose giuste e portarle a
installare le cose che si ottiene il appropriato
permessi e questo è un dolore
punto che molte persone stanno andando a soffrire
perché è così che vanno le operazioni
gli ingegneri sono paranoici e loro
dovrebbe essere paranoico questo è il loro lavoro ma
è difficile, quindi ho voluto avvolgere
Ti ho portato in una presentazione
viaggio voglio concludere con il
le cose a cui dobbiamo il nostro
un successo modesto e dal modo in cui sono
in realtà penso davvero che noi davvero
ha avuto successo anche con questo progetto
anche se abbiamo rotto alcune cose e io
e penso che ci siamo riusciti perché noi
sostituire la ricerca in diretta su un enorme sito web
non l’ha fatto male e nessuno
non ci odia, nessuno mi odia , vero
pensa che questo sia il giusto, se
Avevo rotto qualcosa che qualcuno sarebbe stato
conosci orde di persone dopo di me ma
ora sì sì, abbiamo avuto successo giusto e
dobbiamo questo successo ai beta tester
hanno subito indicato problemi
e hanno lavorato con noi, lo abbiamo fatto
Bo it per l’approccio di implementazione graduale
quello che abbiamo fatto e non l’ ho fatto tipo
saltato su quella destra siamo andati wakey
wakey quando abbiamo fatto questo lancio eravamo
intenzionalmente piuttosto lento, lo dobbiamo
a queste distribuzioni canarino a mediawiki
organo a tutte le persone per usarlo dobbiamo
a un sacco di test di integrazione andiamo
per caricare i test andiamo a vagabondare per
aiutandoci a costruire produzione come
ambienti e per avere effettivamente il
la forza di volontà per impostare questo quando io
ha iniziato l’incontro della fondazione con il calore
vagabondo non esisteva giusto e questo è
stato costruito nel frattempo
lo dobbiamo all’infrastruttura plug-in
e e alla gente di ricerca elastica o
l’elastico credo che ora siano d’oro
gente che ha costruito la cosa e aiutato
lavora con noi e rivede le patch
e alla gente che ci ha aiutato a ghiandolare
patch e leucina e cose del genere
senza quello non saremmo stati in grado di fare
è giusto e sì, così è così che siamo noi
non ha rotto molte cose quando noi e
abbiamo fatto questo cambiamento e sono emozionato
da esso e ora ho finito di parlare così
è dove applaudi e poi fai domande
quindi sì, se avete domande andare avanti
si parla di essere roba coraggiosa per
caratteristiche come il meglio che le persone in
intero sistema fontaine quindi sì questo il
la domanda di recupero informazioni e
lo abbiamo fatto con i sistemi beta noi
lo ha fatto con i beta tester e per il
la maggior parte quindi è come una toccante roba feely
giusto per la maggior parte hanno detto sì abbiamo
trovarci è almeno altrettanto buono o
meglio in tutti i casi ma non lo è
davvero non è abbastanza giusto, è così
una specie di due lati e noi
ha fatto una parte e non l’altra
e stiamo iniziando dall’altra quindi
il primo lato è che siamo andati e abbiamo ottenuto un
numero di casi di test canonici un numero
abbiamo creato un sacco di documenti di test
e cerca e si assicura che loro
è apparso nell’ordine che ci aspettavamo
loro di apparire e che funziona un
test di integrazione per questo non falliscono
è fantastico e questo è bello ma
non è davvero abbastanza buono, ma
questo è quello che abbiamo fatto e mi sto attenendo
è giusto ciò che non abbiamo fatto è che non l’abbiamo fatto
strumento e non abbiamo strumentato come
un buon lavoro che stavamo facendo perché è così
un problema incredibilmente complesso come
solo facendo una ricerca giusta e figurante
fuori se l’utente piace a quella ricerca
senza chiedere loro giusto perché noi
non hanno nessuno sta andando a riempire quel
in o le persone che riempiranno quindi e
stanno andando completamente a distorcere i nostri documenti
hanno intenzione di sciare completamente
segnala quindi devi farlo senza il
utente che lo fa bene e così a lungo
tempo non eravamo disposti a farlo
non erano disposti a spiare essenzialmente
gli utenti hanno ragione, quindi stiamo arrivando
al punto in cui siamo disposti a farlo
fare dati anonimi molto molto accurati
collezione ma questo è molto tempo dopo
fatto questo diritto di sostituzione in modo da non farlo
sai che non possiamo confrontarlo con quello vecchio
ma quello che possiamo fare è iniziare a farlo
raccolta e quindi possiamo iniziare
grafico quanto stiamo facendo bene
ma quanto sei bravo a farlo
ricerche molto è molto difficile
problema ci sono molti documenti accademici
pubblicato sulla questione che non ho
leggi e ho un delegato di destra che ho
una persona a cui ho detto che vai e
capire questo per me, per favore e poi
sai che ho un piano che non conosco
cura quante persone ci sono in questo momento
quindi il trucco è ricordare come ho detto
c’erano due persone in questo progetto così
due di noi hanno sostituito la vecchia ricerca giusta
quando hai due persone che non hai
il tempo per misurare questa roba non lo fai
avere il tempo di strumentarlo non è così
sappi ma quando ne hai 10 o 15
diventa il più possibile possibile
inizia a strumentare cose che puoi iniziare
costruire i sistemi che è possibile avviare
costruzione della registrazione degli eventi e pull
gli eventi insieme e puoi iniziare
costruire sistemi in cui sei effettivamente
in grado di calcolare questa metrica e questo è
quello che stiamo cercando di fare ora ma sì
ci vorrà un po ‘di tempo intendo
questo è un problema difficile e c’è anche
sai che esiste la precedenza esistenziale
come sai, stiamo facendo abbastanza bene
lavoro che rende anonimi i dati così come arrivano
cose giuste come quelle perché noi davvero
davvero non voglio spiarti
davvero come non lo facciamo ma vogliamo
rendere la ricerca migliore e questo è davvero
difficile e non ho la risposta giusta
giusto, so che quello è l’altro
di quanto ci proveremo molto duramente
ha risposto alla tua domanda
no no, quindi ecco la cosa giusta noi
facciamo cose come la frase Reese core e
il conteggio dei link in entrata conta e aumenta
diverse parti della pagina e
facciamo anche altre cose come lasciamo il
cambio di comunità avvio come li lasciamo
configurare i boost in modo che la comunità abbia un
cosa con loro andranno e metteranno
un modello sulla pagina se è buono
articolo wiki o se è stato un elemento caratteristico
articolo wiki o se è una buona immagine
è così per Commons questo è davvero
importante hanno messo una buona immagine e loro
Metti una brutta foto alle foto che sono
Voglio dire, come la spazzatura e la spazzatura
come bassa risoluzione e come yeah no
per quanto spiacevole comunque abbiamo dato il dare
la comunità il potere che può
configurare come questi modelli aumentano il
risultati della ricerca funziona abbastanza bene
giusto ma andando molto oltre questo
niente di speciale come l’ analisi del tema o
reti semantiche o anche solo cambiando
il peso relativo della temperatura del
titolo al testo che devi fare il suo
la strumentazione prima perché l’hai
nessun indizio se lo hai fatto meglio o
non è giusto a meno che tu non possa sapere come
un buon lavoro che stai facendo per metterti in pratica
conoscere la modellazione dell’argomento sull’analisi semantica
forse è divertente ma aspetta che potrebbe essere un
enormi sprechi di tempo potrebbero essere enormi sprechi
delle risorse della CPU che devi controllare bene
non sai bene e tu sicuramente
non so come regolare i parametri in
dentro nel sai nei vari
algoritmi di ranking che hai a meno
si sta misurando quanto bene un lavoro che sei
facendo bene puoi farlo e
poi guarda e vai guarda meglio che è
in gran parte quello che ho fatto e ammetto che
è come se non fosse un buon modo di fare
così sì sì il trucco è ogni volta che noi
andare oltre ciò che è stato costruito in Lucy né
elasticsearch ogni volta dove vogliamo
andare a sviluppare qualcosa di interessante e
nuovo dobbiamo assicurarci che fosse così
è utile proprio così sai che potremmo finire
fare cose come la prototipazione e
poi giocando le ricerche contro di esso e
vedere se i risultati sono migliori
ma dovremmo usare il genere di cose
dove abbiamo detto oh questo questo utente è ora
cliccando su
giusto ricorda il ragazzo di Facebook, proprio lui
era in piedi dove sono questo
mattina e hanno iniziato a prenderli
avere questi dati giusto sai e
quello che la sua squadra era attiva con la sua squadra
gli ho detto che oh, in realtà
più facile da fare vincere velocemente le cose da fare
cose come gli utenti hanno i risultati pin a
la cima e basta pin lui giusto forse
beh, in realtà voglio andare a rubare quello
idea e dare fondamentalmente le mie comunità
dare agli utenti registrati la possibilità di
fare clic su un tasto e dire quando cerco
questo è ciò che intendo per tirarlo fuori
è proprio quello che Google ha avuto
di quelli per molto tempo e loro
abbandonato, quindi, chi lo sa, voglio dire
è come se tutti giocassero
conosci i ragazzi grandi che hai questo
conosci migliaia di persone che lavorano su questo
problema quando ne abbiamo due o quattro e così via
sai che devi, ma incontra il
il vantaggio che abbiamo è che lo faremo
open source tutto bene tutto
noi facciamo l’open source, io non sono, non lo sono
andando a fare apparire tutti i link ma
ci sono i link dove si possono guardare
la configurazione di mappatura che usiamo
puoi guardare l’analisi
configurazione puoi guardare il
parametri ti ho mostrato il link dove
si può guardare il documento alla fonte
che abbiamo per ogni articolo che hai appena
aggiungere? l’azione è uguale a Cirrus dump to
qualsiasi articolo tu voglia e si sputerà
quello che abbiamo in elastico lo cerchiamo se
fai una ricerca puoi aggiungere una ricerca
Parametro URL e sputiamo la ricerca
che abbiamo inviato a elasticsearch e se tu
capita di avere una ricerca elastica con tutti
dei nostri dati è possibile inviarlo a ma
davvero questo è utile questo è utile
strumento di debug per me e questo è un
strumento utile per le altre persone per andare come
Hanno fatto quella cosa o perché è questa
cosa lavorare il senso che è che una specie
di sciocco giusto vogliamo che le persone siano in grado
archiviare un bug e andare e quello non è il
modo giusto di interpretare il mio amico di query così
sì, potremmo farlo solo con questo
cosa comunque um mi dispiace che fosse una specie di a
risposta sconclusionata ma immagino vagante
è abbastanza normale per me spero che funzioni
per voi ragazzi qualsiasi altra domanda si
in nessun modo usando i miei sequel il nostro premio
archiviazione primaria perché wikimedia
la fondazione ha usato il mio sequel come suo
memoria primaria prima che fosse il
wikimedia foundation quando era server
eseguire mediawiki a Jimmy Wales
il seminterrato è stato il mio sequel
è stata la mia C uguale alla mia volontà di paillettes
continuare ad essere il mio sequel fino alla terra
muore la morte del calore vero, ma tu lo sai
sarà il mio sequel per sempre che non abbiamo
vincoli non abbiamo chiavi esterne
perché non esistevano quando noi
iniziato dove quell’hard oh e anche
una volta che hai un enorme database non c’è
possibilità che tu li aggiunga senza
prendendo il sistema offline e comunque
Sono sicuro che ci sono cose in quel database
che viola quei vincoli e noi
devi solo sperare che non abbia importanza
perché con 10 anni di mediawiki
sviluppo che sa cosa c’è lì dentro
è una specie di produzione spaventosa è divertente
sì, quindi non usiamo la ricerca di Eliza come
negozio primario c’erano volte in cui noi
iniziato a usare un bicchiere per cercare dove siamo
aveva accidentalmente cose nuvolose questo era
principalmente colpa nostra e non elastica
le ricerche ci piegano in modo tale che abbiamo un molto
repository complesso dove configuriamo
i parametri di configurazione e per a
mentre la nostra estensione è scaduta il 20
repliche perché volevamo che funzionasse
correttamente con le persone che semplicemente
scaricato mediawiki ed era l’ unico
modo per ottenere il cluster verde
beh, questo è stupido, ora è predefinito
Espansione automatica a 23 repliche che è molto
meglio, ma questo è oltre il punto in
un certo punto abbiamo rovinato il
configurazione e scese a zero
repliche sul cluster di produzione e
poi abbiamo messo a fuoco uno dei frammenti per fare a
aggiornamento del disco o qualcosa del genere e perso
e non è l’ultima volta che cerco un errore
è totalmente colpa nostra, quindi sì
quando ho guadagnato questa maglietta perché io
ho rotto l’italiano
Wikipedia per un po ‘ penso in realtà
portato giù nel senso che loro
non è stato possibile modificare le pagine come
sei in piedi che significa che io sono io
io
quindi mi piace la domanda IR perché è
il difficile che non abbiamo ancora risolto
e quindi sì, hai capito bene
il modo in cui le risposte alla tua domanda
non sono in questo libro, purtroppo lo è
è una domanda davvero difficile e lo farei
amore per là essere roba open source
intorno a questo e abbiamo intenzione di lavorare su
esso
tu
Please follow and like us: