Situace s Diablo II: Resurrected je prakticky od vyd\u00e1n\u00ed bez\u00fat\u011b\u0161n\u00e1. V n\u011bkter\u00fdch denn\u00edch hodin\u00e1ch se prakticky ned\u00e1 p\u0159ipojit na Online. Co se d\u011bje?<\/p>\n
<\/p>\n
Blizzard o situaci v\u00ed, pravideln\u011b vyd\u00e1v\u00e1 patche, kter\u00e9 by m\u011bly odleh\u010dit server\u016fm, ale zlep\u0161en\u00ed je naprosto minim\u00e1ln\u00ed. Co se v z\u00e1kulis\u00ed d\u011bje? O tom se rozepsal komunitn\u00ed mana\u017eer PezRadar.<\/p>\n
Zdrav\u00edm v\u0161echny,<\/p>\n
Od spu\u0161t\u011bn\u00ed Diablo II: Resurrected se pot\u00fdk\u00e1me s probl\u00e9my na serverech. Cht\u011bli bychom b\u00fdt transparentn\u00ed v tom, co zp\u016fsobuje tyto probl\u00e9my, a co jsme doposud ud\u011blali, abychom se s nimi vypo\u0159\u00e1dali. Takt\u00e9\u017e v\u00e1m chceme \u0159\u00edct, co n\u00e1s brzy \u010dek\u00e1.<\/p>\n
TL;DR: Probl\u00e9my se servery nezp\u016fsobuje jedin\u00e1 v\u011bc; ka\u017ed\u00fd jednotliv\u00fd probl\u00e9m \u0159e\u0161\u00ed tak, jak p\u0159ijde a to jak okam\u017eit\u00fdmi \u0159e\u0161en\u00edmi, tak dlouhodob\u00fdmi zm\u011bnami architektury. Mal\u00fd po\u010det hr\u00e1\u010d\u016f p\u0159i\u0161el o progres postavy. Od t\u00e9to chv\u00edle by se v p\u0159\u00edpadu p\u00e1du server m\u011blo jednat o ztr\u00e1tu maxim\u00e1ln\u011b n\u011bkolika minut. Nen\u00ed to pro n\u00e1s kone\u010dn\u00e9 \u0159e\u0161en\u00ed, a st\u00e1le na tom d\u011bl\u00e1me. N\u00e1\u0161 t\u00fdm s pomoc\u00ed ostatn\u00edch z Blizzardu d\u011bl\u00e1 na tom, aby z\u00e1\u017eitek ze hry byl skv\u011bl\u00fd pro v\u0161echny stejn\u011b.<\/p>\n
Te\u010f se trochu pono\u0159\u00edme do technick\u00fdch detail\u016f, ale douf\u00e1me, \u017ee v\u00e1m to pom\u016f\u017ee pochopit, pro\u010d se tyto probl\u00e9my d\u011bj\u00ed, co d\u011bl\u00e1me, abychom ka\u017ed\u00fd z nich vy\u0159e\u0161ili, ale tak\u00e9 to, jak hled\u00e1me p\u0159\u00ed\u010dinu probl\u00e9mu. Ale hezky popo\u0159ad\u011b.<\/p>\n
Probl\u00e9my se servery<\/h1>\n
D\u0159\u00edve ne\u017e se pust\u00edme do tohoto t\u00e9matu, mus\u00edme v\u00e1m \u0159\u00edct, jak funguj\u00ed na\u0161e datab\u00e1ze. Zaprv\u00e9, m\u00e1me glob\u00e1ln\u00ed datab\u00e1zi, kter\u00e1 slou\u017e\u00ed jako jedin\u00fd spr\u00e1vn\u00fd zdroj pro v\u0161echny informace o va\u0161ich postav\u00e1ch a jejich progresu. Jak v\u00e1m m\u016f\u017ee doj\u00edt, pro jednu datab\u00e1zi je to hodn\u011b pr\u00e1ce. Tak\u017ee abychom j\u00ed uleh\u010dili, ka\u017ed\u00fd region (NA, EU, Asie) m\u00e1 vlastn\u00ed datab\u00e1zi a ta pravideln\u011b zapisuje do do glob\u00e1ln\u00ed datab\u00e1ze. V\u011bt\u0161ina hern\u00edch akc\u00ed je zapisov\u00e1na do region\u00e1ln\u00ed datab\u00e1ze, jeliko\u017e je rychlej\u0161\u00ed, va\u0161e postava je uzam\u010dena v t\u00e9to region\u00e1ln\u00ed datab\u00e1zi, aby byla uchov\u00e1na integrita. Glob\u00e1ln\u00ed datab\u00e1ze m\u00e1 z\u00e1lohu pro p\u0159\u00edpad, \u017ee havaruje.<\/p>\n
Abychom v\u00e1m mohli vysv\u011btlit, co se d\u011bje, zam\u011b\u0159\u00edme se na v\u00fdpadky mezi 9. \u0159\u00edjnem a 15. \u0159\u00edjnem.<\/p>\n
V sobotu r\u00e1no pacifick\u00e9ho \u010dasu jsme byli sv\u011bdky v\u00fdpadku kv\u016fli obrovsk\u00e9mu n\u00e1r\u016fstu v p\u0159enosu dat. N\u011bco tak velk\u00e9ho na\u0161e servery neza\u017eily, a to ani p\u0159i startu. To bylo umocn\u011bno aktualizac\u00ed vydanou p\u0159edchoz\u00ed den. Tato aktualizace m\u011bla vylep\u0161it vytv\u00e1\u0159en\u00ed her. Kombinace t\u011bchto dvou faktor\u016f p\u0159et\u00ed\u017eila na\u0161i glob\u00e1ln\u00ed datab\u00e1zi a ta p\u0159estala odpov\u00eddat. Proto jsme se rozhodli ud\u011blat rollback p\u00e1te\u010dn\u00ed aktualizace doufaje, \u017ee do ned\u011ble odleh\u010d\u00ed serverer\u016fm a n\u00e1m to d\u00e1 \u010das detailn\u011bji pro\u0161et\u0159it, co se stalo.<\/p>\n
V ned\u011bli bylo jasn\u00e9, \u017ee sobotn\u00ed \u0159e\u0161en\u00ed nebylo dostate\u010dn\u00e9. P\u0159enos dat byl mnohem vy\u0161\u0161\u00ed, co\u017e zp\u016fsobilo dal\u0161\u00ed v\u00fdpadek. Hern\u00ed servery byly odpojov\u00e1ny od datab\u00e1ze a sna\u017eily se op\u011btovn\u011b p\u0159ipojit zp\u011bt. Dabab\u00e1ze v podstat\u011b nikdy nem\u011bla \u010das zpracovat to, co jsme ud\u011blali, jeliko\u017e muse odbavovat nekone\u010dn\u00e9 pokusy o znovup\u0159ipojen\u00ed hern\u00edch server\u016f. B\u011bhem t\u00e9to doby jsme ov\u0161em p\u0159i\u0161li na to, \u017ee m\u016f\u017eeme vylep\u0161it konfiguraci logov\u00e1n\u00ed event\u016f, abychom mohli obnovit stav datab\u00e1ze v p\u0159\u00edpad\u011b p\u00e1du. Kdy\u017e toto bylo hotov\u00e9, d\u00e1le jsme hledali p\u0159\u00ed\u010dinu.<\/p>\n
Ned\u011bln\u00ed \u0159e\u0161en\u00ed n\u00e1m dalo do ruky informace o tom, jak rychle obnovit hru. Co\u017e bylo dobr\u00e9. Ale bohu\u017eel to m\u011blo i stinnou str\u00e1nku. Kdy\u017e rychle obnov\u00edme hru b\u011bhem exponovan\u00fdch hodin, b\u011bhem n\u011bkolika m\u00e1lo minut jsou vytvo\u0159eny stovky tis\u00edc her a servery spadnou. Co\u017e je \u0161patn\u011b.<\/p>\n
Museli jsme nasadit spoustu oprav, v\u010detn\u011b konfigura\u010dn\u00edch a oprav k\u00f3du, prvn\u011b jsme je tedy nasadili na z\u00e1lo\u017en\u00ed glob\u00e1ln\u00ed datab\u00e1zi. V pond\u011bl\u00ed jsme prohodili z\u00e1lo\u017en\u00ed datab\u00e1zi s hlavn\u00ed. To vedlo v dal\u0161\u00ed v\u00fdpadek, jeliko\u017e z\u00e1lo\u017en\u00ed datab\u00e1ze trp\u011bla chybou, b\u011b\u017eel na n\u00ed proces z\u00e1lohov\u00e1n\u00ed, to znamen\u00e1, \u017ee se v\u011bt\u0161inu doby sna\u017eila zkop\u00edrovat data z hlavn\u00ed datab\u00e1ze m\u00edsto toho, aby obsluhovala po\u017eadavky ze server\u016f. Objevili jsme dal\u0161\u00ed probl\u00e9my, ud\u011blali dal\u0161\u00ed opravy. Na\u0161li jsme zastaral\u00e9, ale st\u00e1le aktivn\u00ed datab\u00e1zov\u00e9 dotazy, jen\u017e jsme eliminovali. Optimalizovali jsme r\u016fzn\u00e9 kontroly postav, kdy\u017e se p\u0159ipojili do hry, \u010d\u00edm\u017e jsme nad\u00e1le ulevili server\u016fm. D\u011blali jsme dal\u0161\u00ed vylep\u0161en\u00ed a testov\u00e1n\u00ed. V\u011b\u0159\u00edme, \u017ee se n\u00e1m povedlo vy\u0159e\u0161it s\u00ed\u0165ov\u00e9 probl\u00e9my p\u0159i p\u0159ipojov\u00e1n\u00ed do datab\u00e1z\u00ed, jeliko\u017e jsme je nevid\u011bli od \u00fater\u00fd.<\/p>\n
V \u00fater\u00fd p\u0159i\u0161el dal\u0161\u00ed z\u00e1sah v podob\u011b rekordu sou\u010dasn\u011bhraj\u00edc\u00edch hr\u00e1\u010d\u016f, jednalo se o stovky tis\u00edc lid\u00ed v jednom jedin\u00e9m regionu. To m\u011blo dal\u0161\u00ed neblah\u00fd vliv, datab\u00e1ze trp\u011bla sn\u00ed\u017een\u00fdm v\u00fdkonem. Na tom v tuto chv\u00edli pracuj\u00ed datab\u00e1zov\u00ed in\u017een\u00fd\u0159i. Takt\u00e9\u017e spolupracujeme s dal\u0161\u00edmi in\u017een\u00fdry z Blizzardu na drobn\u00fdch oprav\u00e1ch, jeden t\u00fdm pracuje na hlavn\u00edch serverech. Kontaktovali jsme i dodavatele slu\u017eeb, aby n\u00e1m poskytli pomoc.<\/p>\n
Pro\u010d se toto d\u011bje<\/h1>\n
Abychom z\u016fstali co nejv\u00edc v\u011brn\u00ed p\u016fvodn\u00ed h\u0159e, zachovali jsme v\u011bt\u0161inu p\u016fvodn\u00edho k\u00f3du. Bohu\u017eel, jedna p\u016fvodn\u00ed slu\u017eba m\u00e1 probl\u00e9my vyrovnat se s t\u00edm, jak se v sou\u010dasnosti hr\u00e1\u010di chovaj\u00ed.<\/p>\n
Tato slu\u017eba, s drobn\u00fdmi vylep\u0161en\u00edmi, \u0159e\u0161\u00ed kritick\u00e9 \u010d\u00e1sti hern\u00ed funkcionality, konkr\u00e9tn\u011b vyv\u00e1\u0159en\u00ed her\/p\u0159ipojov\u00e1n\u00ed se do her, aktualizace\/\u010dten\u00ed\/filtrov\u00e1n\u00ed hern\u00edho seznamu, verifikace v\u00fdkonu server\u016f, na\u010d\u00edt\u00e1n\u00ed postav z datab\u00e1ze, aby zkontrolovala, zda se postava m\u016f\u017ee \u00fa\u010dastnit \u010dehokoliv, co hled\u00e1te. D\u016fle\u017eit\u00e9 je, \u017ee tato slu\u017eba je „singleton,“ to znamen\u00e1, \u017ee m\u016f\u017ee b\u011b\u017eet jen jedna instance t\u00e9to slu\u017eby, aby bylo zaji\u0161t\u011bno, \u017ee v\u0161ichni hr\u00e1\u010di vid\u00ed v kteroukoliv chv\u00edli nejaktu\u00e1ln\u011bj\u0161\u00ed seznam her. Tuto slu\u017ebu jsme n\u011bkolikr\u00e1t optimalizovali, aby vyhovovala modern\u00edm technologi\u00edm, ale jak bylo d\u0159\u00edve \u0159e\u010deno, mnoho probl\u00e9m\u016f poch\u00e1z\u00ed z vytv\u00e1\u0159en\u00ed her.<\/p>\n
Zm\u00ednili jsme „sou\u010dasn\u00e9 chv\u00e1n\u00ed hr\u00e1\u010d\u016f,“ jeliko\u017e je to zaj\u00edmav\u00e1 v\u011bc, o kter\u00e9 mus\u00edme p\u0159em\u00fd\u0161let. V roce 2021 nebylo na internetu tolik informac\u00ed o tom, jak hr\u00e1t Diablo 2 „spr\u00e1vn\u011b,“ nap\u0159. Baal runs na XP, Pindleskin\/Ancient Sewers na Magic Find atd. Dnes si nov\u00e1\u010dek m\u016f\u017ee naj\u00edt des\u00edtky \u00fa\u017easn\u00fdch tv\u016frc\u016f obsahu, kte\u0159\u00ed je mohou nau\u010dit hr\u00e1t Diablo mnoha zp\u016fsoby. Mnoho z nich nav\u00e1d\u00ed hr\u00e1\u010de vytv\u00e1\u0159et\/na\u010d\u00edtat\/ru\u0161it hry v rychl\u00e9m sledu, co\u017e vede k velk\u00e9mu zat\u00ed\u017een\u00ed datab\u00e1ze. Do jist\u00e9 m\u00edry jsme po beta testu m\u011bli n\u011bjak\u00e1 o\u010dek\u00e1v\u00e1n\u00ed, ale hrub\u011b jsme je podcenili.<\/p>\n
Dal\u0161\u00ed v\u011bc\u00ed je, \u017ee jsme moc \u010dasto ukl\u00e1dali do glob\u00e1ln\u00ed datab\u00e1ze. Nen\u00ed d\u016fvod to d\u011blat tak \u010dasto, jak jsme to d\u011blali. M\u011bli jsme ukl\u00e1dat do region\u00e1ln\u00ed datab\u00e1ze. Do glob\u00e1ln\u00ed pouze tehdy, pokud jsme v\u00e1s pot\u0159ebovali „odemknout.“ To je jedn\u00edm z \u0159e\u0161en\u00ed, kter\u00e9 nyn\u00ed m\u00e1me. Nyn\u00ed p\u00ed\u0161eme k\u00f3d, kter\u00fd toto chov\u00e1n\u00ed kompletn\u011b zm\u011bn\u00ed, tak\u017ee nebudeme muset t\u00e9m\u011b\u0159 v\u016fbec ukl\u00e1dat do glob\u00e1ln\u00ed datab\u00e1ze, co\u017e v\u00fdznamn\u011b sn\u00ed\u017e\u00ed zat\u00ed\u017een\u00ed server\u016f. Bohu\u017eel se jedn\u00e1 o redesign architektury, tak\u017ee to bude n\u011bjak\u00fd \u010das trvat, a to v\u010detn\u011b test\u016f a implementace.<\/p>\n
Ohledn\u011b ztr\u00e1ty progresu<\/h1>\n
Ztr\u00e1ta progresu, kter\u00e9ho byli n\u011bkte\u0159\u00ed hr\u00e1\u010di sv\u011bdkem, je zp\u016fsobeno t\u00edm, jak uzamyk\u00e1me postavu v region\u00e1ln\u00ed a glob\u00e1ln\u00ed datab\u00e1zi. V glob\u00e1ln\u00ed datab\u00e1zi uzamkneme postavu ve chv\u00edli, kdy\u017e v\u00e1m byl p\u0159i\u0159azen region, nap\u0159. kdy\u017e hrajete v US regionu, va\u0161e postava je uzam\u010dena na US regionu a v\u011bt\u0161ina v\u011bc\u00ed se d\u011bje v US region\u00e1ln\u00ed datab\u00e1zi.<\/p>\n
Probl\u00e9m bylo, \u017ee pokud spadla datab\u00e1ze, spousta postav byla zaseknut\u00e1 v region\u00e1ln\u00ed datab\u00e1zi a my nem\u011bli zp\u016fsob, jak ji p\u0159en\u00e9st do glob\u00e1ln\u00ed datab\u00e1ze. V\u011b\u0159ili jsme, \u017ee m\u00e1me dv\u011b mo\u017enosti: Bu\u010f odemknout v\u0161echny neulo\u017een\u00e9 zm\u011bny v glob\u00e1ln\u00ed datab\u00e1zi a p\u0159ij\u00edt o ur\u010dit\u00fd progres, nebo shodit celou hru na ur\u010dit\u00fd \u010das a spustit skript na z\u00e1pis dat do glob\u00e1ln\u00ed datab\u00e1ze.<\/p>\n
Tehdy jsme si mysleli, \u017ee je d\u016fle\u017eit\u00e9 udr\u017eet hru a nechat lidi hr\u00e1t, ne\u017e shodit na del\u0161\u00ed \u010das hru a obnovit data. Velmi n\u00e1s mrz\u00ed, \u017ee hr\u00e1\u010di ztratili progres a cenn\u00e9 p\u0159edm\u011bty. Sami jsme hr\u00e1\u010di a v\u00edme jak to bol\u00ed.<\/p>\n
V tuto chv\u00edli m\u00e1me zp\u016fsob, jak obnovit postavy ani\u017e by do\u0161lo k v\u00fdznamn\u00e9 ztr\u00e1t\u011b dat. Pokud dojde k p\u00e1du serveru, hr\u00e1\u010di by m\u011bli p\u0159ij\u00edt maxim\u00e1ln\u011b o minuty progresu. Je to lep\u0161\u00ed, ale ne dokonal\u00e9.<\/p>\n
Co budeme d\u011blat<\/h1>\n
Omezen\u00ed:<\/strong> Budeme omezovat po\u010dty operac\u00ed s datab\u00e1z\u00ed ohledn\u011b vytv\u00e1\u0159en\u00ed her a p\u0159ipojov\u00e1n\u00ed do her. Je n\u00e1m jasn\u00e9, \u017ee to na mnoh\u00e9 bude m\u00edt dopad. Nap\u0159. pokud d\u011bl\u00e1te Pindleskin runy, jednu hru budete m\u00edt hotovou za 20 vte\u0159in. V tuto chv\u00edli dojde k omezen\u00ed va\u0161ich akc\u00ed. Pokud se tak stane, na obrazovce v\u00e1m vysko\u010d\u00ed chybov\u00e1 hl\u00e1\u0161ka, ve kter\u00e9 bude st\u00e1t, \u017ee je probl\u00e9m v komunikaci s hern\u00edmi servery. Neznamen\u00e1 to, \u017ee jsou servery dole, jen to znamen\u00e1, \u017ee budete omezeni, aby do\u0161lo ke sn\u00ed\u017een\u00ed z\u00e1t\u011b\u017ee datab\u00e1ze. Je to da\u0148 za to, \u017ee online hra pob\u011b\u017e\u00ed d\u00e1l. Nejedn\u00e1 se o trval\u00e9 \u0159e\u0161en\u00ed, je to jen do\u010dasn\u00e9.<\/p>\n
\u010cekac\u00ed fronta:<\/strong> Minul\u00fd v\u00edkend byl slo\u017een ze s\u00e9rie probl\u00e9m\u016f, nebyl to jeden neust\u00e1le opakuj\u00edc\u00ed se probl\u00e9m. Kv\u016fli vysok\u00e9mu po\u010dtu hr\u00e1\u010d\u016f, p\u0159id\u00e1n\u00ed n\u011bkolika platforem, se p\u0159idaly probl\u00e9my se \u0161k\u00e1lov\u00e1n\u00edm. Mo\u017en\u00e1 proto budeme sv\u011bdky men\u0161\u00edch probl\u00e9m\u016f. Abychom je mohli v\u010dasn\u011b diagnostikovat a vy\u0159e\u0161it, je pot\u0159eba, aby se v jeden moment nep\u0159ihla\u0161ovalo obrovsk\u00e9 mno\u017estv\u00ed hr\u00e1\u010d\u016f. Tak\u017ee se potk\u00e1te s \u010dek\u00e1n\u00edm ve front\u011b, tak jako tomu bylo nap\u0159\u00edklad u World of Warcraft. To udr\u017e\u00ed po\u010dty lid\u00ed v bezpe\u010dn\u00fdch mez\u00edch, my budeme moct monitorovat, kde syst\u00e9my selh\u00e1vaj\u00ed a nastal\u00e9 probl\u00e9my \u0159e\u0161it d\u0159\u00edve, ne\u017e hra spadne. Poka\u017ed\u00e9, kdy\u017e takov\u00fd probl\u00e9m vy\u0159e\u0161\u00edme, budeme moct zv\u00fd\u0161it po\u010dty nar\u00e1z hraj\u00edc\u00edch lid\u00ed.<\/p>\n
Rozd\u011blen\u00ed kritick\u00fdch \u010d\u00e1st\u00ed do men\u0161\u00edch slu\u017eeb:<\/strong> Na v\u011bcech, kter\u00e9 zvl\u00e1dneme b\u011bhem jednoho dne, u\u017e d\u011bl\u00e1me, n\u011bco u\u017e je hotov\u00e9. V\u011bt\u0161\u00ed projekty jsou v pl\u00e1nu: Nov\u00e9 mikroslu\u017eby (nap\u0159. GameList slu\u017eba staraj\u00edc\u00ed se o seznam her). Jakmile kritick\u00e9 \u010d\u00e1sti budou rozd\u011bleny na men\u0161\u00ed, budeme \u0159e\u0161it \u0161k\u00e1lovatelnost, to nad\u00e1le sn\u00ed\u017e\u00ed zat\u00ed\u017een\u00ed.<\/p>\n
Na incidentech v re\u00e1ln\u00e9m \u010dase velmi tvrd\u011b pracuje spousta lid\u00ed, diagnostikuj\u00ed probl\u00e9my, aplikuj\u00ed opravy; Nejen D2R, ale i dal\u0161\u00ed t\u00fdmy nap\u0159\u00ed\u010d Blizzardem. Tato hra pro n\u00e1s mnoho znamen\u00e1. Mnoho z n\u00e1s hraje Diablo 2 od nepam\u011bti, od spu\u0161t\u011bn\u00ed v roce 2000, n\u011bkte\u0159\u00ed jsou sou\u010d\u00e1st\u00ed modding komunity atd. M\u016f\u017eeme v\u00e1s ujistit, \u017ee na h\u0159e budeme d\u011blat tak dlouho, dokud nebudeme spokojen\u00ed nejen my, ale i hr\u00e1\u010di a \u010dlenov\u00e9 komunity.<\/p><\/blockquote>\n