Як продати 300 000 квитків
У розборі Ticketmaster ми розпродавали стадіон на 70 000 місць. Тут квитків учетверо більше, і здається, що удар першою прийме база. Та ні: більшість стадіонних ідей працює й далі, просто акценти зміщуються. Продаж розтягується в часі, вузьким місцем стає платіжний провайдер, броні ховають величезну частку вільного запасу, а день події перетворюється на окрему логістичну задачу.
Пройдемося по всьому інтерв’ю на одному наскрізному прикладі, де кожне число рахує код: три шлюзи пропускної здатності, посекундна симуляція інвентарю, віртуальна черга, квоти, розбір платежу та смуги на вході. А в калькуляторі ви можете покрутити параметри продажу самі.
Питання
«Спроєктуйте продаж квитків для події на 300 000 місць. Більшість із них іде в продаж одночасно.»
На перший погляд це знайома задача про Ticketmaster, просто для більшого стадіону. Але такого стадіону не існує: найбільші сидячі арени вміщують приблизно 100 000–130 000 глядачів. Тож перше, що варто озвучити одразу: 300 000 — це не схема залу.
1. Що означає «300 000», і вимоги
Події такого масштабу справді існують, і вони зовсім не схожі на концертний зал. На Indianapolis 500 у 2025 році очікували близько 350 000 глядачів: усі нумеровані місця на трибунах розкупили, а квитки на внутрішнє поле ще лишалися в продажу. Великі фестивалі — це переважно вільний вхід: денні квитки, багатоденні абонементи й кілька преміальних зон. Стадіонний тур розносить попит на десятки концертів по 50 000–70 000 місць. Кожен такий формат вимагає своєї моделі інвентарю.
І 300 000 — це рідко один виступ. Фестиваль продає три дні й кілька сцен, тур — десяток дат, перегони — один день. Для системи одиниця інвентарю — окрема дата: у кожної своя місткість, свої зони й свої входи. А одиниця продажу — подія: її дати часто відкривають у продаж одночасно, і тоді одна черга може обслуговувати всі, а дату людина обирає вже всередині. Чи варто так робити — вибір, до якого повернемося в розділі 4.
Питання, які варто поставити вголос
| Питання | Чому відповідь змінює дизайн |
|---|---|
| 300 000 — це люди на майданчику одночасно, унікальні відвідувачі чи сума за кілька днів? | Визначає, що саме ми рахуємо: людей на території, продані абонементи чи денні входи. |
| Нумеровані місця, вільний вхід чи і те, і те? | Для нумерованого місця потрібен один власник; для вільного входу — точний лічильник на зону. |
| Скільки квитків іде у відкритий продаж? | Гостьові, партнерські й службові квоти зменшують доступний пул, а стороннім продавцям треба виділити окрему частку. |
| Скільки людей стане в чергу і як швидко треба все продати? | Місткість нічого не каже про попит: розпродаж за п’ятнадцять хвилин і за три дні потребують зовсім різної інфраструктури. |
| Скільки квитків у замовленні й чи мусить компанія сидіти поруч? | Задає загальну кількість замовлень і те, чи має одна операція бронювати кілька місць разом. |
| Скільки триває бронь і як люди платять? | Визначає, скільки квитків зависне в бронях і як обробляти повільні платежі. |
| Що вважаємо чесним: хто перший, жеребкування чи пріоритетні групи? | Продуктове правило, яке черга має не лише виконувати, а й уміти довести. |
| Що є на вході: мережа, живлення, персонал? | Від цього залежить, як сканери перевірятимуть квитки: онлайн, локально чи ніяк. |
Візьмемо найскладніший типовий сценарій: один старт продажу на 300 000 квитків на вільний вхід загалом, по 2 у замовленні, а в черзі на момент відкриття стоїть 5 млн фанатів. Черзі й оплаті майже байдуже, належать ці місця одному виступу чи кільком; інвентарю — ні, тому спершу рахуємо один спільний пул, а в розділі про багатоденні абонементи ділимо його на дні. Нумеровані місця працюють так само, як у розборі Ticketmaster.
Функціональні
- Показати подію, типи квитків, повну ціну й орієнтовну наявність.
- Поставити людей у чергу, зберегти їхню позицію після обриву зв’язку й пускати до купівлі контрольовано.
- Бронювати замовлення цілком (усі квитки або жодного) з чітким дедлайном.
- Приймати оплату без збоїв на таймаутах, повторах і запізнілих підтвердженнях.
- Видавати квитки так, щоб їх можна було відкрити повторно без пошуку листа, і перевіряти рівно один раз на вході.
- Підтримувати повернення, скасування всієї події та ручний перемикач для оператора, щоб пригальмувати чи зупинити допуск.
- Винести за дужки, але уточнити: перепродаж і передачу квитків, паркінг із кемпінгом, динамічні ціни.
Нефункціональні, за пріоритетом
- Ніколи не продавати понад ліцензовану місткість. Місткість фестивалю — це вимога безпеки на кожну зону й кожен день. Продаж понад неї загрожує не скаргами на повернення, а тиснявою в натовпі.
- Кожне списання має зрозумілий стан. Жодних подвійних списань і жодного платежу, що завис без квитка чи повернення.
- Вхід працює, навіть коли падає інтернет. Домовтеся наперед, яку саме гарантію система зберігає без зв’язку.
- Ядро отримує рівно те навантаження, яке ви задали, хоч би який шквал бив у край мережі.
- Чесність: усі, хто встиг вчасно, отримують випадкове місце в черзі, один запис на верифікований акаунт. «Одна людина — один запис» потребує перевірки особи, а це вже продуктове рішення.
- Доступність рахують під час продажу й на вході, а не як зручне середнє за рік.
2. Місткість — не попит, а попит — не пропускна здатність
Тут легко сплутати три різні речі. Місткість — це кількість квитків (300 000). Попит — це 5 млн фанатів у черзі. А пропускна здатність — скількох людей за секунду система реально встигає обслужити, і перші два числа її ніяк не задають. Її тримають три шлюзи, і темп усього продажу визначає найвужчий.
Спробуйте свій продаж
Покрутіть вхідні параметри. Таблиця запускає той самий код — разом із симуляцією — що стоїть за кожною цифрою в статті, і підсвічує шлюз, який задає темп.
| Величина | Розрахунок | Результат |
|---|---|---|
| Шлюз 1: сесії | 100 тис. ÷ 5 хв | 333/с |
| Шлюз 2: платіжний провайдер | min(250 ÷ 1,2, 1 тис. ÷ 2,4) ÷ 60% | 347/с |
| Шлюз 3: ядро інвентарю | 32 × 100/с ÷ 3 | 1,07 тис./с |
| Швидкість допуску | найнижчий шлюз: сесії | 333/с |
| Шанс для того, хто готовий купити | 150 тис. ÷ (5 млн × 50%) | 6% |
| Сайт уперше виглядає розпроданим | симуляція, посекундно | 9,98 хв |
| Справді продано 99% | симуляція, посекундно | 37,4 хв |
| Квитків у броні на піку | 140 тис. ÷ 300 тис. | 47% |
| Сплеск без черги | 5 млн ÷ 1 хв | 83,3 тис./с |
| Опитування сторінки черги | 5 млн ÷ 10 с | 500 тис./с |
У рядку платежів закладено такі припущення: до оплати переходять 60% допущених покупців, викликів провайдера на спробу — 2 (плюс 20% на повтори), а ліміт на весь акаунт учетверо вищий за ліміт на endpoint, як у стандартних умовах провайдера. Для ядра: кожне захоплення тримає квоту під блокуванням 10 мс, спроб захоплення на покупця — 3. Сесія триває 5 хв, і покупку завершують 50% допущених.
Сесії. Якщо ліміт одночасних покупців — 100 000, а кожна сесія триває 5 хв, закон Літтла дає швидкість допуску 333/с. Та сама арифметика, що й зі стадіоном.
Платіжний провайдер. Про цей шлюз на інтерв’ю майже ніхто не згадує. У нашому прикладі темп завершених замовлень — 167/с, а спроб оплати стартує ще більше — близько 200/с, і кожна робить кілька викликів API. За документацією Stripe, базові ліміти такі: 100/с на акаунт, 25/с на endpoint, одночасних запитів — не більше 50. Якщо лишити їх як є, допуск падає до 34,7/с, і продаж 99% квитків розтягується з 37,4 хв до 2,5 год. Ліміти можна підняти, але велике підвищення Stripe просить погоджувати заздалегідь — щонайменше за 6 тиж. Так платіжний провайдер стає пунктом у плані проєкту, а не просто прямокутником на схемі.
Ядро інвентарю. Послідовна операція встигає рівно одне захоплення за цикл блокування. Якщо лічильник заблокований на 10 мс, його стеля — 100/с. Розбийте запас на квоти (скажімо, 32) — і стеля підстрибне до 3 200/с, із добрим запасом над іншими шлюзами. А якщо лишити один лічильник, він задушить увесь продаж уже на швидкості допуску 33,3/с.
| Сценарій | Сесії | Платіжний провайдер | Ядро інвентарю | Продаж іде зі швидкістю | 99% продано через |
|---|---|---|---|---|---|
| Стандартні ліміти провайдера (25/с на endpoint) | 333/с | 34,7/с | 1,07 тис./с | 34,7/с | 2,5 год |
| Ліміти погоджено (250/с) | 333/с | 347/с | 1,07 тис./с | 333/с | 37,4 хв |
| Погоджено, але один лічильник інвентарю | 333/с | 347/с | 33,3/с | 33,3/с | 2,6 год |
А от що не змінилося: учетверо більший інвентар не додав ядру жодного зайвого навантаження — його створює лише бажання продати швидше. У такому темпі готовий покупець має шанс 6%, а край мережі все одно мусить витримати піковий наплив 83 333/с і потік опитувань сторінки черги — 500 000/с, і до бекенду вони не дійдуть, лише якщо всі опитують одну спільну кешовану відповідь (розділ 4).
3. Фантомний розпродаж
Квиток не перестрибує одразу з вільних у продані. Між цими станами він спершу лежить у броні, поки людина шукає картку, а потім чекає завершення оплати. Усі чотири стани в сумі завжди дорівнюють місткості, і найгучніша помилка великого продажу — сплутати «немає вільних» із «розпродано».
- Продані
- Оплата триває
- У броні
- Вільні
- Виглядає розпроданим, але ні
Погляньмо на посекундну симуляцію. Уже через 9,98 хв вільних квитків не лишається — наївний сайт одразу вивішує «розпродано». Але в цю мить кількість квитків у бронях і платежах сягає 140 000 (47% усієї події). Половина всіх, кого пустили, так і не доходить до оплати, тож їхні квитки за кілька хвилин повертаються назад, хвиля за хвилею. Позначку 99% продаж проходить лише через 37,4 хв, а останній квиток іде через 1,51 год. До того ж 33% усіх квитків купили люди, яких пустили після того, як сайт уперше здався порожнім.
| Політика допуску | Побачили «розпродано», коли квитки були лише в броні | 99% продано через |
|---|---|---|
| Пускати зі швидкістю шлюзу, хоч би що лишилося | 1 509 001 | 37,4 хв |
| Пускати, лише поки є вільні квитки | 0 | 37,4 хв |
Звідси випливають два рішення. По-перше, контролер допуску має дивитися не лише на три шлюзи, а й на четвертий сигнал — реальні залишки. Пускати людей у магазин із порожніми полицями означає розвернути 1,5 млн із них ні з чим, поки квитки просто лежать у бронях. Краще пускати рівно стільки людей, на скільки вистачає вільних квитків, а коли їх немає — нікого, і чесно писати на сторінці черги: «Зараз усе в бронях; квитки повертаються». По-друге, тривалість броні — це продуктовий компроміс із відчутною ціною. Бронь на 5 хв дає спокійно оплатити навіть тим, хто не поспішає, але розтягує хвіст продажу; коротша швидше повертає квитки в обіг. І показуйте квитки в броні саме як заброньовані, а не так, ніби їх уже немає.
4. Віртуальна черга на п’ять мільйонів
Навіщо великому продажу віртуальна черга, ми розібрали в статті про Ticketmaster. Коли в черзі 5 млн людей, вона сама стає розподіленою системою з трьома власними складними задачами: порядок, який ніхто не може підкрутити, статус, який мільйони читають, не торкаючись ваших серверів, і допуск, що витримує повтори, неявки й власні збої.
До старту: лобі, а потім випадковий порядок
Наплив 83 333/с із розділу 2 виникає, бо всі ломляться в останню хвилину, а ломляться тому, що саме в останню хвилину роздають місця. Приберіть цю причину. Відкрийте лобі за 30 хв до старту й пообіцяйте: усі, хто всередині на момент старту, мають однакові шанси. Ті самі 5 млн входів тепер у середньому падають до 2 778/с, а тиснути F5 о 9:59:59 більше немає сенсу.
Вхід у лобі повертає підписаний токен черги: один запис на акаунт, а оновлення сторінки чи друга вкладка повертають той самий запис. На момент старту список записів заморожується, і ви публікуєте його хеш ще до того, як з’явиться наступне значення публічного маяка випадковості. Місце кожного запису — це hash(значення маяка, id запису), прочитане як число від 0 до 1. Перетасувати список, побачивши значення, ви вже не можете, а передбачити його наперед не може ніхто. Із власним секретним seed ви могли б перетасувати список, і аудитор спитає про це насамперед. Приємний бонус: значення маяка йде в спільний статус, тож кожен браузер сам обчислює своє місце за id запису з токена, і нікому не треба роздавати п’ять мільйонів персональних позицій саме в момент старту.
Хто прийшов після старту, отримує номер, більший за 1, тож стає за перемішаною групою в порядку приходу. Строгий порядок потребує одного лічильника-секвенсора. Видача номерів блоками на кожен сервер прибирає гарячий лічильник, але робить порядок приблизним у межах частки секунди, і це варто проговорити вголос. Хай там як, місце — це незмінне число, а не індекс у списку: коли хтось попереду виходить із черги, нічий номер не змінюється, просто курсор доходить до вас швидше. І випадковий порядок лише вирівнює шанси між прийнятими записами. Проти власника тисячі акаунтів потрібні верифікований попередній продаж, акаунти, створені до старту, перевірка на бота або proof-of-work на вході й ліміти на картку під час оплати.
П’ять мільйонів людей читають одне число
Якщо кожен браузер питає «мене вже пустили?» зі своїм cookie, це 500 000 некешованих запитів на секунду до вашого бекенду. Розділіть питання навпіл. Приватна половина, id вашого запису, живе у вашому підписаному токені, а місце випливає з нього. Публічна половина — один маленький об’єкт, однаковий для всіх: курсор («заходять усі місця, менші за це число»), розмір перемішаної групи, щоб сторінка могла написати «попереду близько N людей», стан (очікування, продаж, пауза, розпродано), поточний темп і залишки на кожну дату. У ньому немає cookie чи персональних параметрів, і CDN кешує його на 2 с. Браузер сам порівнює дві половини.
| Запит | На секунду | Хто відповідає |
|---|---|---|
| Входи, якщо всі приходять в останню хвилину | 83 333 | Сервіс черги |
| Входи, розтягнуті на час лобі | 2 778 | Сервіс черги |
| Опитування статусу, усі раз на 10 с | 500 000 | Край мережі (CDN) |
| Опитування статусу, рідше для хвоста черги | 169 333 | Край мережі (CDN) |
| Запити статусу, що доходять до бекенду | 10 | Сервіс черги |
| Обміни місця в черзі на перепустку | 333 | Сервіс черги |
| Спроби бронювання | 1 000 | Магазин та інвентар |
| Спроби оплати | 200 | Платіжний провайдер |
Край мережі однаково відповідає на 500 000 запитів на секунду, це близько 250 МБ/с трафіку. Але якщо 20 кешів-щитів оновлюють статус раз на 2 с, до бекенду доходить лише близько 10 запитів на секунду. І частота опитувань не мусить бути однаковою для всіх: раз на 10 с статус потрібен лише тим 40 000 людей, кому до входу лишилося менше 2 хв, а решта може питати раз на 30 с, і тоді навіть край мережі отримує 169 333/с. Додайте випадковий зсув, щоб опитування не накочувалися хвилями. Пуш через SSE чи WebSocket означав би п’ять мільйонів відкритих з’єднань заради одного спільного числа, яке між двома опитуваннями пропускає ще 3 333 людей. Пуш доречний для тих, хто вже всередині, а не для черги.
Прогноз очікування рахуйте з того, як швидко курсор реально рухався за останню хвилину, а не з номінального темпу: паузи й гальмування розтягують чергу. Та навіть тоді не обіцяйте хвосту черги вхід через 4,17 год, коли 99% квитків розійдуться за 37,4 хв: до магазину дійде лише близько 6% черги. Скажіть це заздалегідь, а щойно продано останній квиток, перемкніть спільний стан на «розпродано», щоб мільйони вкладок припинили опитування за один інтервал.
Допуск: обміняйте місце на перепустку
Курсор оновлює лише контролер допуску. Щосекунди він зсуває його щонайбільше на стільки місць, скільки зараз дозволяє найповільніший шлюз (до 333), і ніколи далі, ніж вистачає вільних квитків. Це та сама політика з урахуванням залишків із розділу 3: із нею симуляція не розвертає жодної людини замість 1,5 млн. Поки все, що лишилося, лежить у бронях, стан показує «пауза», а не «розпродано». «Розпродано» може сказати лише сам інвентар, і лише коли закінчилися всі дати.
Браузер, який бачить, що курсор пройшов його місце, один раз звертається до бекенду. Це 333/с замість 500 000/с, у 1 500 разів менше. Сервер перевіряє підпис токена черги, переконується, що місце справді позаду курсора, а пропозиція не сплила, і одним атомарним кроком позначає запис використаним; повтор отримує ту саму відповідь. У відповідь він видає перепустку з коротким терміном дії, прив’язану до акаунта, сесії й події. API бронювання перевіряє цю перепустку для кожної нової броні: підпис, термін, прив’язку. Підпис перевіряється локально, а от «один запис — один допуск» (у сховищі черги) і ліміти на покупця (у магазині) потребують справжнього стану. Перепустка обмежує нові броні, а не оплату броні, яка вже ваша, інакше повільний платіж зірветься, щойно сплине перепустка.
Дехто так і не повертається по свою чергу. Дайте кожній пропозиції 2 хв; коли час минув, звільніть місце й посуньте курсор далі. Незатребувані пропозиції враховуйте в шлюзі сесій: за 2 хв у темпі 333/с це до 40 000 людей, які можуть зайти всі разом.
Одна черга чи окрема на кожну дату
Коли кілька дат виходять у продаж одночасно, постає вибір. Одна черга на всю подію простіша й чесніша: одне перемішування, одне місце, а дату людина обирає всередині. Ціна — статус має містити залишки на кожну дату, щоб ті, хто чекає на вже розпродану суботу, могли піти, а не витрачати свою чергу. Окрема черга на кожну дату розносить навантаження й дає кожній даті продаватися у своєму темпі, але провокує всіх ставати в усі черги одразу, тож знадобиться правило на кшталт «одна активна черга на акаунт».
Коли частина системи падає
- Падає сховище черги. Край мережі й далі віддає останній статус, ті, хто вже всередині, спокійно купують (їхні перепустки перевіряються локально), а нові допуски стають на паузу. Ніколи не відчиняйте ворота навстіж: так у ядро разом зайдуть 5 млн людей. Аварійний режим із тонким потоком безпечний лише з бюджетом, заздалегідь розподіленим глобально; «кожен вузол на краю мережі пропускає кількох» у сумі дає темп, якого ніхто не обирав.
- Падає контролер. Курсор завмирає, і це безпечно. Резервний контролер перебирає роботу через оренду з fencing-токеном, а курсор рухається лише вперед і лише умовним записом, тож два контролери ніколи не зсунуть його одночасно.
- Кеш віддає застарілий чи підроблений курсор. Застарілий лише затримає допуск на один інтервал кешу, а підроблений не видасть перепустку, бо під час обміну сервер звіряє справжній курсор. Але статус однаково варто підписувати, щоб зламаний кеш не погнав мільйони браузерів на обмін одночасно.
- Годинники розходяться. Час старту, дедлайни й відлік рахуються за серверним часом зі статусу, а не з годинника відвідувача.
В основі всього цього лежить головний інваріант: віртуальна черга захищає доступність і чесність, а не коректність. Навіть якщо бот прослизне повз неї, умовне оновлення в інвентарі й ідемпотентний платіж однаково не продадуть квиток двічі.
Відповіді, за які знімають бали
- «Складемо всіх у Kafka чи список у Redis і діставатимемо по 333 на секунду». Брокер не перемішає лобі й не поверне витягнутий запис браузеру, який перепідключився, а дістати запис ще не означає, що людина досі тут.
- «Тримаймо WebSocket із кожним фанатом». П’ять мільйонів з’єднань, щоб оголосити одне число.
- «Обмежимо запити за IP». Університет чи мобільний оператор ховає за однією адресою тисячі справжніх фанатів, а боти змінюють адреси через резидентні проксі. Обмежуйте за акаунтом і перепусткою.
- «Зсуватимемо курсор на 333 щосекунди». Фіксований темп не бачить порожніх полиць, неявок і сповільнення платіжного провайдера.
5. Вільний вхід: лічильник, розбитий на квоти
Коли номерів місць немає, тип квитка зводиться до звичайного лічильника, а бронювання — до одного умовного запиту:
UPDATE quotas
SET remaining = remaining - :n
WHERE zone = :zone AND quota_id = :q AND remaining >= :n
Оновився один рядок — квитки ваші; нуль — ця квота замовлення не потягне. Оскільки один лічильник обмежує весь продаж стелею 100/с, запас розбивають на кілька квот. Головне слово тут — володіє: кожна квота відповідає за свою окрему частку інвентарю, а разом вони дають точну місткість. Просто розмазати один лічильник по шардах не вийде, бо жоден шард не знатиме, скільки йому дозволено продати.
| Квот | Захоплень на секунду, стеля | Продано, коли спорожніла перша квота | Квитків в інших квотах у той момент | Переміщень до кінця |
|---|---|---|---|---|
| 1 | 100 | 100% | 0 | 0 |
| 8 | 800 | 99% | 4 294 | 19 |
| 32 | 3 200 | 96% | 10 702 | 83 |
| 128 | 12 800 | 93% | 22 126 | 392 |
Підступ вилазить під кінець продажу. Попит ніколи не лягає ідеально рівно, тож одна квота висихає, поки в інших ще є квитки. Коли квот 32, перша порожніє після продажу 96% запасу — а в інших квотах у цю мить квитків ще 10 702. Якщо порожня квота просто скаже «розпродано», покупець отримає хибну відмову. Тому вона забирає залишок у найповнішої — і цей перенос має бути безпечним: в одній транзакції або через спільний запис, із яким погоджуються обидві сторони, щоб через таймаут дві квоти не порахували ті самі квитки своїми. Щоб довести наш продаж до кінця, переміщень треба лише 83 — суща дрібниця. Чим більше квот, тим вища і стеля, і кількість переміщень, тож беріть найменше число, яке із запасом перекриває інші шлюзи.
Абонемент на кілька днів
А тепер уявімо триденний фестиваль: місткість кожного дня — 100 000, разом це 300 000. Звичайний денний квиток бере одне місце у своєму дні, а триденний абонемент має захопити по місцю в усіх трьох лічильниках разом — усе або нічого. Блокуйте дні завжди в одному порядку (п’ятниця, субота, неділя), щоб паралельні запити ніколи не потрапили у взаємне блокування.
| День | Витрата на середнє замовлення | Лишилося, коли розкупили перший день |
|---|---|---|
| П’ятниця | 0,55 | 21 429 |
| Субота | 0,70 | 0 |
| Неділя | 0,55 | 21 429 |
Усі хочуть на суботу, тож вона розлітається першою. Щойно це стається, жоден запит на абонемент більше не проходить — хоча в п’ятницю й неділю ще вільно по 21 429. Їх досі можуть розібрати покупці денних квитків, але фанати абонементів лишаються ні з чим. Чи влаштовує вас такий сценарій — вирішує продукт: якщо абонементи в пріоритеті, ще до старту виділіть під них окрему квоту в кожному дні, а денні квитки продавайте з решти.
6. 300 000 місць не рятують зону на 3 000
Загальна цифра ховає справжні перекоси. Попит стікається в кілька найбажаніших зон, а кожна зона сидить за власним лічильником зі своєю стелею.
| Зона | Місць | Частка попиту | Захоплень на секунду | Навантаження на один лічильник | Квот для ≤ 50% | Розпродано через |
|---|---|---|---|---|---|---|
| Поле | 252 000 | 55% | 550 | 550% | 11 | 22,9 хв |
| Біля сцени | 45 000 | 30% | 300 | 300% | 6 | 7,5 хв |
| VIP-тераса | 3 000 | 15% | 150 | 150% | 3 | 1 хв |
Подивіться на VIP-терасу (місткість — 3 000): темп захоплень тут сягає 150/с — це 150% від стелі одного лічильника. Тож власних квот їй потрібно щонайменше 3, хоча фестиваль загалом ще працює впівсили. Розбирають її за 1 хв, і весь цей попит миттєво перетікає в наступну зону: гарячі точки мігрують просто під час продажу. Рахуйте квоти для кожної зони окремо, тримайте в полі зору найгарячішу й спрямовуйте чергу туди, де ще є квитки. На трибунах із нумерованими місцями та сама конкуренція б’є по окремих сидіннях, тож тут досі працює рецепт із Ticketmaster: нехай сервер сам підбирає найкращі вільні місця, замість того щоб тисячі людей клацали на одне й те саме.
7. Платіж, що переживає свою бронь
База інвентарю й платіжний провайдер не живуть в одній транзакції. Рано чи пізно вони розійдуться — питання лише в тому, що станеться далі. Прокрутимо одне замовлення за трьома сценаріями:
Без стану платежу: бронь спливає вчасно
| Секунда | Хто | Подія | Квиток | Гроші |
|---|---|---|---|---|
| 0 | Фанат A | бронює один квиток | у броні: Фанат A | — |
| 240 | Фанат A | починає оплату | у броні: Фанат A | авторизація |
| 300 | Фанат B | бронь A спливає; квиток забирає B | у броні: Фанат B | авторизація |
| 330 | Провайдер | webhook: оплата успішна, але квиток уже в B | у броні: Фанат B | треба повернути |
| 335 | Провайдер | той самий webhook ще раз: ігнорується за id події | у броні: Фанат B | треба повернути |
Двоє заплатили за той самий квиток — або отримали підтвердження на нього. Або комусь доведеться робити несподіване повернення, або ви продали один квиток двічі.
Стан «оплата триває» з дедлайном
| Секунда | Хто | Подія | Квиток | Гроші |
|---|---|---|---|---|
| 0 | Фанат A | бронює один квиток | у броні: Фанат A | — |
| 240 | Фанат A | починає оплату | оплата: Фанат A | авторизація |
| 330 | Провайдер | webhook: оплата успішна | продано: Фанат A | списано |
| 335 | Провайдер | той самий webhook ще раз: ігнорується за id події | продано: Фанат A | списано |
Один власник, і гроші відповідають квитку.
Те саме, але провайдер відповідає після дедлайну
| Секунда | Хто | Подія | Квиток | Гроші |
|---|---|---|---|---|
| 0 | Фанат A | бронює один квиток | у броні: Фанат A | — |
| 240 | Фанат A | починає оплату | оплата: Фанат A | авторизація |
| 360 | Система | дедлайн оплати минув, результат невідомий: звільнити квиток, позначити «повернути, якщо списано» | вільний | авторизація |
| 420 | Провайдер | webhook: оплата успішна після звільнення: автоматичне повернення | вільний | треба повернути |
| 425 | Провайдер | той самий webhook ще раз: ігнорується за id події | вільний | треба повернути |
Ніхто не отримує неоплачений квиток, і ніхто не лишається в підвішеному стані. Фанату A приходить автоматичне повернення й чесне пояснення.
П’ять правил, які приводять до третього результату:
- Щойно стартує оплата, переводьте квиток у стан
pending(«оплата триває») із чітким дедлайном, щоб звичайний повільний платіж не втратив місце через таймер броні. - Коли спливає дедлайн, запитайте статус у провайдера. Якщо результат досі невідомий, звільніть квиток і позначте замовлення «повернути, якщо списано». Ніколи не повторюйте списання через іншого провайдера після таймауту — перший уже міг зняти гроші.
- Додавайте ключ ідемпотентності до кожного виклику, а webhook-и дедуплікуйте за id події: від провайдера вони можуть прилетіти двічі й у довільному порядку.
- Пишіть зміну стану й подію в outbox однією транзакцією, а квитки та повернення нехай обробляє фоновий процес — тоді падіння сервісу не лишить оплачене замовлення без квитка.
- Звіряйтеся з провайдером, коли вляжеться пил. Будь-яке списання без квитка чи повернення — це баг, і знайти його має ваш звіт, а не обурений покупець.
Контролер допуску має стежити й за цим шлюзом. Коли платежі гальмують, черга незавершених оплат роздувається і заморожує запас, тож обмежуйте допуск ще й кількістю платежів у процесі, а не лише сесіями.
8. Сам день: вхід і перевірка без зв’язку
Коли йдеться про 70 000 глядачів, про вхід зазвичай згадують побіжно. Але за масштабу 300 000 це вже окрема система, і вузьке місце в ній — самі люди, а не розпізнавання QR-кодів.
| Секунд на перевірку людини | Одна смуга, людей на секунду | Смуг, рівномірний прихід | Смуг, пік |
|---|---|---|---|
| 6 | 0,117 | 239 | 858 |
| 10 | 0,070 | 397 | 1 429 |
Навіть якби натовп заходив рівномірно протягом 3 год, перевірка тривалістю 6 с усе одно потребувала б чимало смуг — 239. Та рівномірно люди не приходять: якщо 60% підтягнуться за останні 30 хв, смуг знадобиться 858, а з оглядом сумок (10 с на людину) — уже 1 429. Кожна смуга — це персонал, сканери й огорожі, тож найдешевший спосіб зменшити цю цифру — розвести потоки: задати часові вікна й закріпити конкретний вхід на квитку.
Далі в гру вступає мережа. Підписаний QR-код доводить лише те, що квиток справжній, але не гарантує, що ним ще не скористалися. Щоб це перевірити, сканер має звернутися до спільного джерела, а коли входи втрачають зв’язок між собою, питати ні в кого. Не існує архітектури, де два ізольовані входи і продовжують пускати натовп, і гарантують, що копія квитка спрацює лише раз. Доводиться обирати компроміс під кожен режим відмови:
| Як перевіряє вхід | Працює, поки | Одноразовість гарантовано | Ціна |
|---|---|---|---|
| Онлайн, через центральну базу | на території є інтернет | Скрізь | Немає інтернету — немає входу |
| Локальний сервер на території, спільний для всіх сканерів | на території працює власна мережа | На всій території | Локальну мережу треба збудувати, заживити й продублювати |
| Кожен сканер окремо, підписаний QR-код | не сів акумулятор | Лише в межах одного сканера: копія спрацює на іншому вході | Скриншоти й копії проходять по разу на кожному вході |
| Квиток прив’язано до одного входу | на цьому вході працює локальна мережа | У межах цього входу | Менше свободи для відвідувачів, більше вказівників |
На практиці зазвичай комбінують таке: локальний сервер на майданчику для всіх сканерів із центральною системою в резерві, динамічні коди в застосунку проти скриншотів та іменні квитки з вибірковою перевіркою. У такому разі квитку потрібен номер версії — щоб після передачі іншій людині старий код встигли відкликати до відкриття входів.
9. Альтернатива, що прибирає сплеск
Навіть із чесною чергою живий продаж змушує всю платформу, разом із платіжним провайдером, тримати пік 37,4 хв, а мільйони людей увесь цей час дивляться на чергу, з якої більшість так і не вийде. Вікно реєстрації й жеребкування переносять удачу на дні до продажу, а оплати розтягують на дні після.
| Живий продаж із чергою | Реєстрація і жеребкування | |
|---|---|---|
| Входів на секунду в пік | 2,78 тис./с | 8,27/с |
| Час до розподілу квитків | 37,4 хв | 13 дн |
| Платежів на секунду | 167/с | 0,868/с |
| Раундів пропозиції | 1 | 3 |
Якщо розтягнути реєстрацію на 7 дн., потік входів падає з 2 778/с у лобі до приблизно 8,27/с. Переможці оплачують квитки протягом 48 год зі швидкістю близько 0,868/с — платіжний провайдер цього навіть не відчує. Повторна пропозиція неоплачених замовлень (кількість раундів — 3) майже нічого не лишає непроданим. Платити доводиться часом і комунікацією: фанати чекають на результат кілька днів, а правило «одна людина — одна заявка» повертає на стіл перевірку особи. Якщо озвучите такий варіант на інтерв’ю, покажете, що вмієте працювати з вимогами, а не лише малювати схеми.
Останні дві хвилини
- 300 000 — це не схема залу. Почніть із питань: що саме рахуємо, як швидко треба розпродати й що відбуватиметься на вході.
- Пропускну здатність тримають три шлюзи: сесії, платіжний провайдер і ядро інвентарю. На стандартних лімітах провайдера допуск падає до 34,7/с, тож домовляйтеся наперед — мінімум за 6 тиж.
- Більше квитків не навантажує ядро — його навантажує бажання продати швидше.
- Сайт здається розпроданим уже через 9,98 хв, коли 47% запасу просто лежить у бронях. Пускайте людей, лише поки є вільні квитки, і показуйте бронь як бронь.
- П’ять мільйонів людей опитують один кешований курсор; до ваших серверів доходять лише ті, чия черга настала, — 333/с.
- Розбийте вільний вхід на квоти, кожна з яких володіє своєю часткою, і безпечно перекидайте залишки, коли одна порожніє.
- Абонемент бронює всі свої дні разом — усе або нічого — і завжди в одному порядку.
- Дайте платежу стан «оплата триває» з чітким дедлайном, а будь-яке запізніле списання автоматично повертайте.
- Закладайте потрібну кількість смуг на піку (858) і заздалегідь погодьте гарантію на випадок втрати зв’язку.
- Коли попит у рази перевищує пропозицію — запропонуйте жеребкування.