До роботи з перенесення даних у команді начальника відділу цифрової інфраструктури ХДУ Олександра Лемещука залучили наших колег Ігоря і Євгена — випускників і колишніх співробітників університету. Ректор ХДУ та Academic Advisor DataArt Олександр Співаковський разом з нашими колегами розповіли про умови роботи і технічні складності міграції.
Перенесення даних було вимушеним і терміновим. Тому, за словами колег, масштабувати їхній досвід без поправок не можна. Але нестандартний кейс ХДУ дає уявлення про роботу під тиском, релевантне для системних адміністраторів, DevOps-інженерів і команд розробки.
Олександр Співаковський, ректор ХДУ, Academic Advisor DataArt:
«105 років тому, 1917 року, через загрози Першої світової війни до Херсона евакуювався вчительський інститут з Юр'єва. 60 студентів, 8 викладачів і 455 пудів речей почали писати історію майбутнього Херсонського державного університету.
У квітні 2022 року через окупацію Херсонщини ХДУ було переміщено до Івано-Франківська. Ми виїжджали, намагаючись зберегти людей і «багаж» — 9 ТБ інформації. Ми втратили фізичну інфраструктуру в Херсоні (будівлі, обладнання), але зберегли цифрову та інтелектуальну власність, людей і репутацію».
Обидва наші колеги, Ігор і Євген, уже понад 30 років працюють у IT. Ігор навчався на фізматі за фахом «Математика та інформатика», випустився 1995 року, 2000-го — пройшов магістратуру. Євген 1998 року став магістром фізики твердого тіла і здобув фах вчителя фізики, математики та інформатики. Євген і Ігор разом працювали в інформаційно-обчислювальному центрі ХДУ і практично з самого початку брали участь у створенні IT-систем університету. Після переходу в DataArt колеги продовжували допомагати університету і під час окупації допомогли зберегти всю його інформацію і цифрову інфраструктуру.
Євген:
«Всі IT-системи ХДУ будували ми з Ігорем протягом майже 20 років. Звісно, ми знали структуру і те, як вона працює. Саме тому нас попросили зробити це».
Олександр Співаковський:
«У перші дні вторгнення одним із наших пріоритетів було збереження цифрової інфраструктури, без якої не можуть працювати бізнес-процеси університету. Наприкінці березня 2022 року постало питання захисту інформації, персональних даних, необхідності уникнути ризиків під час проведення підсумкової атестації і вступної кампанії при тимчасовій окупації. Ми мали враховувати обмеження в адмініструванні, доступі до реєстрів Єдиної державної електронної бази з питань освіти (ЄДЕБО), фактор безпеки».
Ігор:
«Ми мали розділити внутрішні і публічні сервіси університету, незважаючи на те, що вони працювали на одному фізичному сервері. Для цього ми організували віртуальні LAN і DMZ мережі: співробітники університету отримували доступ до віртуальної LAN за допомогою Dial-up VPN, а на серверах у DMZ змінювали правила файрволів».
Робота з перенесення інформаційних ресурсів університету у хмару розпочалася наприкінці березня. У квітні центр управління ХДУ перенесли до Івано-Франківська, розгорнувши офіс на базі Прикарпатського національного університету імені Василя Стефаника. Але фактично команда продовжувала працювати у форматі двох офісів (до захоплення будівель університету росіянами 14 червня). Евакуюватися без зелених коридорів було неможливо, тож 40% команди протягом усього часу окупації залишалися у Херсоні.
Про умови роботи
Олександр Співаковський:
«Більшість інформації ХДУ зберігалася на серверах у головному корпусі: персональні дані, корпоративна пошта, документація, робочі документи, програмні засоби, системи дистанційної освіти, спеціальні видання, офіційний сайт, сайти структурних підрозділів, віртуальний музей ХДУ тощо. Загалом 24 ресурси.
Перед нами стояло завдання максимально зберегти все та не надати доступу до даних окупантам. Відділ цифрової інфраструктури працював цілодобово, нам допомагали студенти та волонтери із місцевих ІТ-компаній. Був період проблем із інтернетом, бо його глушили. Ми були змушені працювати вночі. Близько 20 діб команда цілодобово перебувала в університеті. Враховуючи комендантську годину та постійні об'їзди вулиць військовими, коли у вікна, де горіло світло, світили прожекторами, все було дуже непередбачувано».
Євген:
«Робота з перенесення інформації займала дуже багато часу. Я цілими днями працював безпосередньо в ХДУ, і водночас мав бути в офісі DataArt — благо вони знаходяться в чотирьох хвилинах ходьби один від одного. На ніч їхав додому до родини, а в університеті залишався Олександр Лемещук, будівля університету також працювала як бомбосховище.
Після захоплення університету російською владою я переїхав працювати в гараж — у квартирі не було інтернету. Працював у стані стресу, що, звісно, дуже знижувало працездатність — мене шукали, була велика ймовірність, що за мною прийдуть військові. Але завдяки начальниці відділу кадрів ХДУ (щиро їй дякуємо!) наші з Ігорем особисті справи не потрапили до рук росіян і за нами ніхто не прийшов. До цього приблизно такий самий стрес пережив на самому початку окупації, коли 1 і 2 березня піші війська в 3–4 шеренги з відстанню 10–12 метрів одна від одної прочісували все місто».
Ігор:
«Я перебував у Херсоні протягом усього часу окупації і зараз продовжую працювати тут, хоча офіс було закрито, більшість колег роз'їхалися по Україні та іншим країнам, а місто продовжують обстрілювати. Під час перенесення даних працював дистанційно (2 роки коронавірусу допомогли налагодити роботу з дому).
Було досить напружено: допомагати університету доводилося ночами й вечорами — паралельно йшла евакуація IT-ресурсів українських офісів DataArt, робочий час був зайнятий. До того ж було неможливо нічого планувати: ситуація постійно змінювалась, було багато новин і всі погані. Але робота допомагала мені долати стрес — я міг зосередитися на проблемах, які міг розв’язати».
Про команду
Євген:
«Переносити дані почали з кінця березня. Склад команди був мінімальний, лише декілька людей. З боку університету роботу координував начальник відділу Цифрової інфраструктури ХДУ Олександр Лемещук: він ставив і розподіляв завдання, забезпечував взаємодію з адмінами в Івано-Франківську та займався перенесенням поштового сервера на платформу Gmail.
Всю іншу технічну та дослідницьку роботу провели ми з Ігорем, він же розробив стратегію міграції. Міграцій по суті було дві: з березня по травень в Івано-Франківськ, з серпня по листопад — в Azure.
Ще троє наших колег із DataArt (теж випускники ХДУ) займалися налаштуванням і адаптацією серверів Linux, які вони підтримували свого часу в університеті».
Про процес перенесення даних
Спершу інформацію перемістили на резервні копії хмарних серверів. Після переміщення центру управління ХДУ в Івано-Франківськ дані завантажили на два сервери, які передав Прикарпатський національний університет. Далі паралельно розгортали сервери і переносили інформацію на сервери Azure.
Ігор:
«На обох етапах міграції треба було поспішати. Десь за 7 років до початку війни університет почав застосовувати технології віртуалізації у своїх системах. Їхнє впровадження проходило повільно, але послідовно. На початок 2022 року більшість сервісів університету було розподілено по віртуальних машинах. Внаслідок цього стратегія міграції звелася до звичайного “lift and shift”, це дозволило переїхати досить швидко.
Єдиний сервіс, який не вдалося врятувати, — це електронна пошта. Цю систему не було віртуалізовано, а обсяг даних був досить великим. Завдяки проректору з інформаційних технологій Наталі Кушнір університет мав підписку Google Workspace for Education, що дозволило перевести співробітників на поштові сервіси Google.
Спринтів як таких не було, ми постійно спілкувалися скайпом, там же розподіляли завдання. Під час першої міграції (до Івано-Франківська) моїми завданнями були:
- трансфер DNS-зон у Microsoft Azure;
- налаштування роутера та VPN-сервера;
- міграція Active Directory, DNS, DHCP;
- зміна налаштувань серверів під оточення в Івано-Франківську.
Під час другої міграції (в Microsoft Azure) я допоміг організувати проєкт міграції з Hyper-V до Azure і налаштувати Azure VPN. Саму міграцію цілком виконав Женя».
Про технічні труднощі
Євген:
«По-перше, цифрова інфраструктура університету розвивалася з 1999 року, тому ми зіткнулися з проблемою старих серверних ОС, які було проблематично перенести на сучасний сервер віртуальних машин, тощо. До того ж не завжди виходило передати за один раз великі обсяги інформації або файли, доводилося по 10–12 годин чекати, щоб перевірити та налаштувати якусь із віртуальних машин. Тому робота тривала набагато довше.
По-друге, я більше технічний фахівець і мав дуже мало досвіду роботи з віртуальними машинами, що, знову ж таки, вимагало більше часу на роботу. (Плюс більше часу було потрібно для роботи в DataArt — я мав персонально працювати з багатьма колегами: налаштовувати особисті ноутбуки для роботи, підготувати понад 300 робочих станцій, які колеги забирали додому.) Але Ігор постійно давав поради, допомагав розібратися в багатьох питаннях. Він організував і побудував мережу на базі віртуальної машини на сервері в Івано-Франківську. Після цього розпочався процес перенесення даних.
Особисто для мене найскладнішим стало перенесення сайту «Херсонський віртуальний університет». До Івано-Франківська його перенести не встигли. Після визволення Херсона 11 листопада я поїхав до ХДУ. Уся мережева інфраструктура була відключена, а сервери — розібрані на запчастини. За 2 тижні я знайшов жорсткий диск із файлами віртуальної машини цього сайту. І лише завдяки досвіду Ігоря ми знайшли спосіб перенести її у хмару. Довелося на своєму особистому комп'ютері встановити досить об'ємний специфічний софт, який дозволив далеко не з першої спроби перенести дані у хмару.
Коли після успішного закінчення кожного етапу я бачив, що наші зусилля не були марними і щось починало працювати, я дуже радів. Особливо коли структура університету запрацювала в Івано-Франківську в повному обсязі, а співробітники і студенти змогли продовжувати роботу й навчання».
Ігор:
«Інфраструктура ХДУ була побудована досить складно: шість корпусів, навчальні аудиторії, системи, що розробляються і підтримуються різними відділами. Через це перенесення даних зайняло набагато більше часу.
В університеті була розвинена система Active Directory: кілька доменів, шість контролерів домену. Через обмеження в ресурсах вирішили врятувати лише один із них. Після міграції на ньому довелося вичищати з бази Active Directory дані про решту серверів і перепризначати ролі. Частину облікових записів користувачів було втрачено, усі їх потім заводили заново.
Спочатку, при міграції до Івано-Франківська, ми переносили навантаження з трьох Hyper-V серверів університету на один сервер — там брак ресурсів відчувався дуже гостро. На частині віртуальних машин ми змінили налаштування, щоб зменшити споживання, жертвуючи продуктивністю. Інша частина просто лежала як бекап на Google Drive, допоки нам не надали другий сервер».
Про міграцію як DevOps-проєкт
Євген:
«Думаю, це можна назвати DevOps-проєктом — крім перенесення інформації, довелося виконати величезну роботу з самими серверами (налаштування, адаптація під змінену структуру, частина серверів у вигляді окремих комп'ютерів тощо). Команда складалася з 3–4-х осіб і двох адмінів в Івано-Франківську, які організували 2 сервери віртуальних машин і хороший інтернет-канал».
Ігор:
«Ops-частина точно була. Допомогло те, що ми добре знали архітектуру вихідної системи і змогли адаптувати її до умов в Івано-Франківську та Azure.
Насправді евакуацію і перенесення даних університету я б назвав не проєктом, а business continuity процесом: нам потрібно було в максимально стислий термін забезпечити роботу основних IT-сервісів університету на серверах, наданих в Івано-Франківську. Ніхто не знав, як скільки часу це займе і скільки ми маємо».
Олександр Співаковський:
«Процес був складний і технічно, і організаційно, але ми впоралися завдяки внутрішнім ресурсам, нашим колегам і волонтерам із DataArt. Ми безмежно вдячні всім. Фактично ми залишили у Херсоні порожнє залізо серверів.
З грудня 2022 року вся наша інформація захищена, а доступ до неї не залежить від блекаутів і проблем зі зв'язком в Україні».
Поради
Євген:
«Важливо розуміти, що розміщення подібних проєктів у хмарі коштує досить великих коштів. Я порадив би перечитати багато інформації і, якщо не маєте досвіду, краще зверніться до фахівців у цій галузі».
Ігор:
«Я не думаю, що ми маємо право давати поради щодо переїзду в хмару на основі цього проєкту. Наше перенесення було вимушеним і спонтанним. Якщо є можливість спланувати переїзд, то, звісно, варто провести аналіз інфраструктури, виокремити компоненти, визначити зв'язки між ними, розбити інфраструктуру на модулі та, де це можливо, змінити архітектуру системи, орієнтуючись на хмарні технології».
