Совместное использование данных на благо устойчивого развития: Информационная система ВМО (ИСВ) 2.0

Приведут ли облачные технологии и машинное обучение к очередному прорыву в области погоды, климата и воды? Выдающиеся успехи в технологии и её использовании, достигнутые в последние несколько десятилетий, безоговорочно изменили то, как мы работаем и живём. Компьютеры сегодня более мощные, чем когда-либо прежде; смартфоны в наших карманах работают быстрее, чем суперкомпьютер Cray-2 в середине 1980-х годов. Девяносто процентов всех существующих данных были созданы в последние два года. Облачные технологии обеспечивают легкодоступную возможность для хранения и обработки огромного объёма данных. Машинное обучение помогает учёным осваивать большие массивы данных и делать новые открытия в областях от сельского хозяйства до геномики и физики элементарных частиц. Пятьдесят пять процентов земного шара в 2018 году пользовались Интернетом, и насчитываются более трёх миллиардов активных пользователей социальных сетей. Чтобы это могло означать для глобальной метеорологической отрасли?

Компании всё больше используют данные и технологию для повышения своей эффективности. Часто эти инновации также вносят вклад в достижение положительного социального эффекта. Например, Глобальная служба рыболовства (https:// globalfi shingwatch.org/) содействует устойчивому использованию океанов посредством изобличения незаконного рыбного лова. Алгоритмы машинного обучения дают возможность выявлять в обширных комплектах данных об отслеживании судов и спутниковых изображениях закономерности, позволяющие определить, когда судно осуществляет лов. Сведения о глобальной рыбопромысловой деятельности публикуются в Интернете в режиме, близком к интерактивной карте. Сегодня любой человек может посмотреть, кто осуществляет лов рыбы и где, и таким образом открываются беспрецедентные возможности для совершенствования управления рыболовством и поддержки правительств в охране морских заповедных зон. 

Метеорологические данные являются критически важным фактором для принятия решений в отношении общественной безопасности, сельского хозяйства, здравоохранения, транспорта и многого другого. Используя новые технологии, национальные метеорологические и гидрологические службы (НМГС) могут более эффективно контролировать, каким образом осуществляется совместное использование их данных и с кем. Они могут использовать по максиму данные, предоставленные глобальным метеорологическим сообществом для обеспечения практичного и эффективного обслуживания для своих граждан и правительств.

Многие НМГС уже работают с партнёрами по разработке программ модернизации, в рамках которых используются новая технология и больше данных, чтобы предоставить улучшенное обслуживание конечным пользователям. Например, Мозамбикский национальный институт метеорологии (МНИМ) разрабатывает усовершенствованную технологию для моделирования в прибрежной зоне, чтобы обеспечивать более качественное обслуживание по предоставлению заблаговременных предупреждений рыболовецким общинам и более эффективно смягчать воздействие суровой погоды на торговлю и судоходство посредством обеспечения готовности с помощью увеличения заблаговременности предупреждений.

Такие требующие большого объёма данных виды обслуживания сильно выигрывают от расширения доступа к новым и более разнообразным источникам данных, от более легкого доступа к вычислительным ресурсам для обработки больших объёмов данных в режиме, близком к реальному времени, и от использования веб-технологий для доведения конечных результатов непосредственно до тех, кому необходимо принимать решения и предпринимать действия. Но все же без обучения и развития потенциала доступность новой технологии и данных не обеспечит предоставления более качественного обслуживания.

Вклад в глобальные повестки дня ООН 

• Повестка дня в области устойчивого развития до 2030 года
• Парижское соглашение об изменении климата

Наше прошлое

Глобальная система телесвязи (ГСТ) была создана в 1970-е годы как один из трёх основополагающих компонентов Всемирной службы погоды (ВСП). Система телесвязи, координируемая на глобальном уровне, была спроектирована, чтобы дать Членам возможность обмениваться данными и продукцией друг с другом для поддержки оперативного прогнозирования погоды. В последние 40 лет по ГСТ успешно осуществлялся обмен крайне необходимыми, критичными по времени данными между НМГС 24 часа в день, 365 дней в году.

Признавая важность метеорологических данных для всех, а не только для НМГС, Конгресс в 2007 году поручил создать Информационную систему ВМО (ИСВ). ИСВ базируется на основе ГСТ и включает её в свою структуру, при этом еще добавляется каталог данных, портал для поиска и выявления данных и дополнительные механизмы для пользователей, чтобы оформить подписку и загружать данные, переданные в ГСТ. В настоящая время Члены обеспечивают деятельность центров, которые публикуют данные и предоставляют обслуживание для удовлетворения национальных и региональных потребностей, а также потребностей программ ВМО. 

Вопрос

Несмотря на предоставление для всех программ ВМО возможностей для более широкого включения и использования данных, а также предоставление доступа к данным из внешних систем, ИСВ рассматривается как инфраструктура для узкой целевой аудитории, которая предлагает доступ к данным только для специалистов из экспертного метеорологического сообщества. Она сконцентрирована на ГСТ и данных, поддерживающих ВСП, таким образом, найти данные, предлагаемые другими программами ВМО и более широким метеорологическим сообществом, может оказаться затруднительным. Это означает, что полномасштабная ценность наших данных, а значит и НМГС, не может быть реализована.

Наше будущее

 ИСВ 2.0 подтверждает первоначальное предназначение ИСВ: открыть доступ к данным и продукции об окружающей среде. Она обеспечит пользователям

 усовершенствованные механизмы для поиска и выявления разнообразной авторитетной информации из широкого круга источников и бесшовного доступа к ней. Эти новшества внесут вклад в достижение целей Реформы ВМО, которые заключаются в повышении действенности и эффективности Организации. 

ИСВ 2.0 позволит повысить статус и доступность данных НМГС, помогая укрепить их роль и значения в качестве авторитетного источника данных о погоде, воде и климате. ИСВ 2.0, предназначенная для поддержки как свободного и открытого обмена данными, так и обмена данными, которые предоставляются на основании коммерческих или ограничительных лицензий, также упростит для НМГС контроль за их данными. Располагая более эффективными механизмами для поиска и использования метеорологических данных, ИСВ 2.0 направлена на оказание поддержки НМГС в предоставлении более качественного обслуживания своим гражданам и правительствам. Они извлекут пользу из большего объёма данных, поступающих из всё более разнообразных и многочисленных источников. 

Реформа управления поддерживает этот более открытый стиль работы. Предлагаемая Комиссия по инфраструктуре (Комиссия по наблюдениям, инфраструктуре и информационным системам) охватит все области деятельности и окажет поддержку Членам, обеспечив более эффективные механизмы для глобального обмена данными. 

ИСВ 2.0 к вашим услугам

ИСВ 2.0 — это, скорее, эволюция, чем революция: функции центров ИСВ и большая часть функций сегодняшней ИСВ в основном не изменились. Суть изменения заключается в том, чтобы использовать Всемирную паутину (веб) для обмена данными и информацией. По мнению Консорциума Всемирной паутины (W3C), «Всемирная паутина является самой успешной в мире распределенной информационной системой». В обзоре ВМО относительно возникающих проблем в области данных отмечено, что веб-сервисы являются одной из технологий, «представляющей новые концепции функционирования, которые позволят повысить эффективность работы, обмен информацией и предоставление обслуживания, и дадут пользователям возможность использовать данные более эффективно». 

В ИСВ-2 участвующие центры будут предоставлять веб-сервисы, которые позволят пользователям осуществлять доступ к данным и работать с ними. Тогда как сегодняшняя ИСВ сконцентрирована на предоставлении оперативных данных, сервисы, которые будут доступны в ИСВ 2.0, также позволят центрам обмениваться историческими данными и получить доступ к архивам, если потребуется, чтобы поддержать потребности всех программ ВМО. Глобальные центры информационной системы (ГЦИС) продолжат координировать обмен данными в рамках своей зоны ответственности, предоставят базовые сервисы, такие как портал для поиска и выявления данных и управление каталогом.

Предоставление данных и продукции в поддержку ВСП в реальном времени остаётся обязательным требованием в отношении ИСВ 2.0. Существующие механизмы обмена данными, используемые в ГСТ, будут дополнены современными протоколами передачи сообщений на основе веб-технологий, например такими, которые поддерживают платформы социальных сетей, таких как WhatsApp и Twitter. 

ГСТ уже использует управляемые региональные сети, известные как зональные сети передачи метеорологических данных (ЗСПМД), которые задействуют высокопроизводительные управляемые сети и Интернет. При использовании таких сетей маршрутизация сообщений между центрами больше не требуется: полномочия по обеспечению маршрутизации с тем, чтобы доставлять сообщения из места происхождения в место назначения, переданы базовой сетевой инфраструктуре. ИСВ 2.0 воспользуется этим изменением и поэтапно откажется от использования таблиц маршрутизации и заголовков бюллетеней.  

ИСВ 2.0, в основе которой лежит веб-технология, будет использовать широко применяемые открытые стандарты и оптимально применять передовой отраслевой опыт. Во-первых, это позволит глобальному сообществу пользователей беспрепятственно осуществлять поиск и  выявлять, иметь доступ и использовать авторитетную метеорологическую, гидрологическую и климатическую информацию. Во-вторых, НМГС будет проще сотрудничать с другими организациями для предоставления обслуживания конечным пользователям в связи с тем, что они используют одну и ту же базовую технологию. 

Предоставление данных с использованием веб не означает автоматически, что эти ресурсы свободно доступны для всех без ограничений на использование. Веб-технологии позволяют, когда это необходимо, провести аутентификацию и авторизацию: поставщик сохраняет контроль над тем, кто может иметь доступ к предоставленным ресурсам и, прежде чем этот доступ предоставить, может потребовать, чтобы пользователи приняли лицензионное соглашение, где указаны положения и условия, в соответствии с которыми эти ресурсы могут быть использованы. 

В подходе к осуществлению ИСВ 2.0 предложены одиннадцать технических принципов, чтобы направлять эволюцию ИСВ в соответствии с тем, как изложено выше. 

Использование больших данных и облачных технологий

Спутники, радиолокаторы и численные модели предоставляют данных больше, чем когда-либо прежде, в то же время Конгресс ВМО в 2015 г. пришёл к заключению, что большинство Членов недостаточно подготовлены к этому изменению. Для хранения, управления и обработки так называемых «больших данных» необходима дорогостоящая инфраструктура. Другая проблема заключается в том, что объёмы данных становятся такими большими, что уже затруднительно скачивать данные достаточно быстро, чтобы удовлетворить оперативные потребности. 

При проектировании веб-сервисов центрам ИСВ, размещающим большие данные, следует принимать во внимание возможности пользователей для работы с этими данными. Вместо того, чтобы ожидать, что пользователи будут скачивать комплекты данных в полном объёме для обработки на местах, центрам ИСВ следует обеспечить веб-сервисы, которые позволят пользователям скачивать только те данные или информацию, которые им нужны в данный момент. Такие сервисы могут различаться по уровню сложности — от сервисов, позволяющих извлечь поднабор данных для конкретного географического местоположения, до сервисов, позволяющих дистанционно осуществить прогон локальной модели прогнозирования погоды. В обоих примерах данные обрабатываются с помощью инфраструктуры поставщика данных, чтобы получить достаточно небольшой по объёму продукт, который можно без труда скачать и использовать.

В тех случаях, когда обработка данных является сложной, трудоёмкой или требует серьезной адаптации к потребностям конкретного пользователя, центрам ИСВ следует рассмотреть возможность использования облачных технологий для поддержки своих сервисов. 

ИСВ 2.0 не требует использования облачных технологий; скорее, осуществление ИСВ 2.0 стимулирует центры ИСВ внедрять облачные технологии там, где это целесообразно для удовлетворения потребностей их пользователей. Технического требования, предписывающего обязательное использование облачных технологий, не будет. Вместе с тем мы надеемся на постепенное внедрение этих технологий, потому что это имеет смысл.

Облачные технологии по-прежнему являются новыми для многих Членов. Члены обменяются передовым опытом по использованию облачных технологий и деталями их успешного осуществления. Кроме всего прочего, предлагаемая программа осуществления ИСВ 2.0 направлена на обеспечение наращивания потенциала для поддержки внедрения облачных технологий.

Пример осуществления облачных технологий: Хранилище климатических данных программы «Коперник»

По поручению Европейской комиссии Европейский центр среднесрочных прогнозов погоды (ЕЦСПП) ввёл в эксплуатацию Хранилище климатических данных (ХКД) в качестве составной части Службы изменения климата программы «Коперник»

(https://cds.climate.copernicus.eu/). ХКД предназначено для предоставления на базе веб-технологий доступа и возможности работать с петабайтами существующих комплектов климатических данных: данных наблюдений и данных региональных реанализов, а также проекций климата.

ХДК предлагает инструментарий, который даёт возможность разработчикам, используя веб-браузер, писать на высокоуровневом языке программирования python программы для обработки комплектов данных ХДК и визуализировать результаты и тем самым создавать конкретные приложения, которые предоставляются конечным пользователя как веб-сервисы. Принципиально важно то, что программный код приложений выполняется на некоторой частной инфраструктуре облачных вычислений с высокоскоростным доступом к огромным комплектам данных, обеспечивая эластичную¹ масштабируемость для удовлетворения коллективных потребностей пользователей. Используя ХДК, конечные пользователи могут получить ценную информацию на основе климатических данных с минимальными усилиями. 

^[1]Термин «эластичный» имеет важное значение в применении к облачным технологиям, где приложения могут увеличивать или уменьшать использование инфраструктуры в соответствии с коллективными потребностями пользователей

Что будет происходить дальше?

Посредством консультаций с Членами была получена обратная связь, касающаяся подхода к осуществлению ИСВ 2.0. Подход к осуществлению будет обновлён в соответствии с этой обратной связью, и новая версия будет представлена на рассмотрение Конгресса в июне.

После Конгресса в сотрудничестве с НМГС, обеспечивающих деятельность ГЦИС, запланирована дальнейшая разработка технических требований и архитектуры ИСВ 2.0. Эта информация позволит Членам оценить расходы на мероприятия по осуществлению и эксплуатации.

После того, как эта дополнительная информация будет предоставлена Членам, Конгрессу будет предложено уполномочить Исполнительный совет одобрить осуществление ИСВ 2.0.