ДанныеВ этом разделе анализируются доступные на сегодняшний день данные для изучения ок- ружающей природной среды, способы их сбора и обработки. В литературе можно найти исто- рию развития метеонаблюдений в России [7, стр. 6], синоптической метеорологии 19–20 вв. [8, стр. 27–35] и в античное время [9]. В 1967 г. Всемирный метеорологический конгресс принял план Всемирной службы пого- ды (ВСП). С тех пор и по нынешнее время ВСП состоит из трех основных компонентов [8, стр. 53; 10, стр. 8], являясь частью Глобальной сис- темы систем наблюдения за землей (ГЕОСС) [11]: глобальной системы телесвязи (ГСТ), гло- бальной системы обработки данных (ГСОД) и глобальной системы наблюдений (ГСН). Глобальная система наблюдений ВСП. Стационарные наземные метеостанции прово- дят наблюдения за атмосферным давлением, температурой и влажностью воздуха, скоростью и направлением ветра, формой облаков, количе- ством осадков, атмосферными явлениями (ту- ман, гололед и т.п.). Эти же параметры измеря- ются на различных высотах наземными аэроло- гическими станциями вертикальным зондирова- нием атмосферы с помощью радиозондов. Автоматизированные метеостанции – компактные устройства для измерения метеопа- раметров в автоматическом режиме через за- данные промежутки времени. Они могут пере- давать измерения посредством подключения к ЭВМ либо удаленными средствами связи. На кафедре компьютерных систем мони- торинга Донецкого национального технического университета установлена автоматическая ме- теостанция (см. рис. 1), измеряющая температу- ру, относительную влажность, атмосферное давление, направление и скорость ветра, коли- чество осадков каждые 10 минут. Имеется также графическое Windows приложение, которое об- автоматический газоанализатор, измеряющий легчает ввод метеоинформации и передачи дан- концентрации веществ NO2, CO2, SO2. Графики доступны в системе ОМОС (Областная система ных на региональный сервер. Например, на формах размещены списки множественного мониторинга окружающей среды в Донецкой выбора для ввода категориальных признаков, области) [12]. Станция не входит в ГСН ВСП. обеспечивается контроль числовых параметров. Получаемые от оператора значения сохраняют- ся в локальную базу данных под управлением MySQL. При отправке метеоданные кодируются в метеотелеграмму – строку цифр, букв и неко- торых других символов для минимизации тра- фика.
ное время по Гринвичу передают свои измере- ния через Глобальную систему телесвязи (ГСТ) ВСП, которая имеет три уровня [10, стр. 11]. В итоге измерения от всех станций, входящих в сеть ВСП, поднимаясь от уровня к уровню, кон- центрируются в трех мировых центрах данных. Со дня основания ВСП были учреждены Рисунок 1. – Автоматическая метеостан- три мировых метеорологических центра дан- ция кафедры КСМ ДонНТУ ных: в Москве, Вашингтоне и Мельбурне. Национальный климатический
центр По данным Национального климатиче- данных США (National Climatic Data Center, ского центра данных США (NCDC) [13] на тер- NCDC) является одним из мировых центров ритории современной Украины за 73 года данных по метеорологии. Он хранит архивы (1936–2009 гг.) функционировало всего 202 ме- теостанции. Из них сегодня в действии только 47 со средней историей измерений в 60 лет (не считая 9-ти, которые работают с 2004 г.). Для сравнения можно привести погодную приземных, спутниковых и морских климатиче- ских данных приборов, входящих в ГСН ВСП [13]. В частности, через Интернет доступны из- мерения более 20 000 метеорологических стан- ций (см. рис. 2) с 1901 г. по настоящее время с службу Испании, у которой доступны данные шагом до 1-го часа.
галии (Иберийский полуостров) и Балеарских островов с 1970 г. по настоящее время. Станции равномерно распределены по территории на расстоянии от 63 метров до 1 км друг от друга (2005 г.). В Польше таких станций 61, функцио- нирующих с 1999 г. [14, стр. 220]. Не все стан- ции входят в ГСН ВСП. Для сравнения: пло- щадь Иберийского полуострова вместе с Бале- арскими островами соизмерима с площадью Украины в отношении 0.997, а Польша почти в 2 раза меньше Украины [15]. В Украине наземная метеостанция пред- ставляет собой помещение и площадку с обору-
Рисунок 2. – Карта метеостанций, изме- рения которых находятся в базе данных NCDC [4, слайд 21] дованием для измерения метеопоказателей, а также персональным компьютером с программ- ным продуктом «АРМ Метеоролога» [16], раз- работанным Харьковской компанией АО «Спе- циальные системы связи». Станция обслуживается человеком-
Уровень национальной сети метеороло- гической телесвязи функционирует в пределах каждой страны. Например, метеостанции До- нецкой области передают свои измерения в До- оператором, который регулярно снимает метео- нецкий гидрометеоцентр. Также в Донецк по- показания с приборов на площадке наблюдения. АРМ Метеоролога разработан с исполь- зованием языка программирования Delphi. Это ступают данные из Луганского гидрометеоцен- тра. Данные из Донецка поступают в Харьков, а оттуда в Киев [17]. Уровень региональных сетей метеороло- гической телесвязи объединяет национальные сети, а уровень главной сети телесвязи пред- ставляет собой высокоскоростную сеть, которая связывает три мировых центра данных и ряд узлов региональных сетей. Связь в пределах Украинской националь- ной метеосети осуществляется по арендованным аналоговым телефонным линиям в режиме точ- ка-точка. Для областных метеостанций также реализована возможность передачи данных на региональный сервер по GSM связи посредст- вом мобильного телефона (покупается у мо- бильных операторов на общих условиях). Для передачи метеоданных по каналам связи Укра- инской национальной метеосети был разработан специальный протокол. На областном сервере установлен про- граммный комплекс «Бриз» [18], работающий под управлением Linux системы CentOS. «Бриз» осуществляет прием метеотелеграмм от областных метеостанций и передает их на сле- дующий уровень национальной метеосети. При этом выполняется проверка метеотелеграмм на искажения при передаче, привлекая оператора, в случае необходимости. Также «Бриз» выполняет мониторинг состояний линий связи и участвует в приеме данных для «АРМ Синоптика». Российская Федерация получила финан- сирование от Международного банка реконст- рукции и развития (МБРР) в сумме, эквивалент- ной 80 млн. долларов США [19] на техническое перевооружение всей наземной метеорологиче- ской наблюдательной сети Росгидромета. По результатам конкурса исполнителем проекта является компания ЛАНИТ. Конкурс проводился Фондом "Бюро экономического анализа". Проектом предусмотрены поставка обо- рудования для наблюдательной сети, состоящей из более 1900 объектов, и проведение работ на 240 площадках по всей территории РФ. ЛАНИТ обязуется поставить 210 автоматических стан- ций и более 1600 автоматизированных метеоро- логических комплектов. Для измерения солнеч- ной радиации будет установлена одна актино- метрическая станция. В рамках проекта будет проведена автоматизация 85 региональных ме- теорологических центров, модернизация более 40 центральных и кустовых радирующих стан- ций. Будет установлен широкий спектр совре- менных средств связи: телефонные модемы, GPRS-модемы, устройства широкополосного доступа, низкоорбитальные спутниковые моде- мы, VSAT-терминалы, радиомодемы и др. на смену обыкновенной телеграфной и междуго- родней телефонной связи и каналам радиосвязи Подобные проекты в таком масштабе в России ранее никогда не проводились [20]. Сбор метеоданных об океане. Мировой океан, занимая 3/4 поверхности планеты, играет ключевую роль в атмосферной циркуляции. Считается, что при долгосрочном прогнозе кли- мата1, взаимодействие между атмосферой и океаном служит наибольшим источником точ- ности прогноза (skill) [35, стр. 498], поскольку океан – главный источник влаги, поступающей в атмосферу и огромный тепловой резервуар [8, стр. 42]. В океане метеоданные получают с ост- ровных гидрометеорологических станций (в основном не отличаются наземных станций), судов погоды (оснащены необходимой аппара- турой и средствами связи) [8, стр. 42], судов добровольного наблюдения и разного вида буев [21, стр. 147]. Дрейфующие буи измеряют температуру и горизонтальную скорость поверхности океана. Они следуют за поверхностными течениями и передают данные своих измерений через спут- никовую систему АРГОС. Заякоренные буи измеряют температуру, соленость, горизонтальное течение и биологи- ческие параметры на различных глубинах. Вер- тикальные профили температуры и солености измеряются обрывным батитермографом во время океанографических рейсов. Вертикально ныряющие буи Арго изме- ряют профили температуры и солености, по ме- ре того, как они опускаются и поднимаются в океане. Данные передаются через АРГОС во время нахождения буя на поверхности. Хотя и реализуются многочисленные программы по контактному наблюдению за океаном, все же горстка существующих буев не позволяет выполнить глобальный комплексный мониторинг океана. Спутниковые наблюдения предостав- ляют информации об океане и суше, собрать которую с поверхности планеты невозможно. Эти системы обладают широким обзором тер- ритории. Космический компонент ГСН ВСП со- стоит из трех типов спутников: метеорологиче- ские низкоорбитальные, геостационарные и экспериментальные [10, стр. 9]. Спутники ТОПЕКС/Посейдон, Ясон-1, ЕРС-2, ЕНВИСАТ способны измерять цвет океана (концентрацию зоопланктона на поверхности) и уровень моря. Большой интерес для исследования ок- ружающей природной среды представляют спутники Национального управления США по исследованию океанов и атмосферы (National Oceanographic and Atmospheric Administration, NOAA). Спутник NOAA имеет высоту орбиты
1 Вероятностный прогноз на месяц с периодом упреждения 1⁄2 месяца и на 3 месяца с периодами упреждения от 1⁄2 месяца до 12.5 месяцев с шагом в 1 месяц [35, стр. 496]. 122]. На борту спутника установлен усовер- Например, анализатор условий произрастания сельскохозяйственных культур по всему миру шенствованный радиометр с очень высоким (Crop Explorer), глобальная модель и система разрешением, AVHRR (Advanced Very High Resolution Radiometer). Прибор способен принимать сигнал в ок- не прозрачности атмосферы 10-12 мкм, что по- прогнозирования оползней, система предупреж- дения о пожарах, мониторинг наличия воды вдоль маршрутов перемещения скота для обес- печения сохранности пастбищ и другие проекты зволяет оценивать температуру поверхности [28, стр. 26].
ближней инфракрасной областях спектра, что позволяет рассчитывать индексы растительно- сти. При этом прибор имеет разрешение 1.1 × 1.1 км и ширину полосы обзора 2800 км. Он способен составить полное изображение земли за одни сутки [22, стр. 94–96]. NDVI (Normalized Difference Vegetation
RED 8\% NIR 50\%
NIR 40\% RED 30\% Index) – нормализованный относительный ин- декс растительности, показатель количества фотосинтетически активной биомассы (обычно называемый вегетационным индексом). Данный индекс используется для решения задач оценки Рисунок 3. – Степень поглощения и от- растительного покрова [23]. Вычисляется по ражения видимого красного (RED) и инфра- формуле NDVI = (NIR – RED)/(NIR + RED), где NIR и RED – отражения в ближней инфракрас- ной и красной области спектра соответственно. Расчет основан на том, что в красной об- красного (NIR) излучений разными видами рас- тительности ласти спектра (0,6-0,7 мкм) лежит максимум Проект Crop Explorer предоставляет от- поглощения солнечной радиации хлорофиллом высших сосудистых растений, а в инфракрасной крытый доступ к данным по атмосферным осад- кам по всему миру, в том числе и по Украине. области (0,7-1,0 мкм) находиться область мак- Данные можно визуализировать в системе симального отражения клеточных структур лис- та. Google Планета Земля в [29]. трехмерном режиме Области со здоровой либо густой расти- тельностью поглощают большую часть видимо- го света и отражают большую долю инфракрас- ного излучения, а нездоровая либо разреженная растительность отражает больше видимого све- та и меньше инфракрасного. NDVI позволяет различать и анализировать виды растительности [24], см. рис. 3. Первичная нетто-продукция (Net Primary Production, NPP) выражает количество CO2, ко- торое поглощается из атмосферы и перерабаты- вается растениями [25]. Временные ряды NPP Архивы повторного анализа (reanalysis archives). Данные за историю метеонаблюдений получены разными приборами и способами, имеют разный характер (например, температура почвы в точке и температура водяного пара об- лаков над территорией), неравномерно распре- делены во времени и в пространстве и хранятся в разных форматах. Кроме того, в данных могут присутствовать неточности, погрешности и пробелы. Весь набор информации трудно исполь- зовать, не проведя ее систематизацию. для территорий отражают изменения в земле- Концепция архива повторного анализа пользовании (например, застройку территории), реакцию растительности на изменчивость кли- возникла из потребности предоставить сообще- ству исследователей климата целостный ретро- мата (в том числе пожары и засухи) и изменения спективный ряд метеорологических состояний в объёме биомассы, которая является индикато- ром пищевой безопасности региона [26]. Потенциальная эвапотранспирация (Po- tential Evapotranspiration, PET) – количество во- ды, которое может быть испарено растениями планеты, восстановленных на основе всех соб- ранных данных за десятки лет метеонаблюде- ний. В 1996 г. появился первый в своем роде архив повторного анализа NCEP/NCAR Reana- при ее достаточном наличии. Измеряя PET lysis версии 1 (R1) [30, 31], созданный совмест- можно неявно оценить показатели, от которых она зависит: тип почвы, глубины влаги в ней и тип растительности [27]. ными усилиями Национальных Центров США по Предсказанию Окружающей Среды и Иссле- дованию Атмосферы (National Center for Envi- Спутниковые данные позволяют NASA ronmental Prediction, NCEP and National Center реализовывать общественно полезные проекты. for Atmospheric Research, NCAR). Были восстановлены поля атмосферных
Ячейка Область Самой знаменитой телеконнекцией счи- тается Эль-Ниньо (El Niño, с исп. «младенец Христос») – появление аномально теплой воды на поверхности океана у берегов Перу в декабре или на Рождество (отсюда и название) [38, стр. 153]. Точность сезонного прогноза климата в большой степени зависит от точности прогноза наступления и степени Эль-Ниньо [39]. Боль- шинство телеконнекций связано с океаном, по- этому он вызывает основной интерес при их поиске.
Узел Рисунок 4. – Упрощенная иллюстрация представления данных на широтно-долготной решетке Усвоение (ассимиляция) данных (data as- similation) – набор статистических и численных методов комбинирования всех доступных ме- теоданных для их интерполяции на регулярную широтно-долготную решетку. Цель усвоения данных – как можно точ- нее определить состояние атмосферы в задан- ный момент времени [32, стр. 136]. Полный объем архива составляет 2.9 Те- рабайта (по состоянию на август 2009 г.). Архив содержит более 80 различных переменных (включая атмосферное давление на уровне моря, влажность воздуха, солнечную радиацию) в не- скольких координатных системах с 1948 г. по нынешнее время [31]. Вторая версия архива под названием NCEP–DOE AMIP R2 отличается исправлен- ными ошибками и использованием новых сис- тем ассимиляции данных [33]. При этом архив содержит данные для более короткого срока – с 1979 г. Поиск телеконнекций В метеорологии телеконнекция (telecon- nection, дальняя корреляционная связь) – суще- ственное одновременное колебание климата в разных довольно далеко расположенных друг от друга географических районах [34, стр. 38]. Знания о телеконнекциях используются Центром Прогноза Климата (Climate Prediction Center, CPC) для сезонного и долгосрочного прогноза климата [35, стр. 497], изучения и про- гноза загрязнений атмосферного воздуха [36], построения систем оповещения о приближении суровых погодных условий [37]. Рисунок 5. – Пояса ветров над Мировым океаном [38, стр. 29]
Рисунок 6. – Повышение уровня моря под действием пассатов [38, стр. 152] Бывают периоды, когда происходит рез- кое ослабление пассатов. Большая возвышен- ность теплой воды у Азиатских берегов более не может удерживаться такими слабыми ветрами и устремляется назад. Для Индонезии, Австралии и юго-восточной Африки значительные явления Эль-Ниньо вызывают суровые засухи и опусто- шительные лесные пожары. Для Эквадора, Перу и Калифорнии оно приводит к обильным лив- Климатическая система может содержать ням и ураганам, которые часто вызывают на- потенциально неизвестные ученым телеконнек- воднения и оползни. Сильные всплески Эль- ции, для поиска которых климатологи исполь- Ниньо приносят тысячи смертей, разрушают зовали эмпирические ортогональные функции дома людей и причиняют миллиарды долларов (Empirical Orthogonal Functions, EOF) [34, стр. убытка мировой экономике [40]; конкретный 44–47]. пример в [38, стр. 153] для Эль-Ниньо 1972 г. Программный продукт NASA World Wind [41] способен в анимированном трехмерном режиме визуализировать аномалии температу- ры океана, полученные со спутника, во время Эль-Ниньо. Сам Эль-Ниньо является следствием ещё более крупномасштабного Южного колебания В работах [45, 46] выполнен поиск теле- коннекций с помощью кластеризации. Подход мотивируется тем, что возникающий климати- ческий феномен захватывает существенную об- ласть океана либо суши, величина атмосферного давления либо температуры в которой однород- на. Кластеризация разбивает множество объ- (Southern Oscillation) – тенденции повышения ектов на группы (кластеры), таким образом, атмосферного давления над Тихим океаном, при чтобы объекты в одном кластере были более его падении над Индийским океаном [42] (что и вызывает ослабление пассатов). В свою очередь, Южное колебание вызывается процессами пла- нетарного масштаба: взаимным расположением планет, солнца и луны [43, стр. 679–682]. Для наглядного представления поведения известных колебаний и вызываемых ими теле- коннекций пользуются простыми в построении климатическими индексами океана – времен- близки друг к другу, чем к объектам из других кластеров [47, стр. 490]. Значения временных рядов климатиче- ской переменной для ячеек широтно-долготной решетки представляются в виде векторов и по- даются на вход алгоритму кластеризации SNN. Хотя вектора не содержат информации о коор- динатах своих ячеек, в один кластер попадают соседние ячейки, формируя непрерывные ре- ными рядами климатических переменных, из- гионы благодаря пространственной автокорре- меренных для участков океана, в которых пе- риодически проявляются аномалии климата [6, ляции.
Алгоритм кластеризации SNN
(Shared стр. 287–295]. Индексы, построенные на основе темпе- Nearest Neighbor) представляет вектора в виде вершин графа и определяет меру близости меж- ратуры поверхности океана либо давления на ду двумя вершинами на основе количества их уровне моря, называют климатическими индек- сами океана (Ocean Climate Indices, OCI). Например, для Южного колебания тради- общих ближайших соседей. Плотность региона вокруг вершины оценивается её суммарной бли- зостью к своим ближайшим соседям. На основе ционно используется разница атмосферного этого алгоритм сохраняет ребра в однородных давления на уровне моря между Дарвином (Ав- по плотности районах и удаляет ребра в пере- стралия) и Таити (см. рис. 7); отрицательные ходных зонах. Для одного кластера определяют- значения индекса соответствуют появлению ся несколько представительных вершин (имею- феномена Эль-Ниньо. щие наибольшую связность) [48, стр. 3–4]. Перечисленные особенности позволяют
регионы с однородной плотностью), форм и размеров. Алгоритм также не кластеризует все вершины, классифицируя некоторые как шумы и выбросы, и автоматически определяет «есте- ственное» количество кластеров в зависимости от данных и заданных параметров. Алгоритм использует пороги ݇, ߆ଵ , ߆ଶ, ߆ଷ (подробнее шаги 2, 5, 6, 7 соответственно) и
работает следующим образом [48, 49, 50]. 1. Построение графа подобия. Вычислить расстояние между всеми парами входных век- торов и построить полный граф, в котором вер- шины представляют собой вектора, а веса рёбер – расстояние между ними. Пусть ܣ݆݀ሾ݅ሿ – список смежности верши- ны ݅, |ܣ݆݀ሾ݅ሿ| – количество элементов в списке ܣ݆݀ሾ݅ሿ, ܣ݆݀ሾ݅ሿሾ݆ሿ – индекс вершины на позиции ݆ тра [44]) в списке смежности вершины ݅, ݓሺ݅, ݆ሻ – вес ребра ሺ݅, ݆ሻ. 2. Разрежение графа подобия. Для каждой вершины ݅ упорядочить список ܣ݆݀ሾ݅ሿ по воз- растанию весов ребер: ݓሺ݅, ܣ݆݀ሾ݅ሿሾ݆ሿሻ ݓሺ݅, ܣ݆݀ሾ݅ሿሾ݆ 1ሿሻ, ݆ = 0. . |ܣ݆݀ሾ݅ሿ| െ 1. Удалить хвост списка ܣ݆݀ሾ݅ሿ, оставив первые ݇ элемен- тов. 3. Построение графа Общих Ближайших Соседей. Удалить вершину ݅, из списка ܣ݆݀ሾ݆ሿ, если ݆ ∉ ܣ݆݀ሾ݅ሿ (такие случаи довольно часты после шага 2, особенно на границах соседних кластеров с разной плотностью). Назначить ка- ждому ребру новый вес: ݓሺ݅, ݆ሻ = ∑∀,:ௗሾሿሾሿୀௗሾሿሾሿ ሾሺ݇ 1 െ ݉ሻሺ݇ 1 െ ݊ሻሿ. 4. Для каждой вершины ݅ вычислить об- щий вес ребер, инцидентных ей: ОВРሺ݅ሻ = ∑ୀ..|ௗሾሿ|ିଵ ݓሺ݅, ܣ݆݀ሾ݅ሿሾ݆ሿሻ. 5. Найти вершины-представители класте- ров ሼ݅: ОВРሺ݅ሻ ߠଵ ሽ. 6. Найти вершины, представляющие со- бой шум и выбросы ሼ݆: ОВРሺ݆ሻ ൏ ߠଶ ሽ и удалить их из графа. 7. Удалить все ребра с весом ൏ ߠଷ. 8. Удалить все вершины, которые не яв- ляются вершинами представителями, либо не соединены хотя бы с одной из них. Найти все связные компоненты графа. Они будут резуль- тирующими кластерами. Время работы алгоритма (из-за шага 1) есть ܱሺ|ܰ|ଶ ሻ, где ܰ – количество входных век- торов, поскольку для многомерных данных нет общей методики быстрого определения ݇ бли- жайших соседей. Для определенных предмет- ных областей возможны методы оптимизации [48]. Центроид кластера – вектор, полученный усреднением всех векторов, вошедших в кла-
Существуют также индексы, основанные на температуре поверхности океана. Например, NINO1+2 вычисляется на основе температуре региона в районе 80° З.Д. – 90° З.Д. и 5° Ю.Ш. – 5°С.Ш, а NINO3.4 в 120° З.Д. – 170° З.Д. и 5° Ю.Ш. – 5°С.Ш [45, стр. 3]. Используя вместо давления температуру поверхности океана, было получено 107 класте-
Рисунок 8. – Кластеры давления на уров- не моря за 1982–1993 гг., полученные алгорит- мом SNN [46, стр. 4, рис. 5] Чтобы оценить влияние центроида кла- стера температуры на сушу, для него вычисля- ется сумма абсолютных значений его корреля- ций со всеми временными рядами ячеек суши. С помощью описанного подхода, удалось получить кластеры (группа G0), центроиды ко- торых которые коррелируют с индексами NINO1+2, NINO3, NINO3.4 и NINO4 в размере > 0.9 [45, стр. 7]. тогда ܿ = , где ܿ , ݕ – ݆-й элемент || вектора центроида ܿ и вектора ݕ кластера ܥ соответственно. Используя в качестве климатической пе- ременной давление на уровне моря, удалось получить временной ряд, коррелирующий с ин- дексом Южного колебания в размере 0.78 [46, стр. 7] путем вычитания из центроида кластера 15 центроид кластера 20 (см. рис. 8). Аналогич- но разница центроидов кластеров 13 и 25 корре- лирует в размере 0.81 с индексом Североатлан- тического колебания (North Atlantic Oscillation, NAO) – одного из важнейших климатических феноменов, оказывающее ключевое влияние на климат Европы и Северной Америки [43, стр. 536–539]. Индекс Североатлантического коле- бания определяется как нормализированная разница давлений на уровне моря между Ponta Delgada (столица Азорских островов) и Stykkisholmur (Исландия).
Рисунок 9. – Кастеры температуры по- верхности океана за 1958–1998 гг., полученные алгоритмом SNN [45, стр. 6, рис. 7]. Разделены на 3 группы: G0, G1 и G3. Число кластеров–107 Также были получены альтернативные версии существующих индексов – центроиды кластеров группы G1, которые вероятно, отно- сятся к тем же климатическим феноменам. Их центроиды более коррелируют с некоторыми областями суши, чем известные индексы. Наконец, получены кластеры группы G3, которые слабо коррелируют с известными ин- дексами, но имеют более высокую корреляцию с некоторыми областями суши, чем сущест- вующие индексы, а значит, могут представлять потенциально новые климатические феномены. К ограничениям описанного подхода можно отнести кластеризацию только по одной переменной и то, что в основном коррелируют только экстремальные явления. Например, корреляция центроидов кла- стеров 20 и 15, в момент проявления Эль-Ниньо высока и гораздо ниже в обычное время. При этом некоторые менее явные либо более кратко- временные телеконнекции могут быть не обна- ружены данным подходом. Одним из решений может быть сравнение только определённых частей временных рядов. Также могут оказаться более адекватными под- ходы, основанные на событиях, например, ассо- циативный анализ (описан в следующем разде- ле). Еще одна особенность телеконнекций – мобильные кластеры, которые также затрудня- ют обнаружение климатических феноменов [51, стр. 3]. Например, NAO возникает через нерегу- лярные интервалы времени и точное располо- жение этого феномена изменяется от месяца к месяцу. Одним из решений по [51] может быть разработка алгоритмов поиска кластеров, кото- рые изменяются во времени. Ассоциативный анализ Традиционно ассоциативные правила оп- ределяются на примере потребительской корзи- ны (market basket) – набора товаров и услуг, приобретаемых на рынке, следующим образом [47, стр. 329–330; 52, стр. 258; 53, стр. 139; 54, стр. 207]. Транзакцией называется набор товаров, приобретенных покупателем за визит. Пусть Υ – множество всех транзакций, ܿݑ݊ݐሺܳሻ = |ሼܶ: ܶ ∈ Υ, ܳ ⊆ ܶሽ| – количество транзакций, в которых содержится набор товаров ܳ. Ассоциативное правило – отношение ви- да ܣ → ܤ, где ܣ и ܤ – наборы товаров, ܣ ് ∅, ܤ ് ∅, ܣ ∩ ܤ = ∅. Ассоциативное правило ха- рактеризуется поддержкой (support), ݏݑሺܣ → ܤሻ = ܿݑ݊ݐሺܣ ∪ ܤሻ⁄|Υ| и достоверностью (con- fidence), ݂ܿ݊ሺܣ → ܤሻ = ܿݑ݊ݐሺܣ ∪ ܤሻ⁄ܿݑ݊ݐሺܣሻ. Для некоторых порогов ݉݅݊ݏݑ и ݂݉݅݊ܿ݊ правило ܣ → ܤ называют часто встречающимся (fre- quent), если ݏݑሺܣ → ܤሻ ݉݅݊ݏݑ, а если вдо- бавок ݂ܿ݊ሺܣ → ܤሻ ݂݉݅݊ܿ݊ то и сильным (strong). Например, если ܣ = ሼМасло, Молокоሽ, ܤ = ሼХлебሽ, ݏݑሺܣ → ܤሻ = 0.45, ݂ܿ݊ሺܣ → ܤሻ = 0.75, то это можно интерпретировать так: «в 45\% случаев покупатель приобретает масло, молоко и хлеб, причем, если покупатель приоб- ретает масло и молоко, то в 75\% случаев он также приобретает хлеб». Ассоциативное правило вида ܣ → ܤ не выражает причинную связь, для утверждения существования которой необходимо знание причинно-следственных отношений. Напротив, оно свидетельствует о частом появлении эле- ментов множества ܣ ∪ ܤ вместе. В работе [55] впервые был выполнен ас- социативный анализ климатических данных. Рассматривались временные ряды температуры, количества осадков, солнечной радиации, а так- же NDVI, NPP, PET и FPAR (Fractional Inter- cepted Photosynthetic Active Radiation), измерен- ные в ячейках широтно-долготной сетки плане- ты. Индекс FPAR вычисляется на основе NDVI. Аномально высокие значения FPAR оз- начают, что растительность проявляет больше светособирающей фотосинтетической активно- сти, чем обычно. Наряду с изучением обычного хода при- родных процессов, климатологи заинтересованы в изучении явлений, которые являются отклоне- нием от нормы. Поэтому из временных рядов выделяются аномальные события, определяе- мые как превышение либо падение значения климатической переменной выше либо ниже ߤ േ 2ߪ, где ߤ – математическое ожидание, а ߪ – среднеквадратическое отклонение. Будем обо- значать эти события префиксами «Выс-» и «Низ-» соответственно. Нас интересуют ассоциативные правила вида «для рассматриваемой территории харак- терны высокие значения PET наряду с низкими значениями Температуры, которые сопровож- даются высокими значениями Солнечной ра- диации в 99.4\% случаев». При поиске ассоциативных правил, сово- купность аномальных событий для региона представляется в виде транзакций с потреби- тельскими корзинами. Главное преимущество такого подхода в том, что можно использовать существующие алгоритмы. Приведенное выше правило можно запи- сать в виде {Выс-PET, Низ-Температура} → {Выс-Солнечная рад}, ݂ܿ݊ = 99.4\%. Пусть транзакцией будет набор аномаль- ных событий ݖ௧ = ሼܧଵ , ܧଶ ,…, ܧே ሽ, которые имели место в момент времени ݐ на интересующей нас территории (считается, что все эти события произошли одновременно). Тогда база данных транзакций будет состоять из всех ݖ௧ .
Алгоритм ܣݎ݅ݎ݅ использует простое свойство меры поддержки: если множество ܳ является часто встречающимся, то любое его подмножество ܳ′ ⊆ ܳ является также часто встречающимся. Действительно, ܳ′ содержится, по крайней мере, во всех множествах, в которых содержится и ܳ, значит ܿݑ݊ݐሺܳᇱ ሻ ܿݑ݊ݐሺܳሻ. Ниже представлено переработанное опи- сание алгоритма на основе [47, стр. 332–349; 56, стр. 1–12]. Обозначим через ܳሾ݅ሿ элемент мно- жества ܳ, который находится на -й позиции в лексикографически упорядоченной последова- тельности элементов ܳ. 1 ݇ = 1 2 ܨଵ = ሼ݂: ݂ ∈ Υ, |݂| = 1, ܿݑ݊ݐሺ݂ሻ/|Υ| ݉݅݊ݏݑሽ 3 повторять 4 ܥାଵ = ሼܺ ∪ ܻ: ܺ, ܻ ∈ ܨ , ܺሾ݅ሿ = ܻሾ݅ሿ, ݅ = 1, … , ݇ െ 1, ܺሾ݇ሿ ് ܻሾ݇ሿሽ 5 для ∀ܿ ∈ ܥାଵ 6 ܭ = ሼݏ: ݏ ⊂ ܿ, |ݏ| = ݇ሽ 7 для ∀ݏ ∈ ܭ 8 если ݏ ∉ ܨ 9 то удалить ܿ из ܥାଵ 10 положить ܿݑ݊ݐሺܿሻ = 0 для ∀ܿ ∈ ܥା 11 для ∀ܶ ∈ Υ 12 ܥ் = ሼܿ: ܿ ∈ ܥାଵ ,ܿ ⊆ ܶሽ 13 увеличить ܿݑ݊ݐሺܿሻ на 1 для ∀ܿ ∈ ܥ் 14 ܨାଵ = ሼܿ: ܿ ∈ ܥାଵ , ܿݑ݊ݐሺܿሻ/|Υ| ݉݅݊ݏݑሽ 15 ݇ = ݇ 1 16 до тех пор, пока ܨ ് ∅ 17 Результат = ⋃ ܨ Рисунок 10. – Алгоритм ܣݎ݅ݎ݅ Вначале (строка 2) генерируются часто встречающиеся синглетоны. Каждая итерация алгоритма (строки 3–16) генерирует множество ܨ – часто встречающиеся множества мощно- стью ݇ (ЧВМ ). Алгоритм расширяет найденные ЧВМ таким образом, чтобы не упустить ни одного ЧВМାଵ и при этом сгенерировать как можно меньше ݇ 1 множеств, которые заведомо не являются часто встречающимися. Для этого в строке 4 генерируются кан- дидаты в ЧВМାଵ следующим образом. Элемен- ты множеств из ЧВМ упорядочиваются в лек- сикографическом порядке и отыскиваются все пары ЧВМ , которые отличаются одним по- следним элементом. Кандидатами в ЧВМାଵ являются объединения найденных пар мно- жеств. Можно было бы расширять каждое ЧВМ каждым ЧВМଵ, получая в итоге |ܨ |ൈ |ܨଵ | кан- дидатов. Если множество ሼܣ, ܤ, ܥሽ ∈ ЧВМଷ, то обязательно также существуют ሼܣ, ܤሽ, ሼܣ, ܥሽ ∈ ЧВМଶ. Поэтому нет необходимости расширять ሼܣ, ܤሽ ∈ ܨଶ множеством ሼܥሽ ∈ ܨଵ либо объеди- нять ሼܣ, ܤሽ, ሼܤ, ܥሽ ∈ ЧВМଶ. Описанный подход в разы уменьшает ко- личество кандидатов |ܥାଵ | в ЧВМାଵ, которое существенно влияет на время выполнения ос- тальной части алгоритма. Можно отсечь некоторых кандидатов в ЧВМାଵ без обращения к базе данных транзак- ций. Для ܳ ∈ ЧВМାଵ обязательно, чтобы все подмножества ܳ мощностью ݇ (генерируются в строках 5–6), были ЧВМ (проверяется в стро- ках 7–9). Заметим, что |ܭ | = ݇ 1, считая те два множества, объединением которых был по- лучен кандидат. Если все подмножества мощностью ݇ кандидата ܳ в ЧВМାଵ являются ЧВМ , то это не гарантирует ܳ ∈ ЧВМାଵ. Для проверки ос- тавшихся кандидатов, выполняется сканирова- ние всей базы данных транзакций (строки 11– 13) и подсчет количества транзакций, в которых содержатся кандидаты. В строке 14 отбираются только те канди- даты, встречаемость которых удовлетворяет пороговому значению поддержки. Алгоритм завершается, если не было найдено ни одного ЧВМାଵ (строка 16), а значит ЧВМା = ∅ для ∀݅ ݇ 1 (гарантируется мо- нотонностью меры поддержки). Результат рабо- ты алгоритма – все часто встречаются вместе наборы товаров. Простым перебором всех товаров ܺ ∈ ܳ легко получить из набора ܳ ∈ ЧВМ|ொ| все пра- вила вида ܳ െ ܺ → ܺ при |ܺ| = 1, проверяя при этом условие ݂݉݅݊ܿ݊ ݂ܿ݊ሺܳ െ ܺ → ܺሻ = ܿݑ݊ݐሺܳሻ/ܿݑ݊ݐሺܳ െ ܺሻ. Случай |ܺ| 1 описан в [47, 54]. В результате были получены следующие ассоциативные правила (показаны первые 4 с наиболее высокой достоверностью) [55, стр. 9]. 1. {Выс-PET, Выс-Осадки, Выс-FPAR, Выс-Температура}→{Выс-NPP}, сonf = 100\%. 2. {Выс-PET, Низ-Температура} → {Выс- Солнечная рад}, conf = 99.4\%. 3. {Выс-PET, Выс-Осадки, Выс-FPAR} → {Выс-NPP}, conf = 98.6\%. 4. {Низ-NPP, Низ-PET, Выс- Температура} → {Низ-Солнечная рад}, conf = 98.0\%. Используя вместо меры поддержки кор- реляцию corr(A,B) = P(A∪B) – P(A)P(B) / sqrt(P(A)(1 – P(A))P(B)(1 – P(B))), где P(Q) = count(Q)/|Y|, удалось получить такие правила: 1. {Низ-FPAR} → {Низ-NPP}, corr = 0.4327. 2. {Выс-FPAR} → {Выс-NPP}, corr = 0.4013 (см. рис. 11). 3. {Низ-Solar} → {Низ-PET}, corr = 0.2752. 4. {Низ-PET, Низ-FPAR} → {Низ-NPP}, corr = 0.1966. Интересна закономерность, когда ано- мально высокие значения FPAR ведут к выше обычным значениям NPP (см. рис. 11). Боль- Прибор AVHRR 4-х функционирующих шинство регионов, которые проявляют такую спутников NOAA, имеет 10-битное квантование закономерность, в основном соответствуют по 5 спектральным каналам и составляет пол- полузасушливым ежегодным пастбищам – типу растительности, которое способно к более бы- ную картину земли за сутки, собирая таким об- разом почти 1.5 Гб данных в день. строму извлечению пользы от периодически Спутник NASA EOS Landsat 7 генерирует сильных осадков, чем леса. 7 Гб/день, а спутник Terra 194 Гб/день. В откры- том доступе находится около 284 Терабайт дан- ных, собранных спутниками NASA EOS [57].
17-ти уровневая ре- шетка с разрешением 2.5°×2.5° со значениями метеовеличин в узлах занимает 194.99 Гб и со-
Рисунок 11. – Регионы, для которых ставляет всего 6.6\% от общего объема архива повторного анализа NCEP/NCAR версии 1. Учитывая, что скорость чтения с диска составляет около 75 Мб/сек, потребуется более 40 минут, чтобы только загрузить эту решетку с диска в последовательном режиме в оператив- ную память. При таких объемах данных вычисление тривиального арифметического выражения, на- пример, среднего, уже является далеко не три- виальной задачей. {Выс-FPAR} → {Выс-NPP} [55, стр. 10, рис. 13] Телеконнекции представляют собой од- новременное изменение климата в разных дале- Заключительные замечания ко расположенных друг от друга географиче-
Когда исследователь в области компью- терных наук проводит эксперименты с алгорит- мом, то он может изменить его входные пара- метры и повторить эксперимент еще раз. В кли- матологии такой характер познания невозмо- ских районах. От поведения Североатлантиче- ского колебания зависит климат Северной Аме- рики и Европы, а от Эль-Ниньо жизни и имуще- ство тысяч людей Южной Америки и Австра- лии. Наиболее раннее упоминание об Эль- жен. На сегодняшний день считается, что опти- мальным способом познания окружающей сре- Ниньо приходится на конец 19 в., когда перуан- ские моряки окрестили этим именем появление ды является сбор максимального количества сведений о ней в единицу времени. Метеорологические данные поступают со у берега необычно теплой воды на Рождество. Сегодня учет этого феномена является ключе- стационарных наземных метеорологических и вым при сезонном прогнозе климата. аэрологических станций, островных станций в Для описание телеконнекций климатоло- океане, погодных судов, судов добровольного ги разрабатывают климатические индексы. На- наблюдения, различного вида подводных и по- пример, индекс Южного колебания, который верхностных буев. коррелирует с периодами и степенью Эль- Наибольшее количество информации по- ступает со спутников, на борту которых уста- Ниньо, доступен с 1876 г. и представляет собой разность атмосферного давления на уровне моря новлены приборы дистанционного измерения между Дарвином (Австралия) и Таити. температуры, влажности, рельефа, цвета и дру- гих параметров, позволяя узнавать о Земле из космоса больше, чем находясь на ней. Несмотря на кажущуюся зрелость и пол- ноту данных о телеконнекциях, до сих пор ве- дется поиск новых индексов и телеконнекций. Например, спутник Национального Дело в том, что до эры дистанционных управления США по исследованию океанов и спутниковых измерений, приходилось пользо- атмосферы (NOAA) оснащён усовершенство- ваться данными стационарных островных ме- ванным радиометром с очень высоким разреше- нием (AVHRR) – 1.1 × 1.1 км. Прибор способен теостанций. Официальной методики вычисления кон- кретных индексов, признаваемых большинством оценивать температуру поверхности океана и принимать излучения в видимом красном и ин- фракрасном областях спектра, позволяя рассчи- исследователей и организаций нет [34, стр. 50]. С доступностью глобальных данных об океане высокого разрешения и открытых архи- тывать NDVI. индексы растительности, например вов повторного анализа, начали появляться дис- Индекс NDVI позволяет узнать о типе куссии об адекватности используемых индек- растительности, почвы, и влаги в ней, характере землепользования, объеме биомассы. сов: скорее всего, существуют другие участки океана, на основе которых можно построить лучшие индексы. Поэтому стали применятся дополнительные индексы, например, NINO1+2, NINO3.4, которые рассчитываются на основе температуры определенных участков океана, при этом индекс Южного колебания стал утра- чивать свою популярность [34, стр. 50–51]. В связи с этим, степень корреляции но- вых индексов для Эль-Ниньо и других климати- ческих феноменов с индексом Южного колеба- ния не свидетельствует о степени адекватности новых индексов. Сам индекс Южного колебания служит лишь описанием феномена Эль-Ниньо, существуя сам по себе. Сегодняшний объем данных не позволяет вручную найти все полезные закономерности. В связи с этим, был выполнен поиск телеконнек- ций с помощью кластеризации. Вся территория океана автоматически, но при этом осмысленно разделяется на области (кластеры) с относи- тельно однородным климатическим поведени- ем. Центроиды найденных кластеров представ- ляют собой временные ряды, в среднем харак- теризующие поведение соответствующих им областей. Одни, из полученных таким образом, центроиды представляют собой уже известные климатические индексы океана и служат под- тверждением правильности предложенного подхода, другие являются альтернативой из- вестным индексам, которые имеют лучшую прогнозную способность для некоторых регио- нов, а третьи потенциально представляют собой новые климатические феномены. Спутниковые данные позволили больше узнать о характере растительного покрова и его реакции на изменчивость климата. С помощью алгоритмов ассоциативного анализа были обнаружены взаимоотношения между аномальными значениями метеорологи- ческих величин и индексов растительности (превышение либо падение значения выше либо ниже заданного порога). Ассоциативные правила представлялись в виде транзакций с потребительскими корзина- ми, что позволило использовать существующие алгоритмы поиска ассоциативных правил, на- пример ܣݎ݅ݎ݅. Полученные таким образом правила представили интерес для климатологов и тре- буют дальнейшего исследования. Однако используемый подход приводит к плотным матрицам транзакций и, следователь- но, занимает существенное время. Также при использовании стандартных мер важности ассоциативных правил не удается получить все интересные и потенциально по- лезные закономерности. Например, при исполь- зовании корреляции вместо меры достоверности были получены другие важные закономерности. Проанализированный подход может быть расширен поиском трендов в обнаруженных ассоциативных правилах. Территория Украины также находится под влиянием телеконнекций. При этом особое воздействие на Украину оказывает Североат- лантическое колебание [58, 59]. Проанализиро- ванные в этой статье методы кластеризации и поиска ассоциативных правил могут найти но- вые потенциально полезные взщаимосвязи меж- ду крупномасштабными процессами и регио- нальным климатом Украины. Это позволит ис- пользовать их для своевременного прогноза па- водок, заморозков, засух и других чрезвычай- ных климатических ситуаций на территории Украины. В 2001 г. группа исследователей в облас- ти компьютерных наук университета Миннесо- ты (США) получили грант НАСА для проведе- ния первого в своем роде исследования климата с помощью интеллектуального анализа данных. Их цель «помочь ученым в области наук о Земле в их усилиях лучше понять» климатическую систему планеты не просто не утратил актуаль- ности за прошедшие десять лет, но и получил новое развитие благодаря совершенствованию способов мониторинга природы нашей планеты. Выводы Впервые в одной статье проанализирова- ны данные и методы их интеллектуального ана- лиза для исследования окружающей природной среды. Наиболее познавательным источником об окружающей среде являются данные дистанци- онного зондирования Земли, которые позволяют узнать из космоса больше, чем находясь на са- мой планете. Разработка систем поддержки принятия решений на основе ДЗЗ – наиболее активная область исследований климата. В Украине развивается система Geo-UA. Целями системы будут оценки возникновения чрезвычайных ситуаций, анализ и прогноз ок- ружающей среды, выработка рекомендаций от- носительно рационального природопользования и решение другие стратегически важных управ- ленческих задач [60, слайд 28]. По перечисленным задачам существует довольно разреженное множество методов ин- теллектуального анализа данных ДЗЗ. Это обу- словлено тем, что до недавнего времени их раз- решение не позволяло детально проанализиро- вать интересующие аналитиков объекты (на- пример, отдельные сельскохозяйственные поля и городские водоемы). Большие объемы данных (сотни тера- байт), актуальность задач поддержки принятия управленческих решений и недостаток методов интеллектуально анализа данных дистанцион- ного зондирования Земли определяют высоко- производительные вычисления и методы обна- ружения изменений (change detection) [61] наи- более актуальными для дальнейшего исследова- ния. Поскольку в контексте программы Geo- UA Украина в этом году (2010) выведет на ор- биту собственный спутник дистанционного зон- дирования Земли Сич-2 [62] с высоким про- странственным разрешением (7 метров), то До- нецкий национальный технический университет способен сделать существенный вклад в разви- тие программы устойчивого развития страны благодаря новым высокопроизводительным ре- сурсам (кластер из 200 ядер по 2.8 ГГц). |
Каждые
6 часов все наземные метеостан- ции мира одновременно в регламентированное
международными соглашениями фиксирован-
870
км, совершает один виток за 102 мин., при котором удается получить информацию с
по- верхности около 3 000 × 7 000 км [22, стр. 120–
океана.
Он также принимает сигнал в видимой и
переменных
на регулярной широтно-долготной многоуровневой сетке, охватывающей всю пла-
нету при помощи ассимиляция данных, собран- ных с приборов на суше, кораблях,
вертикаль- ного зондирования атмосферы (с помощью во- дородных баллонов),
самолетах, спутниках и других данных (см. рис. 4).
находить
кластеры различных плотностей (как
Рисунок
7. – Индекс Южного колебания (по данным Метеорологического Бюро Австра-
лийского Национального Климатического Цен-
стер.
Пусть ܥ –
множество векторов кластера ݅,
∑∈ ௬ೕ
G0 G1 G2
Широтно-долготная |
