СУБД как инструмент хранения и обработки горно-геологических данных недропользователя

Представьте себе объем производственной и геологической информации, которая постоянно поступает, накапливается и хранится хотя бы в рамках одного предприятия: от координат скважин, инклинометрии, геологического описания, каротажа до объемов добываемого полезного компонента, результатов аналитики и различных отчетов. Очевидно, что такой поток данных является колоссальным. Для продуктивного использования всего объема информации, обеспечения целостности и доступности, а также контроля качества необходим инструмент управления и хранения. Таким инструментом в современном мире является система управления базами данных (СУБД).

При отсутствии подобной системы рабочие процессы специалистов, задействованных в информационном потоке, значительно усложняются. Давайте рассмотрим некоторые проблемы, с которыми сталкиваются многие предприятия, и как легко они решаются с применением рабочей системы управления базами данных.

 

Рис: Пример проверки данных на ошибке в режиме онлайн в Geobank Mobile

 ВЫЯВЛЕНИЕ ОШИБОК

Начнем по порядку. Довольно частой проблемой при ручном вводе являются ошибки/опечатки, которые являются неотъемлемой составляющей человеческого фактора. Например, при документировании геологического описания керна или заполнении информации по искривлению скважины специалист может поставить неверно запятую в значении или цифру. В дальнейшем это часто приводит к негативным последствиям, поскольку при моделировании геолог опирается на заведомо недостоверные сведения. При этом восстановить корректные исходные данные бывает довольно затруднительно или вовсе невозможно.

В случае использования системы управления базами данных такие ошибки возможно отсеять уже на этапе ввода информации. Программа Geobank Mobile моментально проверяет введенные данные и подсвечивает пользователю то место, где ошибка была допущена. Кроме того, пользователь просто не сможет загрузить данные в основное хранилище, если в них присутствует ошибка.

ХРАНЕНИЕ, ДОСТУП И ЦЕЛОСТНОСТЬ

Обычно производственные данные хранятся на рабочих компьютерах пользователей в виде огромного набора текстовых и графических файлов, а зачастую сотрудники используют более или менее «свежую» или, что хуже, «свою» версию данных. Таким образом, интерпретация этих данных может получиться также различной и неполной. Несколько лучшей является ситуация, когда для хранения используется сетевой сервер с общим доступом. Однако и в этом случае огрехи также случаются. Объем поступающей информации растет с каждым днем с большой скоростью, поэтому время поиска необходимых данных пропорционально возрастает. Представьте: при хранении данные не структурированы должным образом, лежат скопом в сетевой папке — в таком случае поиск информации может завершиться вовсе безрезультатно. Все это занимает значительное время, а время любого специалиста предприятия, как известно, на вес золота.

Как же организовать систему хранения данных таким образом, чтобы все пользователи работали с единым и полным объемом информации, получали данные оперативно, чтобы информация не затерялась?

Решением является опять-таки использование СУБД, которая по своей структуре выступает единственным местом сбора и хранения всей достоверной производственной информации.

Кроме того, система позволяет настроить права доступа чтения, записи и удаления той или ной информации. Таким образом, при должной настройке каждый пользователь будет работать только с необходимым ему набором данных. Одним из плюсов является возможность выгрузить нужный срез данных в любой формат для использования другим программным обеспечением или настроить автоматический обмен информацией между различными системами.

 СТАНДАРТИЗАЦИЯ

Чаще всего на каждом отдельном предприятии существует собственная, исторически сложившаяся система документирования. В некоторых случаях она бывает очень неудобна для анализа, моделирования и подсчета запасов. Такую проблему наиболее остро ощущают управляющие компании, имеющие большое количество активов. Каждое из подразделений ведет информационный поток «по-своему», прибавляя тем самым объем работы геологам, которым предварительно придется подготовить данные для обработки. Если при этом учесть довольно большую текучку среди специалистов рядового состава, то качество данных при отсутствии утвержденных стандартов данных сильно страдает.

Решение проблемы заключается в стандартизации системы документирования, обмена и хранения. В этом случае существует возможность разработать единый (или практически единый стандарт) базы данных, который будет использоваться всеми предприятиями компании. В этом случае пользователям не придется заниматься проверкой и подготовкой данных для моделирования, что значительно экономит время специалистов на выполнение рутинных операций. Кроме того, большая текучка кадров практически не повлияет на качество поступающей информации. Поскольку все пользователи будут работать по единому стандарту, выполняя инструкции, и это значительно снизит влияние человеческого фактора и произвольного творчества.

 ОБМЕН ИНФОРМАЦИЕЙ МЕЖДУ ПОДРАЗДЕЛЕНИЕМ И ГОЛОВНЫМ ОФИСОМ. КОНТРОЛЬ

Важным является вопрос оперативной передачи информации с предприятия управляющей компании. В лучшем случае получить необходимые данные удается в течение суток. Время отклика и предоставления данных может значительно увеличиться из-за временной разницы между головным офисом и участком ведения работ. Эту проблему особенно остро ощущают крупные управляющие компании. Но порой информация может быть не очень актуальной, или прислали то, что «быстро удалось найти». Подобную ситуацию проконтролировать очень затруднительно.

Используя встроенные инструменты СУБД, существует возможность настройки репликации (синхронизации) между серверами баз данных участка ведения работ и головным офисом с заданным периодом обновления (например, раз в сутки). Это позволяет получать все актуальные данные в автоматическом режиме. Кроме того, имея оперативные данные, можно улучшить контроль за работой специалистов.

 

Рис: Индикаторная таблица внесенной информации по скважинам

 ПЕРСОНАЛИЗАЦИЯ

Сама по себе структура СУБД является довольно сложным инструментом, для работы с которым необходимо иметь определенные навыки и знание встроенного языка запросов SQL (Structured Query Language — язык структурированных запросов), поэтому для рядовых сотрудников работать с базой данных самостоятельно практически невозможно. Для создания комфортной и интуитивно понятной среды был разработан программный продукт Geobank. Он представляет собой графический интерфейс для работы с базой данных. С его помощью пользователи могут в привычном табличном виде заносить информацию в базу данных, в автоматическом виде получать:

• необходимые отчеты (например, геологическая колонка, паспорт скважины и т. д.) и статистику;
• импортировать файлы различных форматов (*.CSV, *.DAT, *.LAS, *.XLS, *.SIF);
• контролировать процесс ведения работ;
• обрабатывать данные в базе данных, при помощи специализированных инструментов (например, корректировать данные геологических интервалов по данным геофизического каротажа);
• а также сопровождать процесс опробования от формирования реестра проб на отправку до получения
• результатов аналитики из лаборатории и построения графиков QAQC (карта Шухарта, диаграмма XY-рассеяния);
• осуществлять выгрузку данных в различные текстовые форматы для работы с другими ПО.

Рис: Диаграмма XY-рассеяния

  Помимо этого, интерфейс программы дает возможность присвоить каждому сотруднику собственный профиль с определенным набором инструментов для решения его функциональных задач. Такой подход максимально упрощает процесс работы с ежедневными данными сотрудника, обеспечивает быструю адаптацию и обучение новых сотрудников.

Рис: Корректировка геологических интервалов по данным геофизики

 РЕЗУЛЬТАТЫ

Подводя итог, можно сказать, что использование функционала СУБД для хранения, анализа и обработки данных значительно упрощает и оптимизирует ежедневную рутинную работу как рядовых специалистов, так и руководителей. В результате предприятие получает единый, актуальный и надежный источник информации, готовый к работе и анализу любыми специалистами. Кроме того, использование СУБД в том или ином виде стандартизирует и систематизирует процесс работы с данными, что является важным аспектом для крупных недропользователей с большим количеством активов.

Наличие подобной системы также экономит время и деньги при подготовке данных для аудита различными консалтинговыми компаниями, делает компанию более привлекательной для потенциальных инвесторов.

Автор: Яремченко Тарас Александрович, 

технический специалист по базам данных ООО «Майкромайн Рус»

Представьте себе объем производственной и геологической информации, которая постоянно поступает, накапливается и хранится хотя бы в рамках одного предприятия: от координат скважин, инклинометрии, геологического описания, каротажа до объемов добываемого полезного компонента, результатов аналитики и различных отчетов. Очевидно, что такой поток данных является колоссальным. Для продуктивного использования всего объема информации, обеспечения целостности и доступности, а также контроля качества необходим инструмент управления и хранения. Таким инструментом в современном мире является система управления базами данных (СУБД).

При отсутствии подобной системы рабочие процессы специалистов, задействованных в информационном потоке, значительно усложняются. Давайте рассмотрим некоторые проблемы, с которыми сталкиваются многие предприятия, и как легко они решаются с применением рабочей системы управления базами данных.

 

Рис: Пример проверки данных на ошибке в режиме онлайн в Geobank Mobile

 ВЫЯВЛЕНИЕ ОШИБОК

Начнем по порядку. Довольно частой проблемой при ручном вводе являются ошибки/опечатки, которые являются неотъемлемой составляющей человеческого фактора. Например, при документировании геологического описания керна или заполнении информации по искривлению скважины специалист может поставить неверно запятую в значении или цифру. В дальнейшем это часто приводит к негативным последствиям, поскольку при моделировании геолог опирается на заведомо недостоверные сведения. При этом восстановить корректные исходные данные бывает довольно затруднительно или вовсе невозможно.

В случае использования системы управления базами данных такие ошибки возможно отсеять уже на этапе ввода информации. Программа Geobank Mobile моментально проверяет введенные данные и подсвечивает пользователю то место, где ошибка была допущена. Кроме того, пользователь просто не сможет загрузить данные в основное хранилище, если в них присутствует ошибка.

ХРАНЕНИЕ, ДОСТУП И ЦЕЛОСТНОСТЬ

Обычно производственные данные хранятся на рабочих компьютерах пользователей в виде огромного набора текстовых и графических файлов, а зачастую сотрудники используют более или менее «свежую» или, что хуже, «свою» версию данных. Таким образом, интерпретация этих данных может получиться также различной и неполной. Несколько лучшей является ситуация, когда для хранения используется сетевой сервер с общим доступом. Однако и в этом случае огрехи также случаются. Объем поступающей информации растет с каждым днем с большой скоростью, поэтому время поиска необходимых данных пропорционально возрастает. Представьте: при хранении данные не структурированы должным образом, лежат скопом в сетевой папке — в таком случае поиск информации может завершиться вовсе безрезультатно. Все это занимает значительное время, а время любого специалиста предприятия, как известно, на вес золота.

Как же организовать систему хранения данных таким образом, чтобы все пользователи работали с единым и полным объемом информации, получали данные оперативно, чтобы информация не затерялась?

Решением является опять-таки использование СУБД, которая по своей структуре выступает единственным местом сбора и хранения всей достоверной производственной информации.

Кроме того, система позволяет настроить права доступа чтения, записи и удаления той или ной информации. Таким образом, при должной настройке каждый пользователь будет работать только с необходимым ему набором данных. Одним из плюсов является возможность выгрузить нужный срез данных в любой формат для использования другим программным обеспечением или настроить автоматический обмен информацией между различными системами.

 СТАНДАРТИЗАЦИЯ

Чаще всего на каждом отдельном предприятии существует собственная, исторически сложившаяся система документирования. В некоторых случаях она бывает очень неудобна для анализа, моделирования и подсчета запасов. Такую проблему наиболее остро ощущают управляющие компании, имеющие большое количество активов. Каждое из подразделений ведет информационный поток «по-своему», прибавляя тем самым объем работы геологам, которым предварительно придется подготовить данные для обработки. Если при этом учесть довольно большую текучку среди специалистов рядового состава, то качество данных при отсутствии утвержденных стандартов данных сильно страдает.

Решение проблемы заключается в стандартизации системы документирования, обмена и хранения. В этом случае существует возможность разработать единый (или практически единый стандарт) базы данных, который будет использоваться всеми предприятиями компании. В этом случае пользователям не придется заниматься проверкой и подготовкой данных для моделирования, что значительно экономит время специалистов на выполнение рутинных операций. Кроме того, большая текучка кадров практически не повлияет на качество поступающей информации. Поскольку все пользователи будут работать по единому стандарту, выполняя инструкции, и это значительно снизит влияние человеческого фактора и произвольного творчества.

 ОБМЕН ИНФОРМАЦИЕЙ МЕЖДУ ПОДРАЗДЕЛЕНИЕМ И ГОЛОВНЫМ ОФИСОМ. КОНТРОЛЬ

Важным является вопрос оперативной передачи информации с предприятия управляющей компании. В лучшем случае получить необходимые данные удается в течение суток. Время отклика и предоставления данных может значительно увеличиться из-за временной разницы между головным офисом и участком ведения работ. Эту проблему особенно остро ощущают крупные управляющие компании. Но порой информация может быть не очень актуальной, или прислали то, что «быстро удалось найти». Подобную ситуацию проконтролировать очень затруднительно.

Используя встроенные инструменты СУБД, существует возможность настройки репликации (синхронизации) между серверами баз данных участка ведения работ и головным офисом с заданным периодом обновления (например, раз в сутки). Это позволяет получать все актуальные данные в автоматическом режиме. Кроме того, имея оперативные данные, можно улучшить контроль за работой специалистов.

 

Рис: Индикаторная таблица внесенной информации по скважинам

 ПЕРСОНАЛИЗАЦИЯ

Сама по себе структура СУБД является довольно сложным инструментом, для работы с которым необходимо иметь определенные навыки и знание встроенного языка запросов SQL (Structured Query Language — язык структурированных запросов), поэтому для рядовых сотрудников работать с базой данных самостоятельно практически невозможно. Для создания комфортной и интуитивно понятной среды был разработан программный продукт Geobank. Он представляет собой графический интерфейс для работы с базой данных. С его помощью пользователи могут в привычном табличном виде заносить информацию в базу данных, в автоматическом виде получать:

• необходимые отчеты (например, геологическая колонка, паспорт скважины и т. д.) и статистику;
• импортировать файлы различных форматов (*.CSV, *.DAT, *.LAS, *.XLS, *.SIF);
• контролировать процесс ведения работ;
• обрабатывать данные в базе данных, при помощи специализированных инструментов (например, корректировать данные геологических интервалов по данным геофизического каротажа);
• а также сопровождать процесс опробования от формирования реестра проб на отправку до получения
• результатов аналитики из лаборатории и построения графиков QAQC (карта Шухарта, диаграмма XY-рассеяния);
• осуществлять выгрузку данных в различные текстовые форматы для работы с другими ПО.

Рис: Диаграмма XY-рассеяния

  Помимо этого, интерфейс программы дает возможность присвоить каждому сотруднику собственный профиль с определенным набором инструментов для решения его функциональных задач. Такой подход максимально упрощает процесс работы с ежедневными данными сотрудника, обеспечивает быструю адаптацию и обучение новых сотрудников.

Рис: Корректировка геологических интервалов по данным геофизики

 РЕЗУЛЬТАТЫ

Подводя итог, можно сказать, что использование функционала СУБД для хранения, анализа и обработки данных значительно упрощает и оптимизирует ежедневную рутинную работу как рядовых специалистов, так и руководителей. В результате предприятие получает единый, актуальный и надежный источник информации, готовый к работе и анализу любыми специалистами. Кроме того, использование СУБД в том или ином виде стандартизирует и систематизирует процесс работы с данными, что является важным аспектом для крупных недропользователей с большим количеством активов.

Наличие подобной системы также экономит время и деньги при подготовке данных для аудита различными консалтинговыми компаниями, делает компанию более привлекательной для потенциальных инвесторов.

Автор: Яремченко Тарас Александрович, 

технический специалист по базам данных ООО «Майкромайн Рус»