Большие данные превращаются из сложных, дорогих решений, доступных лишь крупным компаниям, в простые продукты, позволяющие оперативно получать самую разную информацию. О том, как это происходит, говорили участники организованной CNews Conferences онлайн-конференции «Большие данные: цифровизация меняет подходы к аналитике».
Алексей Струченко: SQream DB может существенно разгрузить базу данных за счет выноса на видеокарту самых тяжелых и ресурсоемких задач
О новом способе обработки больших данных рассказал Алексей Струченко, руководитель направления баз данных «Инфосистемы Джет».
CNews: Какие проблемы возникают в ходе анализа больших данных?
Алексей Струченко: Одно из определений больших данных говорит, что это данные, которые невозможно хранить и обрабатывать традиционными способами. В нем кратко описаны две главные проблемы работы с большими данными: хранение и обработка. Если сложности хранения больших данных проще всего решить на уровне железа, то их обработка чаще всего требует новых подходов в разработке программного обеспечения. Одним из таких подходов является использование крайне высокой степени параллелизма, позволяющей обрабатывать большие данные в реальном времени.
CNews: Каковы преимущества SQream DB? Почему на IBM Power?
Алексей Струченко: В решении SQream DB принцип высокопараллельной обработки данных реализован неожиданным способом. Предлагается перенести часть задач базы данных на видеокарту с использованием той степени параллелизма, которая заложена в видеокарту на аппаратном уровне. SQream DB работает на разных платформах, но особенно интересно ее применение на архитектуре IBM Power за счет специальной технологии NVlink. Это совместная разработка NVIDIA и IBM, ускоряющая взаимодействие между процессором и видеокартой. При этом речь не идет о замене традиционной SQL-ной базы. SQream DB может существенно разгрузить базу данных за счет выноса на видеокарту самых тяжелых и ресурсоемких задач с соответствующими данными. Архитекторы обычно называют такое решение витриной.
CNews: Приведите, пожалуйста, примеры, в каких случаях это решение применимо?
Алексей Струченко: В основном имеются два сценария, когда технологии SQream наиболее применимы. Перенести с процессора на видеокарту самые ресурсоемкие задачи и, таким образом, высвободить ресурсы. Или вынести самые критичные запросы и получить важные ответы в десятки и сотни раз быстрее.
С точки зрения отраслей область применения SQream довольна обширна: это и банки, и телеком, и госсектор. Использование этой технологии оправдано там, где важна высокая скорость обработки запросов и есть большой объем неструктурированных данных. Например, когда клиент банка может за один визит подать документы на кредит и буквально мгновенно получить ответ по решению.