HiAi Db

Русская супер база данных
Tags:
Categories:

HiAI DB – сверхбыстрая многофункциональная универсальная база данных с искусственным интеллектом.

Сфера применения HiAI DB

HiAI DB является универсальным решением для организации эффективного облачного хранения и эксплуатации структур данных любых типов и объёмов. Особенно эффективно применение HiAI DB в онлайн накоплении, облачном хранении и серверной обработке:

  • больших данных;
  • сложноструктурированных данных;
  • данных с гибко изменяемой и постепенно адаптирующейся структурой;
  • серых данных с их дальнейшей очисткой внутри одной базы данных.

Области применения HiAi DB

Существенных преимуществ в сравнении с другими базами данных можно достигнуть, если применить HiAI DB в областях:

  • Банковское дело
  • Биржевая торговля
  • Проекты с криптоэкономикой
  • Финансовый анализ
  • Маркетплейсы
  • Все виды логистики
  • Контроль и управление бизнес процессами
  • Медицинские и другие научные исследования
  • Социальные сети и другие проекты с накоплением и обработкой персонифицированных данных и формированием социальных алгоритмов
  • Государственные услуги населению
  • Подготовка данных для обучения искусственного интеллекта
  • Проекты с большими данными
  • Проекты с нереляционными (не табличными) структурами данных
  • Проекты с единым хранением реляционных и нереляционных данных
  • Проекты с необходимостью многократного уточнение форматов хранения данных без остановки эксплуатации базы данных

Конкретные примеры эффективного применения HiAi DB

Рассмотрим несколько конкретных примеров эффективного применения HiAi DB, в которых можно достигнуть ощутимое превосходство в сравнении с другими базами данных:

  • Информационные сервисы с доступом к большому объёму данных различной природы с настраиваемым и масштабируемым уровнем доступа в зависимости от подписки.

Пример:
Есть обновляемая ежедневно база данных медицинских учреждений (больниц, поликлиник, хосписов, роддомов, моргов, исследовательских институтов), а также компаний, оказывающих им различные виды услуг, и, кроме того, сведения об опыте специалистов и иного персонала. Эта база объединяет множество разных данных в единую сеть взаимосвязей. На её основе создаётся облачный сервис с доступом к данным этой базы по подписке с различными вариантами объема доступных данных. HiAi DB позволит делать сложные запросы отбора данных по взаимосвязям разных типов данных.

Например, запрос вида: «Все учреждения, в которых за последний год работали специалисты женщины в возрасте до 25 лет с эффективностью выше среднего уровня». Или «Сколько организаций закупает бинты, производства такой-то компании на регулярной основе не менее такого-то количества в год».

Фактически такой один сервис сможет оказывать услуги по подписке одновременно совершенно разным типам клиентов, что значительно увеличит доходность проекта. На других базах данных такой проект эффективно создать не получится. То, что HiAI DB будет делать автоматически, в других базах данных нужно будет реализовывать ежедневным трудом многих сотрудников проекта.

  • Оптимизация всех форм маршрутизации в производственной, складской, сбытовой, закупочной, транспортной и таможенной логистике.

Пример:
Есть база данных железнодорожной компании, оказывающей как грузовые, так и пассажирские перевозки. У неё есть свой транспорт, своя сеть железных дорог и транспортно-пересадочных узлов, а также деловые взаимоотношения с владельцами аналогичных объектов. Если также специалисты различного профиля, являющиеся сотрудниками компании. На основе HiAi DB можно организовать облачный сервис, который будет, накапливая фактические данные о грузовых и пассажирских перевозках, выявлять закономерности потерь (временных, денежных и людских ресурсов) и предлагать оптимизированные маршруты для достижения комплексной экономии.

  • Рекомендательные сервисы в режиме реального времени с мгновенным формированием персонифицированных предложений для наилучшего пользовательского опыта и максимизации прибыли.
  • Эффективное накопление и управление постоянно растущим разнотипным цифровым контентом в облачных проектах.
  • Единая структура управления всеми данными обеспечивает постоянство и точность накопления данных, что крайне важно для крупных корпораций с множеством отдельных компаний внутри.
  • Научные исследования на основе накопленных фактических наблюдений, которые далеко не всегда можно структурировать сразу.
  • Эффективная защита персональных данных с минимизацией вероятности утечки информации и обеспечением согласованности изменения данных для повышения доверия сохранения конфиденциальности.
  • Выявление подозрительной пользовательской активности внутри проекта (например, мошеннических схем или попыток несанкционированного доступа).
  • Контекстно-зависимые сервисы реального времени (например, основанные на геолокации).

Преимущества HiAI DB

Особенность инновационной архитектуры и прорывные технологии в области искусственного интеллекта наделили HiAI DB следующими преимуществами:

  1. Высочайшая скорость ответов на запросы многокритериального отбора данных.
  2. Возможность единого хранения принципиально разных структур данных реляционной (табличной) и нереляционной (графовой) природы.
  3. Гибкое изменение структуры хранения без перестроения базы данных.
  4. Возможность накопления и обработки больших данных в облаке.
  5. Непрерывное улучшение характеристик базы данных во время эксплуатации за счёт дообучения ИИ на основе накапливаемых данных и запросов пользователей.
  6. Гибкое масштабирование облачного хранилища с постепенным расширением используемых серверов.

Техническое описание HiAI DB

HiAI DB – это сверхбыстрая графовая нереляционная база данных с искусственным интеллектом.

В основе HiAI DB лежит комплекс инновационных технологий:

  1. Архитектура хранения данных в «инфокапсулах узлов графов»
  1. Инфокапсулы
  2. Мета-графы инкапсулирования
  1. ИИ модель формирования «мета-графа инфокапсулирования»
  2. ИИ модель формирования «прогнозного графа»
  3. Технология мгновенного отбора данных «супер-сито»
  4. Технология мгновенного формирования результатов отбора

Архитектура хранения данных в инфокапсулах узлов графов

Для HiAi DB разработана уникальная архитектура хранения, которая является новым поколением нереляционных графовых баз данных.

Топографическая структура данных (на основе математических графов) HiAI DB успешно определяет корреляции между сложно взаимосвязанными данными, что позволяет обойти ограничения реляционных БД и организовать гибкие отношения между данными. Она аккуратно устанавливает сложнейшие взаимосвязи между конечными точками данных.

Топографической особенностью HiAI DB является «принцип инкапсулирования», который позволяет для каждого узла определить собственный граф структуры внутренних данных. Данные, относящиеся к узлу, хранятся в независимой капсуле данных и могут иметь собственную уникальную топографическую структуру, включая инфокапсулы нижних уровней.

Инфокапсулы - реляционные элементы нереляционной базы данных

Одной из ключевых особенностей архитектуры HiAi DB является универсальный контейнер узла, который мы назвали «инфокапсулой».

Инфокапсулы – это внутренние хранилища в узле графа базы данных, которые могут содержать:

  • Фрагмент данных (одна запись данных)
  • Таблицу данных (реляционную базу данных)
  • Графовую структуру данных (нереляционную базу данных)

Таким образом инфокапсулы позволяют объединять полезные возможности реляционных и нереляционных баз данных.

Эта природа инфокапсул создают замечательные возможности для накопления больших серых данных с их последующей обработкой (превращением в белые данные). Можно сперва накапливать серые данные в инфокапсулах, а по мере их обработки преобразовывать в графовые базы данных или реляционные табличные данные, в зависимости от требований к решению.

Мета-графы инкапсулирования

Технологическим прорывом стало изобретение «мета-графов инкапсулирования».

Данные внутри каждой инфокапсулы могут быть взаимосвязаны с данными внутри других капсул посредством специальных мета-графов, которые представляют собой надстройку над топографической структурой базы данных. Мета-графов может быть очень много, и каждый хранит в себе опыт пользовательского взаимодействия с данными.

Благодаря этой особенности HiAi DB может сразу (мгновенно) выбирать данные по одному запросу без необходимости множества отдельных отборов с последующим пересечением данных.

ИИ модель формирования графа инфокапсулирования

Мы смогли разработать ИИ модель, которая формирует графы инкапсулирования, совершенствуя их с каждым изменением базы данных. Получение новых порций данных, а также обновления ранее полученных, приводит к дообучению графов инкапсулирования, которые становятся сосредоточием опыта ИИ модели.

В процессе наполнения базы данных создаются новые графы инкапсулирования и совершенствуются уже созданные. В результате при запросе к базе на получение данных мгновенно выбирается подходящий граф инкапсулирования, согласно которому исполняется запрос с формированием выдачи данных.

Внедрение ИИ позволило сократить более 80% внутренних операций поиска данных.

Что привело к созданию практически мгновенных ответов базы данных (со средним временем поиска и формирования ответа – 63 мс).

ИИ модель формирования прогнозного графа

Для того, чтобы запрос пользователя мог быть мгновенно выполнен, требуется мгновенно подобрать подходящий граф инкапсулирования.

Если база данных имеет миллионы данных, этот процесс будет занимать некое время. Для ускорения процесса мы изобрели ИИ модель, которая прогнозирует выбор графа инкапсулирования по запросу пользователя.

ИИ модель изначально обучается на специальном полигоне с синтетическими запросами (миллиарды запросов случайным образом). В результате получается так называемый «синтетический опыт ИИ».

Далее ИИ модель дообучается в течение периода бета-тестирования готового решения на основе «бета опыта» реальных пользователей. Таким образом получается дообученная ИИ модель, которая уже способна почти мгновенно выполнять свою работу.

Но модель и дальше дообучается в течение всего времени экплуатации решения.

Поэтому через год можно ожидать улучшения временных показателей.

Технология мгновенного отбора данных Супер-сито.

Эта технология является ключевой в работе HiAi DB. Именно она позволяет на основании ответа прогнозной ИИ модели производить выборку данных в соответствии с выбранным графом инкапсулирования. При этом количество операций ограничено всего одним циклом прохода по минимальному числу найденных данных. Как сверхбыстрое сито, технология отсеивает лишние данные из захваченных при поиске.

Эта технология способствует сокращению среднего времени с момента запроса пользователя до момента отправки готового ответа с порцией данных всего до 63 мс.

Технология мгновенного формирования результатов отбора

Эта технология является примером накопленного нами опыта в разработке высоконагруженных больших баз данных.

Мы тщательно и скурпулёзно исключили все лишние действия на всех этапах обработки запроса пользователя. Разумеется, достоинства этой технологии заметны лишь в комплексном решении с применением всех вышеназванных технологий.

История создания HiAI DB

В недавнем прошлом при разработке сложных решений по облачному хранению данных перед нами стояли такие задачи как:

  • обеспечение скорости доступа к облачным данным,
  • обеспечение оперативности обновления данных в облаке,
  • обеспечение защиты облачного хранения данных,
  • обеспечение безопасности обновления облачных данных,
  • обеспечение надёжности облачной базы данных при сверхвысоких нагрузках.

Мы создавали решения в области электронной торговли, финансового анализа и криптоэкономики, где подобные задачи особенно востребованы. Для этих целей мы разработали архитектуры хранения данных и технологии обеспечения доступа к ним.

После очередного всплеска интереса к искусственному интеллекту мы решили попробовать ускорить доступ к облачным данным с применением ИИ моделей. Сначала мы разработали ИИ модель, которая оптимизировала выдачу данных из облачного хранилища. Это позволило улучшить среднее время выдачи результата до 1.2 сек.

Потом мы задумались над изменением формата хранения данных так, чтобы было оптимально собирать данные для результата.

Была изобретена архитектура инфокапсул в узлах математических графов. Тогда мы впервые отказались от архитектур реляционных баз данных в пользу нереляционных графовых. Новая архитектура позволила улучшить время выдачи данных из облачной базы до 532 мс.

Тем не менее нам хотелось сократить и это время. Возникла идея применять ИИ не при формировании результата запроса, а на стадии накопления данных.

Так была изобретена HiAi DB. Она позволила сократить время выдачи данных до 63 мс*. При этом минимальное время сократилось до 23 мс.

*) Указанные примеры времени приведены на основе реальной эксплуатации проекта benikura.pro, оперирующего данными обо всех юридических лицах Японии (сведения о деятельности 5,5 млн. компаний).