Что это?

  • Это аналитическая база данных, она находится в облаке Google, точнее в Google Cloud Platform.

  • Google сделал BigQuery для того, чтобы дать возможность компаниям любого размера быстро и дешево анализировать данные.

  • Вы можете арендовать необходимые мощности у Google, загрузить туда данные и выполнять их обработку.

  • База данных поддерживает язык SQL для работы с данными.

  • Архитектура и движок этой базы отличается от привычных MS SQL и MySQL. Колоночное хранение данных и ряд других особенностей делают все расчеты очень быстрыми.

  • Например, можно посчитать сумму продаж из розничной сети, используя таблицу из 10 миллионов чеков за пару секунд.

  • С помощью платформы BigQuery вы можете подключить к своим данным готовые алгоритмы машинного обучения, например, для построения прогнозных или рекомендательных моделей.

Как это работает?

  • Нужно зарегистрироваться в облачных службах Google.

  • Создать там проект BigQuery.

  • Загрузить данные с помощью одного из множества способов.

  • Далее, можно выполнять SQL запросы, строить отчетность, использовать алгоритмы машинного обучения.

Сколько это стоит?

  • Недорого. Подробная информация о ценах здесь: https://cloud.google.com/bigquery/pricing

  • Вы платите за хранение данных $0.020 за GB, первые 10GB бесплатно, и за обработку данных при анализе 5$ за TB, первый 1TB в месяц бесплатно.

  • Пример: вы загрузили в BQ данные объемом 10 GB, и ваши аналитики делают SQL запросы к ним. Допустим, за один запрос они обрабатывают в среднем 1 GB данных (это объем данных в таблицах, который нужно обработать, чтобы получить результат. Ваши аналитики за месяц сделали 1000 запросов (в сумме 1 TB данных). В итоге использование BQ в этом месяце будет для вас бесплатным - вы уложились в лимиты на бесплатное использование.

  • Допустим, вы загрузили 100 GB данных (это очень много - для понимания это объем для хранения информации о чеках крупной розничной сети за несколько месяцев), тогда их хранение будет стоить $1.8 в месяц. Аналитики пусть сделали 1000 запросов по 10 GB, обработка будет вам стоить $45 в месяц.