Что такое Google BigQuery
Что это?
Это аналитическая база данных, она находится в облаке Google, точнее в Google Cloud Platform.
Google сделал BigQuery для того, чтобы дать возможность компаниям любого размера быстро и дешево анализировать данные.
Вы можете арендовать необходимые мощности у Google, загрузить туда данные и выполнять их обработку.
База данных поддерживает язык SQL для работы с данными.
Архитектура и движок этой базы отличается от привычных MS SQL и MySQL. Колоночное хранение данных и ряд других особенностей делают все расчеты очень быстрыми.
Например, можно посчитать сумму продаж из розничной сети, используя таблицу из 10 миллионов чеков за пару секунд.
С помощью платформы BigQuery вы можете подключить к своим данным готовые алгоритмы машинного обучения, например, для построения прогнозных или рекомендательных моделей.
Как это работает?
Нужно зарегистрироваться в облачных службах Google.
Создать там проект BigQuery.
Загрузить данные с помощью одного из множества способов.
Далее, можно выполнять SQL запросы, строить отчетность, использовать алгоритмы машинного обучения.
Сколько это стоит?
Недорого. Подробная информация о ценах здесь: https://cloud.google.com/bigquery/pricing
Вы платите за хранение данных $0.020 за GB, первые 10GB бесплатно, и за обработку данных при анализе 5$ за TB, первый 1TB в месяц бесплатно.
Пример: вы загрузили в BQ данные объемом 10 GB, и ваши аналитики делают SQL запросы к ним. Допустим, за один запрос они обрабатывают в среднем 1 GB данных (это объем данных в таблицах, который нужно обработать, чтобы получить результат. Ваши аналитики за месяц сделали 1000 запросов (в сумме 1 TB данных). В итоге использование BQ в этом месяце будет для вас бесплатным - вы уложились в лимиты на бесплатное использование.
Допустим, вы загрузили 100 GB данных (это очень много - для понимания это объем для хранения информации о чеках крупной розничной сети за несколько месяцев), тогда их хранение будет стоить $1.8 в месяц. Аналитики пусть сделали 1000 запросов по 10 GB, обработка будет вам стоить $45 в месяц.