Огляд та рейтинг Google Bigquery

Google BigQuery, який безкоштовно отримує 10 гігабайт (ГБ) на місяць, є великим сховищем даних для гігієни пошукових гігантів, петабайт (PB). Це корпоративний продукт, SQL-продукт і великі дані - в ДНК Google. Про це свідчать усі інструменти та послуги компанії. Коротше кажучи, якщо ви хочете що-небудь зробити з даними, то ви можете зробити ставку, що у Google є інструмент, щоб це відбулося. Якщо у вас є масивні набори даних або ви накопичуєте свої дані, змішуючи їх із загальнодоступними або комерційними наборами даних, то Google BigQuery може стати вагомим вибором. Він призначений для сканування терабайт (ТБ) за секунди, а ПБ за хвилини. Найбільший на сьогодні запит - 2, 1 PB, і Google BigQuery обробляв його без жодних проблем. Незважаючи на ці можливості, аналітика Big Data є складним завданням, і якщо ви працюєте з меншими наборами даних, то це може бути надмірним. Тим не менш, Google BigQuery - це серйозний вибір, який опиняється безпосередньо за базою даних Microsoft Azure SQL і MongoDB Atlas, вибір редакторів у нашому оглядовому огляді рішень DBaaS.

Модель ціноутворення

Google BigQuery - це модель без серверної аналітики даних. Розмежування сховища та обчислення дає вам кращий контроль за цінами, який, як правило, цікавить людей, які ведуть надзвичайно великі проекти. Зберігання розраховується за фіксованою ставкою та обчислюється за тарифами використання. Перші 10 Гб пам’яті безкоштовні щомісяця, а витрати починаються від 2 копійок за ГБ на місяць після цього. Наприклад, якщо ви зберігаєте 1 терабайт (TB) протягом місяця, то вартість складе 20 доларів. Потокові вставки даних починаються з 1 відсотка на 200 мегабайт (МБ). Перші 1 ТБ запитів безкоштовні, з додатковим аналізом - 5 доларів за туберкульоз. Операції з метаданими безкоштовні.

Ви також маєте можливість платити в дорозі або щомісячну фіксовану плату. Деякі розробники віддають перевагу фіксованій платі за бюджетну допомогу. Оскільки зберігання вже за фіксованою платою, ця опція просто означає, що обчислення також відбувається за рівним щомісячним домовленістю. Але перш ніж ви занадто захоплюєтеся підпискою на встановлення фіксованої ціни, пам’ятайте, що лише такі рахунки, які щомісяця витрачають на аналітику в 40 000 доларів, мають право на цей варіант.

Безкоштовний рівень Google BigQuery забезпечує до 1 ТБ даних, що аналізуються щомісяця, і 10 Гб зберігання даних, але якщо серйозно, якщо ви значно нижче цієї позначки, то є інші інструменти, які краще підходять до завдання, такі як Microsoft Azure SQL Database, IBM Db2 у Cloud або Google Cloud із Google Analytics 360.

Крок за кроком

Вам знадобиться обліковий запис Google, щоб налаштувати його, якщо у вас його ще немає. Вам знадобиться, щоб зареєструватися в обліковому записі Google Cloud Platform, для отримання безоплатної пробної версії також буде потрібна кредитна картка. Але не хвилюйтеся, оскільки вас не буде автоматично оновлено та виставлено рахунок в кінці пробного періоду. Вам потрібно вручну оновити будь-що, що стягується з вашої кредитної картки.

У користувальницькому інтерфейсі Google Cloud (інтерфейс користувача) перейдіть до BigQuery. Користувацький інтерфейс BigQuery трохи простий - Джейн, але його стислість також робить його легким у використанні. Google каже мені, що зараз він працює над новим інтерфейсом. За допомогою поточного інтерфейсу користувача, якщо ви просто хочете вивчити, натисніть на Створити запит та виберіть один із загальнодоступних наборів даних на вітальній сторінці. Напишіть стандартний запит SQL у поле запиту, використовуючи Редактор запитів або Редактор визначених користувачем (UDF) Редактор, і ви виходите.

Посібники Quickstart корисні для передачі даних або власної базі даних у Cloud Bigtable, Cloud Spanner, Cloud SQL або Cloud Datastore (база даних NoSQL). BigQuery використовує SQL, сумісний з Американським національним інститутом стандартів (ANSI), а також драйвери відкритої бази даних (ODBC) та драйвери підключення до бази даних Java (JDBC) для інтеграції з даними в інші хмарні продукти та додаткові типи додатків. Унікальні SQL-реалізації, призначені для згладжування запитів, означає, що існує кілька діалектів SQL, що може заплутати. Я помітив, що, незважаючи на те, що за замовчуванням є "Legacy SQL", я міг зняти галочку з діалектного поля SQL, щоб повернутися до справжнього стандартного SQL.

Google BigQuery також має механізм прийому потокових даних для збору та аналізу даних у режимі реального часу. Для створення набору даних скористайтеся вкладкою Створити набір даних у спадному меню «Мій перший проект». Введіть ідентифікатор набору даних, виберіть розташування даних (США, Європейський Союз або Азія-Північний Схід) та встановіть термін дії даних. Google BigQuery може автоматично виявляти схему. Після налаштування набору даних ви готові запускати запити.

Панель інструментів

Є роз'єми для більшості інструментів бізнес-аналітики (BI). Але ви можете скористатися Data Studio, що є інструментом візуалізації BI в Google, і це безкоштовно. Список інструментів Google, якими ви можете скористатися, є довгим. Рекомендую розпочати з перегляду списку безкоштовних рівнів платформи Google Cloud Platform.

Платформа Google Cloud має 15 регіонів, 45 зон, понад 100 точок присутності та добре забезпечену глобальну мережу з волоконно-оптичним кабелем 100 000+ миль. Ви отримуєте кращі ціни за допомогою глобальної послуги, але ви можете вказати регіони за своїм бажанням.

Резервні копії та угоди про рівень обслуговування (SLAs) під егідою Google SQL Cloud. Повний угода про угода про службу є тут. Cloud SQL зберігає сім автоматизованих резервних копій для кожного примірника. Резервні копії першого покоління (gen) охоплюють все та включаються до ваших витрат на примірник (за моделлю використання). Їх простір для зберігання не рахується з вашим відведеним місцем для зберігання. Резервні копії другого покоління охоплювали лише ті дані, які змінилися, а їхнє зберігання стягується за зниженою швидкістю.

Загалом, Google BigQuery - це чудовий дизайн. Він краще підходить для величезних наборів даних та тих, хто вміє працювати з ними. Якщо ви займаєтеся написанням програм для машинного навчання (ML) або розробляєте дані навчальних програм для ML, то цей продукт вам особливо сподобається. Те ж саме стосується розробників, які працюють в додатках Internet of Things (IoT) або будь-яких розробок, які вимагають гнучкого прийому даних та масового аналізу даних.