Відео: 5 НОВЫХ ЛАЙФХАКОВ С КОНСТРУКТОРОМ LEGO 4K (Листопад 2024)
Одне, що мене вразило на вчорашньому саміті з питань технологій Bloomberg Enterprise Technology, - це зосередження уваги на роботі з даними по-новому - іншими словами, розгляду того, що часто називають "великими даними".
Деякі з розмов розглядали значення великих даних і чи справді це була "можливість на трильйон доларів", а інші стосувалися конкретних проблем, з якими стикаються окремі організації та індустрія в цілому при більш широкому застосуванні цих нових методик.
Джерард Френсіс, керівник відділу Bloomberg Enterprise Solutions, Bloomberg LP розпочав день, запропонувавши, що найважливіше, що можуть зробити компанії - це "скористатися цінністю даних, використовуючи їх", і зосередити увагу на доступі, якості та потоці даних дані в організації. На наступних панелях було багато розмов про нові інструменти, які займаються даними, а також конкретні питання зберігання, управління та пошуку людей, які мають справу з даними.
На загальній панелі щодо тенденцій розвитку підприємства Дуайт Мерріман, голова та співзасновник MongoDB, сказав, що рівень даних треку додатків має "найбільші перебої та зміни, які ми спостерігали за 25 років". За його словами, компанії використовують реляційні бази даних протягом 25 років і більше, зробивши це найстарішою технологією в стеці. Але зараз трапляються речі з файловими сховищами, такі як Hadoop та нові технології баз даних, часто згруповані як "NoSQL". Він зауважив, що Big Data - це не "великі", а скоріше про форму даних, типи даних та рух до розгляду даних у режимі реального часу.
Головний інформаційний директор Google Бенджамін Фрід погодився, що у більшості підприємств немає проблем з великими даними. Багато наборів даних - такі речі, як дані про людські ресурси та фінансові дані - не такі великі, сказав він. Важливим є гнучкість, необхідна для правильного поводження з даними.
Що таке великі дані в будь-якому випадку?
Ця концепція - ця гнучкість настільки ж важлива, як і розмір даних - повторилася на іншій панелі згодом. Там учасники погодилися, що компанії вже давно займаються великими даними, але масштаб змінився останнім часом. Наприклад, Марк Ф. Брегман, старший віце-президент і головний директор з технологій Neustar, зазначив, що деякі компанії зараз "зберігають все", сподіваючись, що це виявиться цінним.
"Велике краще визначати як складність", на думку Гері Блум, генеральний директор та президент компанії MarkLogic. Він зазначив, що багато так званих "великих даних" додатків містять безліч різного роду даних, але не такий об'єм, який ви зазвичай чуєте в програмах "великих даних".
Він наводив приклад повітряного руху, який поєднує дані про погоду, дані про аеропорти, геопросторові дані, дані про польоти, дані бронювання авіакомпанії та соціальні дані. Він зазначив, що мати справу з неоднорідними даними було дуже важко з традиційними реляційними базами даних, повторюючи попередні коментарі Merriman MongoDB, що це "перший покоління бази даних за 25 років" з моменту переходу з мейнфрейму до епохи реляційних баз даних.
Він зазначив, що багато людей говорять про дані соціальних медіа, але це дійсно потрібно поєднувати з іншими даними, щоб дійсно було щось, на чому можна використовувати великі прибутки. Поєднання цих даних є "реальною цінністю".
Звичайно, деякі програми містять багато інформації, оскільки Брегман говорить, що неоднорідність є лише одним із факторів. Він цитував дані DNS, які можуть легко генерувати 8 ТБ інформації на день, та необхідність зберігання таких речей у Hadoop. Брегман та інші зазначили, що якщо мова йде про "капіталізацію даних", справжня цінність полягає не в необроблених даних, а натомість в аналітиці, коли вона стає чимось, що ви можете використовувати. Інші на панелі погодились.
Генеральний директор Streambase Марк Палмер заявив, що поєднання великої кількості даних із потоковою аналітикою важливо у багатьох програмах; та поговорили про додаткову цінність, яку можна було б створити, поєднуючи традиційну аналітику в реальному часі.
Але він погодився, що складність даних є проблемою. Він цитував, як Вівек Ранадіве, який керує Tibco (який зараз є власником Streambase), частково придбав баскетбольну команду, щоб зрозуміти, як технології можуть покращити досвід уболівальника. Він знову заговорив про "змішування різних типів даних", починаючи з потоку Twitter, але також використовуючи інші види даних.
Блум зазначив, що все залежить від заявки, сказавши, що "затримка в очах". Деяким програмам потрібно проаналізувати дані на проводці, перш ніж він навіть потрапить у базу даних, а інші - ні.
Брегман підняв питання про те, що замість того, що важко переміщувати обчислювальні ресурси, тепер переміщувати дані стає набагато складніше. Він зазначив, що для багатьох додатків "блокування" - це розташування даних. Після того як ви зберігаєте свої дані в загальнодоступній хмарі, перемістити їх буде дуже важко. В результаті, за його словами, багато організацій хочуть зберігати величезну кількість даних у своїх місцях, а потім зможуть перейти до різних провайдерів для обчислення функціональності. Позичивши термін із Bloom MarkLogic, він розповів про те, як організаціям може знадобитися «центр даних, орієнтований на дані», як місце, де ви зберігаєте величезну кількість даних.
Чи є "Великі дані" "можливістю на трильйон доларів?"
Інша панель обговорила можливості та виклики великих даних, відображаючи коментар Портера Бібба, керуючого партнера MediaTech Capital Partners. Бібб сказала, що фактично більше, ніж трильйон доларів вигод для корпорацій, що використовують нові методи. На сьогоднішній день, за його словами, ми "навіть не почали використовувати потенціал цієї технології".
Бібб розповідала про те, як важливо організаціям узгоджувати свою стратегію передачі даних з бізнес-стратегією, і переживає, що більшість корпоративних та урядових систем не узгоджуються.
У цій першій сесії Скотт Вайс з Андреессена Горовіца сказав, що "Hadoop - це схоже на кріогенне сховище", тому модератор Джейсон Келлі з Bloomberg Link запитав головного архітектора Cloudera Дуга Коттінга, який в першу чергу був одним із творців Hadoop. що.
Якщо сказати, Hadoop дозволяє людям працювати з більшою кількістю даних. За його словами, організації знімають дані зі стрічки, а замість цього роблять їх в Інтернеті та корисними. Клієнти переходять від роботи з 90 днями даних до п'яти або 10 років даних в "активному архіві".
На цій панелі знову виникли ряд конкретних питань, що стосуються всіх цих даних. Генеральний директор Snaplogic Гаурав Дхіллон говорив про "гравітацію даних", заявивши, що не має сенсу брати дані, які є локальними в Hadoop, і переміщувати їх до хмари. Але в той же час, якщо в хмарі є такі дані, як аналіз потоку кліків, немає сенсу переміщувати це місце. Як результат, за його словами, він бачив дуже мало "транскордонних можливостей" у переміщенні даних.
Різання заявив, що він не вірить, що дійсно не вистачає даних. Натомість він сказав, що є багато людей, які розуміють математику та бізнес, але у них просто немає інструментів. Ви можете вивчити основи інструментів і те, що вони роблять за пару тижнів, сказав він, але для розуміння вашого бізнесу потрібні роки. Але є дуже багато людей, які це розуміють.
Діллон також відобразив занепокоєння щодо законодавства, яке стосується того, яку інформацію можна зберігати, де. За його словами, деякі вертикальні ринки потребують зберігання інформації на місцях, але стурбований такими речами, як вимоги не переносити дані з країни походження. Багато з цього є надмірною реакцією на такі речі, як відкриття Сноудена та порушення даних, зазначив він, зазначивши, що "поспішність із законодавством ніколи не є доброю".
На запитання, чи хвилюється він, що порушення Snowden та Target викликають побоювання клієнтів у зв'язку з даними, Cutting відповів, що переживає, що так багато людей турбуються. Багато людей лякаються технологій, за його словами, це було невдачею галузі змусити клієнтів комфортно розуміти, що їх дані не використовуються. "Вам не потрібно бути моторошними", - сказав він.
Зрештою, було багато дискусій щодо оцінок, і Бібб припустив, що недавні інвестиції Intel у Cloudera були "великою справою", оскільки вона підтверджує, чим займається компанія. За його словами, інші великі компанії, такі як Oracle, IBM, Microsoft та Amazon, кружляли навколо компаній, що займаються прогностичною аналітикою. "Золота поспіх тільки починається".
Діллон зазначив, що оцінки відображають те, що сантехнічні компанії приносять на ринок великих даних. Він сказав, що радий, коли такі хлопці "підбирають і лопатають" отримують хороші оцінки, але заявив, що має трохи побоювання, що оцінки випереджають ринок.
Бібб заявив, що думає, що великі дані можуть бути надмірно експоновані в засобах масової інформації, але це недостатньо експозиція в "c-suite" (маючи на увазі керівників, фінансових директорів та інших топ-менеджерів.) . "
