Виктор Андреев (EPAM) – о создании единой точки доступа для систем большого объема на Big Data Conference
По итогам прошедшей 15 сентября 2017 года Big Data Conference, организованной Rusbase и Global Innovation Labs, публикуем подробные отчеты с выступлений всех спикеров.
В рамках конференции в трёх залах были представлены кейсы в «Бизнес-треке», технологические решения в «Техническом треке» и доклады на «Научном семинаре». Общий отчет с мероприятия можно найти по ссылке.
Представитель EPAM Виктор Андреев выступил с докладом «Организация single point of access для географически распределенных систем большого объема: model-driven data lake».
Благодаря сервису Penxy презентацию Виктора Андреева можно не только посмотреть, но и послушать:
После презентации Виктору задали вопрос через сервис WhenSpeak:
Можно использовать любые средства для работы с системой? Хочешь Python, хочешь SQL? Или это настраивается отдельно?
Данные на момент реализации MVP представлены в виде Hive-таблиц. С ними можно работать как напрямую SQL, хотя в Hive это не очень эффективно, так и через Spark (Spark QL), то есть Python, Scala, Java – это то, что удобнее.
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
-
Пройти курс «Маркетплейсы: с чего начать и как преуспeть»
- 1 Инвесторы и стартапы из креативных индустрий встретятся на Speed Dating Участие в мероприятии бесплатное. Подать заявку нужно до 10 августа 19 июля 16:49
- 2 Как прошла конференция Ai Stories Доклады и фотографии с нашего флагманского мероприятия 14 октября 18:58
- 3 Новый Speed Dating: ищем технологии в страховании Принимаем заявки до 23 октября 11 октября 15:53
- 4 Флагманское мероприятие Rusbase — Ai Stories 4 октября 2019 года Rusbase организует новую конференцию Ai Stories: про технологии на языке бизнеса. 18 июля 18:46