Команда SberInfra ищет Java-разработчиков для наших продуктов — сервисов федеративного доступа. Мы разрабатываем инфраструктурные компоненты на основе open source кода для дата-центра с объемом 10+ петабайт данных и десятками тысяч ядер, с фокусом на защиту данных и реализацию алгоритмов безопасности.
Waggle-Dance: обеспечивает возможность работы с HMS нескольких кластеров Hadoop (SDP/Cloudera) при условии наличия федерации между кластерами. Фактически представляет собой Proxy-сервис, который онлайн запрашивает данные из внешних HMS. Технически это Java-процесс, который запускается отдельно от Cloudera и реализует Thrift интерфейс Hive Meta Store.
Sentry-proxy: обеспечивает авторизацию операций для Hive и Impala. Является Proxy-сервисом, который для настроенных федераций получает авторизационную информацию из внешних сервисов Sentry и Hadoop, использует эту информацию для авторизации операций пользователя в Hive и Impala. Сервис представляет собой реализацию интерфейса Sentry и может запускаться как в случае наличия Sentry сервиса на локальном кластере, так и в случае его отсутствия. В случае отсутствия создаются синтетические права пользователям кластера.
HDFS Gateway: представляет собой Proxy-сервис (шлюз), реализующий Hadoop Data protocol. Для внешних пользователей представляет собой HDFS, к которому можно настраивать федерацию и подключаться как Hadoop client. В процессе запроса данных компонент может трансформировать данные, отдаваемые клиенту HDFS, любым образом. В текущий момент планируется использовать как компонент сервиса защиты данных для применения политик доступа к данным подписок. Потенциально может работать с любыми данными, хранящимися в HDFS, сейчас реализована поддержка Apache Parquet.
Будет плюсом:
Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов. Самый дорогой российский бренд и самый сильный банковский бренд в мире по версии Brand Finance.
