От автономного сервиса к мировому стандарту: эксперт ICL Soft – о платформе Apache Kafka

В сентябре группа компаний ICLпровела первый в своей истории Software development meetup – мероприятие, объединившее разработчиков компании всех уровней и умений. В рамках встречи приглашенные специалисты и эксперты группы компаний ICLобсудили текущие проекты, поделились опытом и трендами в области разработки. Одним из спикеров стал Вячеслав Тарасенко, старший руководитель группы разработки .Net приложений в ICL Soft: в качестве темы воего выступления он выбрал ставшую мировым стандартом платформу ApacheKafka, и в этом блиц-интервью рассказывает о ее возможностях.

Создаваясь изначально для обработки данных социальной сети LinkedIn, сегодня платформа ApacheKafka используется многими компаниями, в том числе из списка Fortune-500. Какие задачи решает платформа? - В большинстве случаев платформа используется как средство для быстрой доставки сообщений от неограниченного количества источников до неограниченного количество потребителей. Известно, что изначально Kafka создавалась как потоковый сервис. Вячеслав, можно ли сегодня судить о том, как такой старт повлиял на характер ее работы? - Большой объем данных, идущий непрерывным потоком из разных источников, предполагает неоднородность – и здесь выступила Kafka, обрабатывающая эти сообщения вне очереди, параллельно. Сервис разрабатывался таким образом, чтобы и источники, и потребители друг о друге не знали: все висит в воздухе, и никто не знает, кто пишет, а кто читает эти миллионы сообщений. Kafka является проводником, который автономно работает в режиме реального времени – такой stateless-брокер, умеющий быстро передавать данные. В 2021 Kafka позиционируется уже как экосистема.

Какие элементы она в себя включает? -  Kafka в текущем ее состоянии выросла из "семьи Apache", и поэтому она очень тесно интегрирована как с другими членами "семьи Apache", так и с собственными дочерними технологиями  – KSql, Kafka streams, Apache Spark, Kafka connect, Apache Apex, Hadoop. Фактически, все что есть у Apache, может интегрироваться с Kafka. Если раньше платформа подстраивалась под другие технологии, то теперь, когда она стала фактически мировым стандартом, все подстраиваются под неё: любые технологии, которые относятся к данным, их передаче и хранению, могут и будут интегрироваться с Kafka. Чем данное решение отличается от аналогичных на рынке – каковы его достоинства, недостатки? - Ключевое достоинство платформы – это высокая конкурентоспособная скорость работы, большое количество готовых интеграций, быстрое внедрение. Но вместе с тем она с трудом усваивается программистами: ее интерфейс весьма сложен для восприятия, например, младшими специалистами. Чтобы использовать Kafka эффективно, нужно понимать, как она работает.

Вячеслав, каким игрокам рынка Вы порекомендуете к использованию платформу Apache Kafka? - Сегодня все больше компаний уходит в цифровую среду. Если компания обладает большим объемом данных, или же хочет переложить ответственность за доставку стриминговых данных со своих систем на другие – то только Kafka. Сегодня это стандарт без аналогов на рынке, переход к которому неизбежен. Kafka захватила практически весь рынок, и дальше будет только “хуже”.

© ICL Services, 2021
© Издание 12NEWS (ИП Маринин А.Л.), 2021