Исследовали рынок Python-разработки: оказалось, что интерес к FastApi растет, а в России высокий спрос на Data-инженеров
Исследовали рынок Python-разработки: интерес к FastApi растет
Хардскилл
2 мар., 2023
Python — один из самых популярных языков программирования в мире, а по мнению некоторых компаний он занимает железное топ-1. Так как Python мы активно используем на наших проектах, нам стало интересно, в каких областях он применим, помимо web, и что происходит на рынке Python-разработчиков.
Мы покопались в открытых источниках, и попросили прокомментировать результаты нашего лида Python-направления Альбину Альмухаметову. Поехали!
Для чего разработчики используют Python? И какой фреймворк самый любимый?
Согласно глобальному опросу JetBrains в 2021 году 49% разработчиков используют Python в целях Web-разработки, 45% — для анализа данных, 40% — для машинного обучения. По сравнению с 2020 годом выросло количество разработчиков изучающих Python на 2%.
Данные базируются на основе опроса 31 743 респондентов из 183 стран.
Но интереснее не столько область применения, а сколько фреймворки, которые используют разработчики. И тут до 2021 года между собой бодались исключительно Flask и Django. До тех пор, пока не появился FastAPI — новый модный фреймворк, который появился в далеком 2018 году, но который разработчики распробовали только в 2021 (судя по опросу JetBrains).
FastAPI — относительно новый веб-фреймворк, написанный на языке программирования Python для создания REST (а если сильно постараться то и GraphQL) API, основанный на новых возможностях Python 3.6+, таких как: подсказки типов (type-hints), нативная асинхронность (asyncio). Помимо всего прочего, FastAPI плотно интегрируется с OpenAPI-schema и автоматически генерирует документацию для вашего API посредством Swagger и ReDoc
О любви разработчиков к FastAPI можно судить по опросу Stack Overflow (66 000 респондентов) . Наиболее привлекательным фреймворком для разработчиков в 2021 году стал FastAPI. 70% респондентов заинтересовались им, а вот интерес к Django в 2021 году составил лишь 55%, Flask — 51%.
Думаю, интерес к FastAPI можно легко объяснить его простотой и «фишечками». Фреймворк отвечает большинству хотелок разработчиков и действительно приятен в использовании. Однако, не стоит забывать и про бизнес: его раскачать и перевести на новые технологии так быстро не получится (да и не всегда нужно). Поэтому «старичками» мы будем интересоваться еще достаточно долго.
Кого больше гуглят?
Если покопаться в Google Trends и Яндекс Wordstat, то тоже можно получить интересные корреляции. Например, если изучить мировой спрос на разные Python-фреймворки в Google, то получается, что FastAPI искали в 2022 на 50% чаще по сравнению с 2021 годом, и это единственный фреймворк, который искали чаще.
В Яндекс Wordstat ситуация аналогичная: самый большой рост количества запросов у FastAPI, но при этом больше всего ищут Pandas, Django и NumPy.
А что с рынком вакансий?
Python используется не только для Web-разработки, но и применим для анализа данных и машинного обучения. Но что происходит с рынком вакансий?
Дисклеймер: данные по резюме актуальны на конец марта 2022 года
Мы проанализировали вакансии и резюме на HH. RU и поняли, что среди 4500 вакансий с упоминанием стека Python 42,8% из них относятся к web-разработке, 32,3% к Data Engineering, 24,9% — Data Science. Но спрос на данные вакансии не удовлетворен. Особенно по DE. На 1152 вакансии всего 74 резюме.
Как мы понимали, какая вакансия относится к Web, а какая к DE и DS?
В исследовании мы договорились, что будем считать, что FastAPI, Django и Flask будем относить к Web, Hadoop, Spark — к Data Engineering, а NumPy и Pandas к Data Science. Мы искали каждый фреймворк отдельно в HH, а потом объединяли результаты.
Если брать направление направление Web, то мы видим, что вакансий, где указан фреймворк FastAPI (356), намного меньше чем Django (989) и Flask (627). Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Если говорить об удовлетворенности спроса, то самая неудовлетворенная область — это DE, а больше всего спрос удовлетворен в DS.
Здесь так же интересно посмотреть на сами вакансии: в большинстве случаев список задач — сборная солянка из dev и ops работы. Кто-то просит настраивать кластера, кто-то помогать писать код разработчикам, кто-то оптимизировать алгоритмы. Кажется, что если отобрать только «чистые» DE вакансии, цифры вполне могут сравняться.В целом есть ощущение, что DE как выделенное направление до нас еще просто не дошло. Ну или каждый понимает эту роль по своему.
В США обратная ситуация. Если апеллировать к данным с LinkedIn, то наибольший интерес работодателей направлен на Data Engineering. Это связано с тем, что в США «собирать данные» начали еще в 80-х годах.
Да, популярность Python связана с тем, что он применяется в разных сферах: Data Science, Data Engineering, Web. Чтобы эффективно утилизировать Python, необходимо задуматься о других направлениях. Легче всего из Web можно трансформироваться в DE.
Data-инженерам на заметку
Если вы Python-разработчик, которые хочет перейти в Data Engineering, то этот раздел будет полезен для вас. Мы спарсили HH.ru и выгрузили все вакансии по запросам: «Data Engineer», «Python Hadoop», «Python Spark», «Python Airflow», «Tensor Flow», «Python Pytorch», «Python Lua». Связку TensorFlow+Pytorch+Lua мы специально добавили для сравнения.
Проанализировали полученный массив данных и вот что у нас получилось:
- Среди 1040 вакансий по запросу «Data Engineer» было обнаружено 179 таких же вакансий по запросу «Python Hadoop», 229 по запросу «Python Spark», 249 — «Python Airflow»; 52 — «Tensor Flow», 70 — «PyTorch»; 5 — «Python Lua».
- Airflow — самый популярный. Tensor flow и Pytorch в Data-инженерии занимает 15,5%.
А вот список компаний, которые требуют от Data-инженера владение сразу четырьмя фреймворками одновременно (Hadoop, Spark, Airflow, TensorFlow/PyTorch).
Какие отрасли хантят DE специалистов больше всего? IT, Финтех, Телеком:
Не думаю, что стоит бросать все и переучиваться в DE — вряд ли в ближайшее время Web сильно потеряет свою необходимость и будет смещен с рынка. Однако, следить за тенденциями и подстраиваться под текущие реалии никогда не будет лишним. В целом мы уже взяли вектор на развитие DE экспертизы внутри команды, тем более что технологии этого стека могут использоваться и для наших текущих задач. Например, недавно для одного из наших проектов мы развернули Airflow, т. к. он лучше всего подходил под нашу задачу.
Вместо итогов
Python активно используют не только в WEB, но и в Data Science, и в Data Engineering. Этот тезис подтверждают данные по опросу JetBrains, а также собственный анализ вакансий на HH. ru. Этим и обусловлена популярность Python, т. к. он охватывает сразу несколько направлений.
Python в Web. FastAPI наиболее привлекательный для разработчиков фреймворк в 2021 году (согласно опросу Developer Survey 70% респондентов отметили, что интересуются данным фреймворком) . Согласно запросам в Google и Яндекс в 2021-2022 гг. у FastAPI наибольший темп роста. Но вакансий по данному фреймворку мало. Это говорит о том, что фреймворк был оценен разработчиками внутри IT, но до компаний разных отраслей он еще не дошел.
Data Engineering. Среди 4500 вакансий по Python ⅓ занимают вакансии по DE. Большой спрос на DE среди компаний, но на рынке мало специалистов.
Самые популярные инструменты в вакансиях DE — Airflow, Hadoop, Spark. Airflow — в наибольшей степени.