Где брать открытые данные для учебных проектов

Какие бывают источники

Государственная статистика. Демография, экономика, здравоохранение, транспорт. Данные надёжные, но выгрузки часто неудобные, а обновляются медленно.

Порталы открытых данных городов. Общественный транспорт, благоустройство, происшествия, обращения жителей. Самое интересное для учебных работ: данные локальные, понятные и позволяют делать выводы про место, где вы живёте.

Публичные интерфейсы сервисов. Погода, курсы валют, справочники, картография. Хороши тем, что данные свежие и можно построить проект, который обновляется сам.

Наборы для соревнований по анализу. Готовые, чистые, с описанием. Удобно для тренировки, но для портфолио плохи: их использовали тысячи людей.

Собственный сбор. Написать программу, которая собирает данные из открытого источника. Ценится выше всего, потому что показывает не только анализ, но и умение добыть данные.

Как выбрать набор

Ищите вопрос, а не данные. Сначала придумайте, что хотите выяснить, потом ищите, чем это подтвердить. Обратный путь даёт работы без вывода.

Берите то, в чём разбираетесь. Данные из знакомой области вы читаете иначе: замечаете странности и понимаете, что значит цифра.

Проверьте объём. Тысяча строк — маловато для выводов. Десять миллионов — тяжело для первой работы. Разумная середина: десятки-сотни тысяч.

Проверьте, есть ли что сравнивать. Данные за один месяц скучны. Данные за несколько лет или по нескольким регионам позволяют увидеть закономерность.

Что проверить до начала

Условия использования. У открытых данных обычно свободная лицензия, но у части источников есть ограничения. Для учебной работы это редко проблема, но посмотреть стоит.

Полноту. Откройте и посмотрите, сколько пустых значений. Набор, где половина полей пустая, превратит работу в мучение.

Единообразие. Классическая беда: в одном году город записан как «Санкт-Петербург», в другом как «СПб», в третьем с опечаткой. Это придётся чистить, и это нормальная часть работы — но объём стоит оценить заранее.

Дубли. Проверьте, нет ли повторов записей. Они портят все расчёты.

Понятность полей. Если к набору нет описания и непонятно, что означает колонка, лучше взять другой.

Про чистку данных

Готовьтесь к тому, что она займёт больше половины времени. Это не признак плохого набора, а обычная реальность работы аналитика.

Что делать обязательно: описать, что вы вычистили и почему. Отброшенные записи, заполненные пропуски, приведённые к одному виду названия — всё это часть работы, и в портфолио это надо показать. Аналитик, который честно рассказывает про качество исходных данных, вызывает доверие.

Идеи вопросов

Чтобы не искать долго:

• Как менялась загруженность общественного транспорта по районам?
• Есть ли связь между благоустройством и числом обращений жителей?
• Какие товары дорожают быстрее общей инфляции?
• Как распределяются происшествия по времени суток и дням недели?
• Отличается ли структура расходов в разных регионах?

Общее у всех: понятный вопрос, доступные данные, вывод, который можно сформулировать одной фразой.