Проект машина: «Скептики появляются вокруг тех проектов, у которых есть будущее» — Личный опыт на vc.ru

С расширением OTT-платформ, таких как Netflix, Amazon Prime, люди предпочитают смотреть контент так, как им удобно. Такие факторы, как цена, качество контента и маркетинг, повлияли на успех этих платформ.

Стоимость создания полнометражного фильма в последнее время резко выросла.Только 10% снятых фильмов приносят прибыль. Жесткая конкуренция со стороны платформ телевидения и OTT наряду с высокой стоимостью билетов еще больше усложнила зарабатывание денег фильмами. Повышение стоимости билета в театр (вместе со стоимостью попкорна) оставляет кинозал пустым.

Продвинутая система ценообразования билетов определенно может помочь создателям фильмов и зрителям. Цена билета может быть выше с ростом спроса на билет и наоборот. Чем раньше зритель закажет билет, тем меньше будет стоимость фильма, пользующегося большим спросом.Система должна грамотно рассчитывать цены в зависимости от интереса зрителей, социальных сигналов и факторов спроса и предложения.

Одна из лучших идей, чтобы начать экспериментировать с практическими проектами машинного обучения для студентов, — это работа над проектом ML по классификации Ирис Флауэрс. Набор данных цветов ириса — один из лучших наборов данных для задач классификации. Поскольку цветы ириса бывают разных видов, их можно отличить по длине чашелистиков и лепестков.Этот проект ML направлен на разделение цветов на три вида — Virginica, Setosa или Versicolor.

Этот конкретный проект машинного обучения обычно называют «Привет, мир» машинного обучения. Набор данных цветов радужки содержит числовые атрибуты, и он идеально подходит для начинающих, чтобы узнать о контролируемых алгоритмах машинного обучения, в основном о том, как загружать и обрабатывать данные. Кроме того, поскольку это небольшой набор данных, он легко помещается в памяти, не требуя специальных преобразований или возможностей масштабирования.И это идеальная идея для вашего следующего проекта машинного обучения!

Вы можете скачать набор данных радужной оболочки здесь.

Это отличная идея проекта машинного обучения для начинающих. Этот проект машинного обучения лучше всего подходит для изучения того, как работают неконтролируемые алгоритмы машинного обучения. Набор данных о продажах BigMart состоит именно из данных о продажах за 2013 год для 1559 продуктов в десяти торговых точках в разных городах.

Цель состоит в том, чтобы использовать набор данных о продажах BigMart для разработки модели регрессии, которая может предсказать продажи каждого из 1559 продуктов в следующем году в десяти различных торговых точках BigMart.Набор данных о продажах BigMart содержит определенные атрибуты для каждого продукта и торговой точки, тем самым помогая вам понять свойства различных продуктов и магазинов, которые влияют на общие продажи BigMart как бренда.

Системы рекомендаций стали чрезвычайно популярными на сайтах онлайн-покупок и потоковых трансляций. Например, платформы потокового онлайн-контента, такие как Netflix и Hulu, имеют механизмы рекомендаций для настройки своего контента в соответствии с индивидуальными предпочтениями клиентов и историей просмотров.Приспосабливая контент для удовлетворения потребностей и предпочтений различных клиентов при просмотре, эти сайты смогли повысить спрос на свои потоковые сервисы.

Как новичок, вы можете попробовать свои силы в создании системы рекомендаций, используя один из самых популярных наборов данных, доступных в Интернете — набор данных MovieLens. Этот набор данных включает более «25 миллионов оценок и один миллион приложений тегов, примененных к 62 000 фильмам 162 000 пользователей». Вы можете начать этот проект с создания облачной визуализации названий фильмов для создания механизма рекомендаций фильмов для MovieLens.

Вы можете ознакомиться с набором данных MovieLens здесь.

Это общепризнанный факт, что возраст делает вино лучше: чем старше вино, тем лучше его вкус. Однако возраст — не единственное, что определяет вкус вина. Сертификат качества вина определяется множеством факторов, включая физико-химические тесты, такие как количество алкоголя, фиксированная кислотность, летучая кислотность, плотность и уровень pH и многие другие.

В этом проекте машинного обучения вам необходимо разработать модель машинного обучения, которая может исследовать химические свойства вина для прогнозирования его качества. Набор данных о качестве вина, который вы будете использовать в этом проекте, состоит из примерно 4898 наблюдений, включая 11 независимых переменных и одну зависимую переменную. Упоминание проектов машинного обучения за последний год поможет вашему резюме выглядеть намного интереснее, чем другие.

Это один из интересных проектов машинного обучения.Глубокое обучение и нейронные сети нашли применение во многих реальных приложениях, таких как распознавание изображений, автоматическое создание текста, автомобили без водителя и многое другое. Однако, прежде чем углубляться в эти сложные области глубокого обучения, вам следует начать с простого набора данных, такого как набор данных MNIST. Итак, почему бы не использовать свои навыки для разработки впечатляющего проекта машинного обучения на основе MNIST?

Проект классификации цифр MNIST разработан для обучения машин распознаванию рукописных цифр.Поскольку новичкам обычно сложно работать с данными изображений над плоскими реляционными данными, набор данных MNIST лучше всего подходит для новичков. В этом проекте вы будете использовать наборы данных MNIST для обучения вашей модели машинного обучения с помощью сверточных нейронных сетей (CNN). Хотя набор данных MNIST может легко поместиться в памяти вашего ПК (он очень мал), задача распознавания рукописных цифр является довольно сложной задачей.

Здесь вы можете получить доступ к набору данных MNIST.

Это одна из самых популярных идей для проектов машинного обучения.Набор данных смартфона включает записи о фитнес-активности и информацию о 30 человек. Эти данные были получены с помощью смартфона, оснащенного инерциальными датчиками.

Этот проект машинного обучения направлен на создание модели классификации, которая может идентифицировать фитнес-действия человека с высокой степенью точности. Работая над этим проектом машинного обучения, вы узнаете основы классификации, а также научитесь решать задачи множественной классификации.

Это один из интересных проектов по машинному обучению.Когда дело доходит до классификации изображений, вам следует выбрать глубокие нейронные сети (DNN). Хотя DNN уже используются во многих реальных приложениях для классификации изображений, этот проект ML направлен на то, чтобы поднять его на ступеньку выше.

В этом проекте ML вы решите проблему обнаружения объектов, используя DNN. Вам нужно будет разработать модель, которая может как классифицировать объекты, так и точно локализовать объекты разных классов. Здесь вы будете рассматривать задачу обнаружения объекта как проблему регрессии для масок ограничивающей рамки объекта.Кроме того, вы определите многомасштабную процедуру логического вывода, которая может генерировать обнаружение объектов с высоким разрешением с минимальными затратами.

Это одна из отличных идей проекта машинного обучения для новичков, особенно когда фейковые новости распространяются со скоростью лесного пожара. Фейковые новости имеют свойство распространяться со скоростью лесного пожара. А сейчас, когда в нашей жизни доминируют социальные сети, стало как никогда важно отличать фейковые новости от реальных новостных событий.Здесь может помочь машинное обучение. Facebook уже использует ИИ для фильтрации фейковых и спам-историй из лент пользователей.

Этот проект машинного обучения направлен на использование методов NLP (обработки естественного языка) для обнаружения фальшивых новостей и вводящих в заблуждение историй, которые появляются из не заслуживающих доверия источников. Вы также можете использовать классический подход к классификации текста, чтобы разработать модель, которая может различать настоящие и фальшивые новости. В последнем методе вы можете собирать наборы данных как для настоящих, так и для фальшивых новостей и создавать модель машинного обучения с использованием классификатора Наивного Байеса для классификации новостей как мошеннических или реальных на основе используемых в них слов и фраз.

Набор данных электронной почты Enron содержит почти 500 000 писем от более чем 150 пользователей. Это чрезвычайно ценный набор данных для обработки естественного языка. Этот проект включает построение модели машинного обучения, которая использует алгоритм кластеризации k-средних для обнаружения мошеннических действий. Модель разделит наблюдения на «k» кластеров в соответствии с аналогичными шаблонами в наборе данных.

Набор данных о болезни Паркинсона включает 195 биомедицинских записей о людях с 23 различными характеристиками.Идея этого проекта состоит в том, чтобы разработать модель машинного обучения, которая сможет различать здоровых людей и людей, страдающих болезнью Паркинсона. Для разделения в модели используется алгоритм XGboost (экстремальное усиление градиента), основанный на деревьях решений.

Набор данных Flickr 30K состоит из более чем 30 000 изображений, каждое из которых имеет уникальный заголовок. Вы будете использовать этот набор данных для создания генератора подписей к изображениям. Идея состоит в том, чтобы построить модель CNN, которая может эффективно анализировать и извлекать особенности из изображения и создавать подходящую подпись, описывающую изображение на английском языке.

Как следует из названия, набор данных о клиентах торгового центра включает записи людей, которые посетили торговый центр, такие как пол, возраст, идентификатор клиента, годовой доход, оценка расходов и т. Д. Вы создадите модель, которая будет использовать эти данные для сегментации клиентов в разные группы в зависимости от их моделей поведения. Такая сегментация клиентов — очень полезная маркетинговая тактика, используемая брендами и маркетологами для увеличения продаж и доходов, а также повышения удовлетворенности клиентов.

Для этого проекта вы будете использовать обширный набор данных, который включает три отдельных набора данных — Kinetics 400, Kinetics 600 и Kinetics 700 — содержащих URL-ссылки на более 6,5 миллионов высококачественных видео. Ваша цель — создать модель, которая может обнаруживать и идентифицировать действия человека, изучая серию различных наблюдений.

Это обширная коллекция наборов данных, содержащая широкий спектр наборов данных, собранных с популярных веб-сайтов, таких как обзоры книг Goodreads, обзоры продуктов Amazon, социальные сети и т. Д.Ваша цель — создать механизм рекомендаций (например, те, что используются Amazon и Netflix), который может генерировать персонализированные рекомендации для продуктов, фильмов, музыки и т. Д. На основе предпочтений, потребностей и поведения клиентов в Интернете.

Набор данных о жилье в Бостоне состоит из сведений о различных домах в Бостоне на основе таких факторов, как налоговая ставка, уровень преступности, количество комнат в доме и т. Д. Это отличный набор данных для прогнозирования цен на различные дома в Бостоне.В этом проекте вы построите модель, которая может прогнозировать цену нового дома с помощью линейной регрессии. Линейная регрессия лучше всего подходит для этого проекта, поскольку она используется там, где данные имеют линейную связь между входными и выходными значениями и когда входные данные неизвестны.

Этот набор данных с открытым исходным кодом включает высококачественные пиксельные аннотации видеопоследовательностей, собранных с улиц в 50 разных городах. Это очень полезно для семантического анализа.Вы можете использовать этот набор данных для обучения глубоких нейронных сетей анализу и пониманию городского пейзажа. Проект включает в себя создание модели, которая может выполнять сегментацию изображения и идентифицировать различные объекты (автомобили, автобусы, грузовики, деревья, дороги, людей и т. Д.) Из уличной видеопоследовательности.

Youtube 8M — это огромный набор данных, содержащий 6,1 миллиона идентификаторов видео YouTube, 350 000 часов видео, 2,6 миллиарда аудио / визуальных функций, 3862 класса и в среднем по 3 метки для каждого видео.Он широко используется для проектов классификации видео. В этом проекте вы создадите систему классификации видео, которая сможет точно описать видео. Он рассмотрит ряд различных входов и классифицирует видео по отдельным категориям.

Набор данных городского звука 8K используется для классификации звука. Он включает в себя разнообразную коллекцию из 8732 городских звуков, принадлежащих разным классам, таких как сирены, уличная музыка, лай собак, щебетание птиц, разговоры людей и т. Д.Вы создадите модель классификации звука, которая может автоматически определять, какой городской звук воспроизводится в

Этот помеченный набор данных, вероятно, является одной из самых обширных коллекций изображений лиц, собранных из IMDB и Википедии. В нем более 5 миллионов изображений лиц с указанием возраста и пола. с указанием пола и возраста. Вы создадите модель, которая сможет распознавать лица и точно предсказывать их возраст и пол. Вы можете создавать разные возрастные сегменты / диапазоны, например 0-10, 10-20, 30-40 и так далее.

Набор данных librispeech — это массивная коллекция английских речей, созданная в рамках проекта LibriVox. Он содержит читаемые на английском языке речи с различными акцентами, которые охватывают более 1000 часов, и является идеальным инструментом для распознавания речи. Основное внимание в этом проекте уделяется созданию модели, которая может автоматически переводить звук в текст. Вы создадите систему распознавания речи, которая сможет определять английскую речь и переводить ее в текстовый формат.

Этот набор данных содержит более 50 000 изображений дорожных знаков, разделенных на 43 класса и содержащих информацию о ограничивающей рамке каждого дорожного знака. Он идеально подходит для мультиклассовой классификации, и именно на этом вы сосредоточитесь здесь. Вы создадите модель, используя структуру глубокого обучения, которая может распознавать ограничивающую рамку знаков и классифицировать дорожные знаки. Проект может быть чрезвычайно полезен для автономных транспортных средств, поскольку он обнаруживает знаки и помогает водителям предпринимать необходимые действия.

29. Обобщение текста видеотекста спортивного матча

Этот проект именно такой, как звучит — получение точного и лаконичного резюме спортивного видео. Это полезный инструмент для спортивных сайтов, который информирует читателей об основных моментах матча. Поскольку нейронные сети лучше всего подходят для суммирования текста, вы создадите эту модель, используя сети глубокого обучения, такие как 3D-CNN, RNN и LSTM. Сначала вы фрагментируете спортивное видео на несколько разделов, используя соответствующие алгоритмы машинного обучения, а затем воспользуетесь комбинацией SVM (опорных векторных машин), нейронных сетей и алгоритма k-средних.

30. Генератор сводки деловой встречи

Обобщение включает в себя краткое и сжатое извлечение наиболее значимой и ценной информации из разговоров, аудио / видео файлов и т. Д. Обычно это делается с помощью функции, фиксирующей статистические, лингвистические и сентиментальные черты с диалоговой структурой рассматриваемого разговора. В этом проекте вы будете использовать методы глубокого обучения и обработки естественного языка для создания точных резюме деловых встреч, сохраняя при этом контекст всего разговора.

31. Анализ настроений при депрессии

Депрессия — серьезная проблема для здоровья во всем мире. Каждый год миллионы людей кончают жизнь самоубийством из-за депрессии и плохого психического здоровья. Обычно двумя основными причинами этого являются стигма, связанная с проблемами психического здоровья и несвоевременное лечение. В этом проекте вы будете использовать данные, собранные с различных платформ социальных сетей, и анализировать лингвистические маркеры в сообщениях в социальных сетях, чтобы понять психическое здоровье людей.Идея состоит в том, чтобы создать модель глубокого обучения, которая может предложить ценные и точные сведения о психическом здоровье намного раньше, чем традиционные методы.

32. Рукописный решатель уравнений

Распознавание рукописных математических выражений — важная область исследований в области компьютерного зрения. Вы построите модель и научите ее решать написанные от руки математические уравнения с помощью сверточных нейронных сетей. Модель также будет использовать методы обработки изображений.Этот проект включает обучение модели с использованием правильных данных, чтобы научить ее читать рукописные цифры, символы и т. Д., Чтобы получать правильные результаты для математических уравнений разного уровня сложности.

33. Распознавание лиц для определения настроения и рекомендации песен

Это известный факт, что люди слушают музыку в зависимости от своего текущего настроения и чувств. Итак, почему бы не создать приложение, которое может определять настроение человека по выражению лица и соответственно рекомендовать песни? Для этого вы будете использовать элементы и техники компьютерного зрения.Цель состоит в том, чтобы создать модель, которая может эффективно использовать компьютерное зрение, чтобы помочь компьютерам получить высокоуровневое понимание изображений и видео.

34. Музыкальный генератор

Музыкальное произведение — это не что иное, как мелодичное сочетание разных частотных уровней. В этом проекте вы создадите автоматический музыкальный генератор, который может составлять короткие музыкальные произведения с минимальным вмешательством человека. Вы будете использовать алгоритмы глубокого обучения и сети LTSM для создания этого музыкального генератора.

35. Система прогнозирования заболеваний

Этот проект ML предназначен для прогнозирования заболеваний. Вы создадите эту модель с помощью R and R Studio и набора данных по раку молочной железы, штат Висконсин (диагностический). Этот набор данных включает два класса предикторов — доброкачественное и злокачественное новообразование груди. Для работы над этим проектом важно иметь базовые знания о случайных лесах и XGBoost.

36. В поисках обитаемой экзопланеты

За последнее десятилетие нам удалось идентифицировать множество транзитных и экзопланет.Поскольку ручная интерпретация потенциальных экзопланет довольно сложна и требует много времени (не стоит забывать, что она также подвержена человеческим ошибкам), лучше всего использовать глубокое обучение для идентификации экзопланет. Этот проект направлен на то, чтобы выяснить, есть ли вокруг нас какие-либо обитаемые экзопланеты, используя CNN и зашумленные данные временных рядов. Этот метод может идентифицировать обитаемые экзопланеты с большей точностью, чем метод наименьших квадратов.

37. Регенерация изображения для старых и поврежденных катушек

Восстановление старых или поврежденных катушек с картинками — сложная задача.Вернуть старые фотографии в исходное состояние практически всегда невозможно. Однако глубокое обучение может решить эту проблему. Вы создадите модель глубокого обучения, которая сможет определять дефекты изображения (потертости, отверстия, складки, обесцвечивание и т. Д.) И использовать алгоритмы Inpainting для их восстановления. Вы даже можете раскрасить старые черно-белые изображения.

Этот исследовательский проект направлен на изучение приложений машинного обучения в процессе создания искусства и музыки.Вы разработаете уникальные алгоритмы обучения с подкреплением и глубокого обучения, которые могут генерировать изображения, песни, музыку и многое другое. Это идеальный проект для творческих людей, увлеченных искусством и музыкой.

BluEx — одна из ведущих логистических компаний в Индии, которая приобрела немало фанатов благодаря своевременным и эффективным поставкам. Однако, как и все поставщики логистических услуг, BluEx сталкивается с одной конкретной проблемой, требующей как времени, так и денег, — его водители не часто выбирают оптимальные пути доставки, что вызывает задержки и приводит к более высоким расходам на топливо.Вы создадите модель машинного обучения, используя обучение с подкреплением, которое может найти наиболее эффективный путь для конкретного места доставки. Это может сэкономить до 15% стоимости топлива для BluEx.

Motion Studios может похвастаться тем, что является крупнейшим в Европе производителем радио с доходом более миллиарда долларов. С тех пор, как медиакомпания запустила свое реалити-шоу RJ Star, они получили феноменальный отклик и наводнены голосовыми клипами. Поскольку это реалити-шоу, период выбора кандидатов ограничен.Вы построите модель, которая сможет различать мужские и женские голоса, и классифицируйте голосовые фрагменты, чтобы облегчить более быструю фильтрацию. Это поможет ускорить отбор, облегчая задачу руководителей выставки.

Lithionpower производит аккумуляторы для электромобилей. Обычно водители берут в аренду фирменные аккумуляторы на сутки и заменяют их заряженными. Срок службы батареи зависит от таких факторов, как пройденное расстояние в день, превышение скорости и т. Д. LithionPower использует модель переменной цены, основанную на истории вождения водителя.Цель этого проекта — построить модель кластера, которая будет группировать водителей в соответствии с их историей вождения и стимулировать водителей на основе этих кластеров. Хотя это увеличит прибыль на 15-20%, это также приведет к увеличению платы за водителей с плохим стажем вождения.

Вот полный список идей проекта машинного обучения . Машинное обучение во всем мире все еще находится на ранней стадии. Есть много проектов, которые нужно сделать, и многое нужно улучшить.С умным умом и острыми идеями системы поддержки бизнеса становятся лучше, быстрее и прибыльнее. Если вы хотите преуспеть в машинном обучении, вы должны получить практический опыт работы с такими проектами машинного обучения.

Вы также можете проверить нашу программу расширенного сертификата по машинному обучению от IIT Delhi . IIT Delhi — одно из самых престижных учебных заведений Индии. С более чем 500 штатными преподавателями, которые являются лучшими в своих предметах.

Только работая с инструментами машинного обучения и алгоритмами машинного обучения, вы можете понять, как в действительности работают инфраструктуры машинного обучения. Теперь приступайте к тестированию всех знаний, которые вы накопили в нашем руководстве по идеям проектов машинного обучения, чтобы создать свои собственные проекты машинного обучения !

Насколько легко реализовать эти проекты?

Эти проекты очень простые, и кто-то с хорошим знанием машинного обучения может легко выбрать и завершить любой из этих проектов.

Могу ли я заниматься этим проектом на стажировке ML?

Да, как уже упоминалось, эти проектные идеи в основном предназначены для студентов или начинающих. Существует высокая вероятность того, что вы поработаете над любой из этих проектных идей во время стажировки.

Зачем нам нужно создавать проекты машинного обучения?

Когда дело доходит до карьеры в разработке программного обеспечения, начинающие разработчики обязаны работать над своими собственными проектами.Разработка реальных проектов — лучший способ отточить свои навыки и претворить теоретические знания в практический опыт.

Возглавьте технологическую революцию, основанную на искусственном интеллекте

Диплом PG в области машинного обучения и искусственного интеллекта

Организация проектов машинного обучения: руководство по управлению проектами.

Цель этого документа — предоставить общую основу для подхода к проектам машинного обучения, на которую могут ссылаться специалисты-практики. Если вы создаете модели машинного обучения, этот пост для вас. Если вы сотрудничаете с людьми, которые создают модели машинного обучения, я надеюсь, что это руководство даст вам хорошее представление об общем рабочем процессе проекта. Предполагается знание машинного обучения.

Обзор

Этот обзор призван служить «контрольным списком» проекта для практиков машинного обучения.В последующих разделах будет представлена ​​более подробная информация.

Жизненный цикл проекта
Проекты машинного обучения очень итеративны; По мере прохождения жизненного цикла машинного обучения вы обнаружите, что повторяете раздел до тех пор, пока не достигнете удовлетворительного уровня производительности, а затем перейдете к следующей задаче (которая может возвращаться к еще более раннему шагу). Более того, проект не завершен после того, как вы отправите первую версию; вы получаете обратную связь от реальных взаимодействий и переопределяете цели для следующей итерации развертывания.

1. Планирование и настройка проекта
   • Определите задачу и объем требований
   • Определить осуществимость проекта
   • Обсуждение общих компромиссов модели (точность и скорость)
   • Настроить кодовую базу проекта
2. Сбор данных и маркировка
   • Определить основную истину (создать маркировочную документацию)
   • Построить конвейер приема данных
   • Проверить качество данных
   • Обозначьте данные и убедитесь, что достоверность информации четко определена
   • Повторите шаг 1 и убедитесь, что данных достаточно для задачи
3. Исследование модели
   • Установить базовые параметры производительности модели
   • Начните с простой модели с использованием конвейера исходных данных
   • Подгонка простой модели к обучающим данным
   • Оставайтесь проворными и пробуйте множество параллельных (изолированных) идей на ранних стадиях
   • Найдите модель SoTA для вашей проблемной области (если доступна) и воспроизведите результаты, затем примените к вашему набору данных в качестве второго базового уровня
   • Еще раз вернуться к шагу 1 и убедиться в целесообразности
   • Повторите шаг 2 и убедитесь, что качество данных достаточное.
4. Доработка модели
   • Выполните оптимизацию для конкретной модели (т. Е.гиперпараметрическая настройка)
   • Итеративная отладка модели по мере увеличения сложности
   • Выполните анализ ошибок, чтобы выявить типичные виды отказов
   • Повторите этап 2 для целевого сбора данных и маркировки наблюдаемых видов отказов
5. Тестирование и оценка
   • Оценить модель при тестовом распределении; понимать различия между распределением обучающего и тестового набора (чем «данные в дикой природе» отличаются от того, на чем вы обучались)
   • Пересмотреть метрику оценки модели; убедитесь, что этот показатель определяет желаемое поведение последующих пользователей.
   • Написать тесты для:
     • Конвейер входных данных
     • Функциональные возможности вывода модели
     • Выполнение логического вывода модели по данным валидации
     • Явные сценарии, ожидаемые в производстве (модель оценивается на основе тщательно подобранного набора наблюдений)
6. Развертывание модели
   • Раскрыть модель через REST API
   • Разверните новую модель для небольшой группы пользователей, чтобы убедиться, что все идет гладко, а затем разверните ее для всех пользователей
   • Сохранение возможности отката модели к предыдущим версиям
   • Мониторинг распределения данных в реальном времени и прогнозирования модели
7. Текущее обслуживание модели
   • Поймите, что изменения могут неожиданным образом повлиять на систему
   • Периодически переобучайте модель для предотвращения устаревания модели
   • Если есть передача права собственности на модель, обучите новую команду

Командные роли

Типичная команда состоит из:

• инженер по данным (строит конвейеры приема данных)
• Инженер по машинному обучению (обучение и повторение моделей для выполнения задачи)
• инженер-программист (помогает интегрировать модель машинного обучения с остальной частью продукта)
• менеджер проекта (основная точка контакта с клиентом)

Планирование и настройка проекта

Может возникнуть соблазн пропустить этот раздел и сразу погрузиться в «просто посмотреть, на что способны модели».Не пропускайте этот раздел. Слишком часто вы будете терять время, откладывая обсуждение целей проекта и критериев оценки модели. Все должны стремиться к общей цели с самого начала проекта.

Стоит отметить, что определить задачу модели не всегда просто. Часто существует множество различных подходов к решению проблемы, и не всегда сразу видно, какой из них является оптимальным. Если ваша проблема расплывчата, а задача моделирования не ясна, перейдите к моему сообщению об определении требований для проектов машинного обучения, прежде чем продолжить.

Приоритетность проектов

Идеально: проект имеет высокую отдачу и высокую рентабельность.

Ментальные модели для оценки воздействия проекта:

• Ищите места, где дешевые прогнозы приносят большие выгоды
• Ищите сложное программное обеспечение, основанное на правилах, где мы можем изучать правила, а не программировать их

При оценке проектов может быть полезно иметь общий язык и понимать различия между традиционным программным обеспечением и программным обеспечением для машинного обучения.По этой теме рекомендуется прочитать «Программное обеспечение 2.0 Андрея Карпарти».

Программное обеспечение 1.0

• Явные инструкции для компьютера, написанные программистом с использованием языка программирования , такого как Python или C ++. Человек пишет логику таким образом, что, когда системе будут предоставлены данные, она будет выводить желаемое поведение.

Программное обеспечение 2.0

• Неявные инструкции путем предоставления данных, «записанных» алгоритмом оптимизации с использованием параметров указанной архитектуры модели.Системная логика изучена из предоставленного набора примеров данных и их соответствующего желаемого поведения.

См. Этот доклад для более подробной информации.

Небольшая заметка о программном обеспечении 1.0 и программном обеспечении 2.0 — эти две парадигмы не являются взаимоисключающими. Программное обеспечение 2.0 обычно используется для масштабирования компонента logic традиционных программных систем за счет использования больших объемов данных для обеспечения более сложной или детализированной логики принятия решений.

Например, Джефф Дин рассказывает (в 27:15) о том, что код для Google Translate был очень сложной системой, состоящей из ~ 500 тыс. Строк кода. Google смог упростить этот продукт, используя модель машинного обучения для выполнения основной логической задачи перевода текста на другой язык, для описания модели требовалось всего ~ 500 строк кода. Однако для этой модели по-прежнему требуется код «Программное обеспечение 1.0» для обработки запроса пользователя, вызова модели машинного обучения и возврата пользователю желаемой информации.

Таким образом, машинное обучение может принести большую пользу в приложениях, где людям сложно или сложно написать логику принятия решений, но относительно легко научиться машинам. В связи с этим мы перейдем к следующему разделу, чтобы обсудить, как оценить, является ли задача «относительно простой» для обучения машинам.

Определение осуществимости

Несколько полезных вопросов, которые следует задать при определении осуществимости проекта:

• Стоимость сбора данных
  • Насколько сложно получить данные?
  • Сколько стоит маркировка данных?
  • Сколько данных потребуется?
• Цена неверных прогнозов
  • Как часто система должна быть правильной, чтобы быть полезной?
  • Существуют ли сценарии, в которых неверный прогноз требует больших затрат?
• Наличие хорошо опубликованных работ по аналогичным проблемам
  • Проблема сведена к практике?
  • Достаточно ли литературы по этой проблеме?
  • Есть ли предварительно обученные модели, которые мы можем использовать?
• Вычислительные ресурсы, доступные как для обучения, так и для вывода
  • Будет ли модель развернута в среде с ограниченными ресурсами?
  • Каковы требования к задержке для модели?

Определение требований к проекту

Установите единую метрику оптимизации стоимости для проекта.Может также включать несколько других удовлетворительных показателей (например, пороговые значения производительности) для оценки моделей, но может только оптимизировать единственную метрику.

Пример:

• Оптимизировать для точности
• Задержка прогнозирования менее 10 мс
Модель
• требует не более 1 ГБ памяти
• 90% покрытие (достоверность модели превышает требуемый порог, чтобы прогноз можно было считать действительным)

Показатель оптимизации может быть взвешенной суммой многих вещей, которые нас волнуют.Вернитесь к этой метрике по мере повышения производительности.

Некоторые команды могут проигнорировать определенное требование в начале проекта с целью пересмотра своего решения (для соответствия игнорируемым требованиям) после того, как они обнаружат многообещающий общий подход.

Решите, в какой момент вы отправите свою первую модель.

Некоторые команды стремятся к «нейтральному» первому запуску: первому запуску, который явно снижает приоритеты достижений машинного обучения, чтобы не отвлекаться.- Правила машинного обучения Google

Мотивация этого подхода заключается в том, что первое развертывание должно включать простую модель с акцентом на построение правильного конвейера машинного обучения, необходимого для прогнозирования. Это позволяет вам быстро принести пользу и избежать ловушки, когда вы тратите слишком много времени на попытки «выжать сок».

Настройка базы кода ML

Хорошо организованная кодовая база машинного обучения должна разделять обработку данных, определение модели, обучение модели и управление экспериментами.

Пример организации базы кода:

  конфигов /
    baseline.yaml
    latest.yaml
данные/
докер /
название проекта/
  api /
    app.py
  модели /
    base.py
    simple_baseline.py
    cnn.py
  datasets.py
  train.py
  эксперимент.py
скрипты /
  

data / предоставляет место для хранения необработанных и обработанных данных для вашего проекта. Вы также можете включить файл data / README.md , который описывает данные для вашего проекта.

docker / — это место, где можно указать один или несколько файлов Docker для проекта.Docker (и другие контейнерные решения) помогают обеспечить согласованное поведение на нескольких машинах и в разных средах.

api / app.py предоставляет модель через REST-клиент для прогнозов. Скорее всего, вы предпочтете загрузить (обученную) модель из реестра моделей, а не импортировать непосредственно из своей библиотеки.

models / определяет набор моделей машинного обучения для задачи, объединенных общим API, определенным в base.py . Эти модели включают код для любой необходимой предварительной обработки данных и нормализации вывода.

datasets.py управляет построением набора данных. Обрабатывает области конвейерной / промежуточной обработки данных, перемешивание, чтение с диска.

Experiment.py управляет процессом эксперимента по оценке нескольких моделей / идей. Это создает набор данных и модели для данного эксперимента.

train.py определяет фактический цикл обучения модели. Этот код взаимодействует с оптимизатором и обрабатывает ведение журнала во время обучения.

Смотрите другие примеры здесь, здесь, здесь и здесь.

Сбор данных и маркировка

Идеальный конвейер машинного обучения использует данные, которые сами себя маркируют. Например, у Tesla Autopilot есть работающая модель, которая предсказывает, когда автомобили собираются врезаться в вашу полосу движения. Чтобы систематически собирать помеченные данные, вы можете просто наблюдать, когда автомобиль переходит с соседней полосы на полосу движения Tesla, а затем перематывать видеопоток, чтобы обозначить, что автомобиль собирается выехать на полосу.

В качестве другого примера предположим, что Facebook строит модель для прогнозирования взаимодействия с пользователем при принятии решения о том, как расположить вещи в ленте новостей.После обслуживания пользовательского контента на основе прогноза они могут отслеживать взаимодействие и превращать это взаимодействие в маркированное наблюдение без каких-либо человеческих усилий. Тем не менее, просто обязательно продумайте этот процесс и убедитесь, что ваша система «само-маркировки» не застрянет в петле обратной связи сама с собой.

Во многих других случаях мы должны вручную пометить данные для задачи, которую хотим автоматизировать. Качество ваших меток данных имеет большое влияние на верхнюю границу производительности модели.

Вот реальный пример использования работы по улучшению модели и шаги, предпринятые для этого:

— Базовый уровень: 53%
— Логистика: 58%
— Глубокое обучение: 61%
— ** Исправление данных: 77 % **

Некоторая старая добрая мода «понимание ваших данных» стоит своего веса при настройке гиперпараметров!

— Alex Gude (@alex_gude) 24 апреля 2019 г.

Для большинства проектов маркировки данных требуется несколько человек, что требует маркировки документации .Даже если вы единственный, кто маркирует данные, имеет смысл задокументировать свои критерии маркировки, чтобы обеспечить согласованность.

Один из сложных случаев — это когда вы решаете изменить методологию маркировки после того, как пометили данные. Например, в упомянутой ранее речи о программном обеспечении 2.0 Андрей Карпати говорит о данных, которые не имеют четкой и очевидной достоверной информации.

Изображение предоставлено

Если вы столкнетесь с этим, отметьте «трудно маркируемые» примеры таким образом, чтобы вы могли легко найти все похожие примеры, если вы решите изменить свою методологию маркировки в будущем.Кроме того, вы должны версия вашего набора данных и связать данную модель с версией набора данных.

Совет: после разметки данных и обучения исходной модели посмотрите на наблюдения с наибольшей ошибкой. Эти примеры часто плохо помечены.

Активное обучение

Активное обучение полезно, когда у вас есть большой объем немаркированных данных и вам нужно решить, какие данные следует маркировать. Маркировка данных может быть дорогостоящей, поэтому мы хотели бы ограничить время, затрачиваемое на эту задачу.

В качестве контрапункта, если вы можете позволить себе маркировать весь свой набор данных, вам, вероятно, следует это сделать. Активное обучение добавляет еще один уровень сложности.

«Основная гипотеза активного обучения состоит в том, что если алгоритм обучения может выбирать данные, на которых он хочет учиться, он может работать лучше, чем традиционные методы, при значительно меньшем количестве данных для обучения». — DataCamp

Общий доступ:

1. Начиная с немаркированного набора данных, создайте «начальный» набор данных, получив метки для небольшого подмножества экземпляров
2. Обучить исходную модель на исходном наборе данных
3. Предсказать метки оставшихся немаркированных наблюдений
4. Используйте неопределенность прогнозов модели для определения приоритета маркировки оставшихся наблюдений

Использование слабых меток
Однако поручать людям создавать метки наземной достоверности стоит дорого.Часто у вас будет доступ к большим объемам немаркированных данных и ограниченный бюджет на маркировку — как вы можете получить максимальную отдачу от своих данных? В некоторых случаях ваши данные могут содержать информацию, которая дает зашумленную оценку достоверности. Например, если вы категоризируете фотографии в Instagram, у вас может быть доступ к хэштегам, используемым в подписи к изображению. В других случаях у вас могут быть эксперты в предметной области, которые помогут разработать эвристику данных.

Snorkel — интересный проект, созданный лабораторией Stanford DAWN (Data Analytics for What’s Next), который формализует подход к объединению многих зашумленных оценок этикеток в вероятностную основную истину.Я рекомендую вам проверить это и посмотреть, сможете ли вы использовать этот подход для своей проблемы.

Исследование модели

Установите базовые параметры производительности для вашей проблемы. Базовые показатели полезны как для установления нижней границы ожидаемой производительности (базовый уровень простой модели), так и для установления целевого уровня производительности (базовый уровень для человека).

• Простые базовые планы включают готовые модели scikit-learn (то есть логистическую регрессию с параметрами по умолчанию) или даже простую эвристику (всегда предсказывают основной класс).Без этих базовых показателей невозможно оценить ценность дополнительной сложности модели.
• Если ваша проблема хорошо изучена, поищите в литературе приблизительный базовый уровень на основе опубликованных результатов для очень похожих задач / наборов данных.
• Если возможно, попробуйте оценить производительность человека при выполнении данной задачи. Не думайте наивно, что люди справятся с задачей идеально, многие простые задачи обманчиво сложны!

Начните с простого и постепенно увеличивайте сложность. Обычно это подразумевает использование простой модели, но может также включать запуск с более простой версии вашей задачи.

Прежде чем делать что-нибудь умное с «ИИ», сделайте неразумную версию быстро и масштабно.
В худшем случае вы понимаете пределы упрощенного подхода и то, с какими сложностями вам нужно справиться.
В лучшем случае вы понимаете, что вам не нужны накладные расходы интеллекта.

— Smerity (@Smerity) 13 февраля 2019 г.

После запуска модели подгоните один пакет данных. Пока не используйте регуляризацию, так как мы хотим увидеть, имеет ли неограниченная модель достаточные возможности для обучения на основе данных.

Обзор литературы. Найдите статьи на Arxiv, описывающие архитектуры моделей для аналогичных проблем, и поговорите с другими практиками, чтобы узнать, какие подходы были наиболее успешными на практике. Определите современный подход и используйте его в качестве базовой модели (обученной на вашем наборе данных).

Воспроизвести известный результат. Если вы используете хорошо изученную модель, убедитесь, что производительность вашей модели на часто используемом наборе данных соответствует тому, что описано в литературе.

Узнайте, как производительность модели масштабируется с увеличением объема данных. Постройте график производительности модели как функции увеличения размера набора данных для базовых моделей, которые вы исследовали. Наблюдайте, как производительность каждой модели масштабируется по мере увеличения объема данных, используемых для обучения.

Доработка модели

Когда у вас есть общее представление об успешных архитектурах моделей и подходах к решению вашей проблемы, вам следует потратить гораздо больше усилий на то, чтобы добиться от модели прироста производительности.

Создайте масштабируемый конвейер данных. К этому моменту вы определили, какие типы данных необходимы для вашей модели, и теперь можете сосредоточиться на разработке производительного конвейера.

Примените разложение дисперсии смещения, чтобы определить следующие шаги. Разбейте ошибку на: неснижаемую ошибку, предотвратимое смещение (разница между ошибкой поезда и неснижаемой ошибкой), дисперсию (разница между ошибкой валидации и ошибкой поезда) и переобучение набора валидации (разница между ошибкой теста и ошибкой валидации).

• Если обучение на (известном) дистрибутиве отличается от того, что доступно во время тестирования, рассмотрите возможность наличия двух подмножеств проверки : val-train и val-test. Разница между ошибкой val-train и ошибкой val-test описывается сдвигом распределения.
• Адресация оборудования :
  1. Увеличить мощность модели
  2. Уменьшить регуляризацию
  3. Анализ ошибок
  4. Выберите более продвинутую архитектуру (ближе к современной)
  5. Настроить гиперпараметры
  6. Добавить функции
• Адресация переоборудования :
  1. Добавить данные обучения
  2. Добавить регуляризацию
  3. Добавить дополнение данных
  4. Анализ ошибок
  5. Настроить гиперпараметры
  6. Уменьшить размер модели
• Обращение к распределительной смене :
  1. Выполните анализ ошибок, чтобы понять характер сдвига распределения
  2. Синтезировать данные (путем увеличения) для более точного соответствия тестовой раздаче
  3. Применить методы адаптации домена

Используйте случайный поиск гиперпараметров от грубого к точному. Сначала начните с широкого пространства гиперпараметров и итеративно оттачивайте наиболее эффективную область пространства гиперпараметров.

Выполните целевой сбор данных для устранения текущих режимов отказа. Разработайте систематический метод анализа ошибок вашей текущей модели. Если возможно, классифицируйте эти ошибки и соберите дополнительные данные, чтобы лучше охватить эти случаи.

Отладка проектов машинного обучения

Почему ваша модель работает плохо?

• Ошибки реализации
• Выбор гиперпараметров
• Данные / модель подходят
• Построение набора данных

Ключевой образ мышления при поиске и устранении неисправностей DL: пессимизм.

Для эффективного выполнения проектов машинного обучения начните с простого и постепенно увеличивайте сложность. Начните с прочного фундамента и постепенно наращивайте его.

Совет. Исправьте случайное начальное число, чтобы обеспечить воспроизводимость обучения модели.

Распространенных ошибок:

oh: 5) вы не использовали bias = False для вашего слоя Linear / Conv2d при использовании BatchNorm или, наоборот, забыли включить его для выходного слоя.Этот не заставит вас молча потерпеть неудачу, но это ложные параметры

— Андрей Карпатий (@karpathy) 1 июля 2018 г.

Выявление видов отказа

Используйте кластеризацию для выявления режимов отказа и улучшения анализа ошибок:

• Выбрать все неверные прогнозы. (При желании отсортируйте свои наблюдения по их расчетным потерям, чтобы найти наиболее вопиющие ошибки.)
• Запустить алгоритм кластеризации, такой как DBSCAN, по выбранным наблюдениям.
• Вручную исследуйте кластеры, чтобы найти общие атрибуты, затрудняющие прогнозирование.

Классифицируйте наблюдения с неверными прогнозами и определите, какие наилучшие действия можно предпринять на этапе уточнения модели, чтобы повысить производительность в этих случаях.

Тестирование и оценка

Если вы еще не написали тесты для своего кода, вам следует написать их сейчас.

Различные компоненты продукта машинного обучения для тестирования:

• Система обучения обрабатывает необработанные данные, проводит эксперименты, управляет результатами, сохраняет веса.
  • Необходимые тесты :
    • Протестируйте весь конвейер обучения (от необработанных данных до обученной модели), чтобы убедиться, что в восходящем направлении не были внесены изменения в отношении того, как хранятся данные из нашего приложения. Эти тесты следует проводить еженедельно / еженедельно.
• Система прогнозирования создает сеть, загружает сохраненные веса и делает прогнозы.
  • Необходимые тесты :
    • Выполните вывод на основе данных проверки (уже обработанных) и убедитесь, что оценка модели не ухудшается с новой моделью / весами.Это должно запускаться при каждом нажатии кода.
    • У вас также должен быть быстрый функциональный тест, который запускается на нескольких важных примерах, чтобы вы могли быстро (<5 минут) убедиться, что вы не нарушили функциональность во время разработки. Эти тесты используются для проверки работоспособности при написании нового кода.
    • Также рассмотрите сценарии, с которыми может столкнуться ваша модель, и разработайте тесты, чтобы убедиться, что новые модели по-прежнему работают должным образом. «Контрольный пример» — это сценарий, определяемый человеком и представленный тщательно подобранным набором наблюдений.
      • Пример. Для беспилотного автомобиля у вас может быть тест, чтобы убедиться, что автомобиль не поворачивает налево на желтый свет. В этом случае вы можете запустить свою модель на наблюдениях, когда автомобиль горит желтым светом, и убедиться, что прогноз не говорит машине двигаться вперед.
• Обслуживающая система , открытая для приема «реальных» входных данных и выполнения логических выводов по производственным данным. Эта система должна масштабироваться по запросу.
  • Требуемый контроль :
    • Оповещения о простоях и ошибках
    • Проверка сдвига распределения в данных

Изображение кредита

Оценка готовности производства

Оценка ML Test Score: критерий готовности к производству машинного обучения и сокращения технического долга

Данные:

• Ожидаемые функции фиксируются в схеме.
• Все функции выгодны.
• Никакая функция не стоит слишком дорого.
• Функции соответствуют требованиям метауровня.
• Конвейер данных имеет соответствующие средства управления конфиденциальностью.
• Новые функции могут быть добавлены быстро.
• Все входные коды функций проверены.

Модель:

• Технические характеристики модели рассмотрены и представлены.
• Автономные и онлайн-показатели коррелируют.
• Все гиперпараметры настроены.
• Влияние устаревания модели известно.
• Простая модель не лучше.
• Качество модели достаточно для важных срезов данных.
• Модель тестируется на предмет включения.

Инфраструктура:

• Обучение воспроизводимо.
Технические характеристики модели
• проходят единичные испытания.
• Конвейер машинного обучения протестирован на интеграцию.
• Качество модели проверяется перед подачей на работу.
• Модель является отлаживаемой.
Модели
• проходят канаризацию перед подачей на службу.
• Обслуживающие модели можно откатить.

Мониторинг:

• Изменение зависимости приводит к уведомлению.
• Инварианты данных сохраняются для входных данных.
• Обучение и обслуживание не искажены.
• Модели не слишком просроченные.
• Модели численно стабильны.
• Производительность вычислений не снизилась.
• Качество прогнозов не ухудшилось.

Развертывание модели

Убедитесь в наличии системы управления версиями для:

• Параметры модели
• Конфигурация модели
• Характеристика конвейера
• Учебный набор данных
• Набор проверочных данных

Распространенный способ развертывания модели — упаковать систему в контейнер Docker и предоставить REST API для вывода.

Canarying : обслуживание новой модели для небольшой группы пользователей (т. Е. 5%) при одновременном обслуживании существующей модели для остальных. Убедитесь, что развертывание прошло гладко, затем разверните новую модель для остальных пользователей.

Теневой режим: Отправьте новую модель вместе с существующей, все еще используя существующую модель для прогнозов, но сохраняя выходные данные для обеих моделей. Измерение разницы между прогнозами новой и текущей модели покажет, насколько радикально все изменится, когда вы переключитесь на новую модель.

Текущее обслуживание модели

Скрытый технический долг в системах машинного обучения (цитата ниже, выделено мной)

Введение в понятие технического долга:

Как и в случае с фискальным долгом, часто есть веские стратегические причины для того, чтобы взять на себя технический долг. Не все долги плохи, но все долги нужно обслуживать. Технический долг может быть погашен за счет рефакторинга кода, улучшения модульных тестов, удаления мертвого кода, уменьшения зависимостей, ужесточения API и улучшения документации.Цель состоит не в том, чтобы добавить новые функции, а в том, чтобы сделать возможным будущие улучшения, уменьшить количество ошибок и улучшить ремонтопригодность. Отсрочка таких платежей приводит к увеличению затрат. Скрытый долг опасен тем, что он тихо накапливается.

Проекты машинного обучения не завершены после поставки первой версии. Если вы «передаете» проект и передаете ответственность за модель, чрезвычайно важно обсудить необходимое обслуживание модели с новой командой.

Разработка и развертывание систем машинного обучения — это относительно быстро и дешево, но поддерживать их в течение долгого времени сложно и дорого.

Принципы обслуживания

Принцип CACE: все меняется, меняет все
Системы машинного обучения тесно связаны. Изменения пространства функций, гиперпараметров, скорости обучения или любой другой «ручки» могут повлиять на производительность модели.

Конкретные стратегии смягчения последствий:

• Создайте тесты проверки модели, которые запускаются каждый раз, когда вводится новый код.
• Разложите проблемы на изолированных компонентов там, где это имеет смысл.

Ваши изменения могут непреднамеренно затронуть незаявленных потребителей вашей модели.

«Без контроля доступа некоторые из этих потребителей могут быть необъявленными потребителями, использующими выходные данные данной модели прогнозирования в качестве входных данных для другого компонента системы».

Если ваша модель и / или ее прогнозы широко доступны, другие компоненты в вашей системе могут расти в зависимости от вашей модели без вашего ведома.Изменения модели (например, периодическая переподготовка или переопределение результатов) могут отрицательно повлиять на эти последующие компоненты.

Конкретные стратегии смягчения последствий:

• Управляйте доступом к вашей модели, заставляя внешние компоненты запрашивать разрешение и сигнализируя об использовании вашей модели.

Избегайте зависимости от входных сигналов, которые могут изменяться со временем.
Некоторые функции получаются с помощью поиска в таблице (например, встраивания слов) или просто с помощью конвейера ввода, который выходит за рамки вашей кодовой базы.Когда эти внешние представления функций изменяются, производительность модели может пострадать.

Конкретные стратегии смягчения последствий:

• Создайте копию ваших входных сигналов с контролем версий, чтобы обеспечить устойчивость к изменениям во внешних входных конвейерах. Эти версионные входные данные могут быть указаны в файле конфигурации модели.

Удалите ненужные функции.
Регулярно оценивайте эффект удаления отдельных элементов из данной модели.Пространство функций модели должно содержать только релевантные и важные функции для данной задачи.

Существует множество стратегий для определения важности функций, таких как перекрестная проверка исключения по одному и тесты перестановки признаков. Неважные функции добавляют шум в пространство ваших функций, и их следует удалить.

Совет. Документируйте устаревшие функции (считающиеся несущественными), чтобы они случайно не были повторно введены позже.

Характеристики модели, вероятно, со временем снизятся.
По мере изменения входного распределения ухудшаются характеристики модели. Вам следует запланировать периодическое переобучение вашей модели, чтобы она всегда извлекала уроки из последних данных «реального мира».

Это руководство черпает вдохновение из учебного курса Full Stack Deep Learning Bootcamp, передовых практик, опубликованных Google, моего личного опыта и бесед с соучениками.

Нашли что-то, чего не хватает в этом руководстве? Дайте мне знать!

Внешние ресурсы

Сообщения в блоге

Документы

Примеры из практики

Переговоры

Ваш первый проект машинного обучения на Python: пошаговые инструкции

Последнее обновление 19 августа 2020 г.

Вы хотите заниматься машинным обучением с использованием Python, но у вас возникли проблемы с началом работы?

В этом посте вы завершите свой первый проект машинного обучения с использованием Python.

В этом пошаговом руководстве вы:

1. Загрузите и установите Python SciPy и получите самый полезный пакет для машинного обучения на Python.
2. Загрузите набор данных и разберитесь в его структуре с помощью статистических сводок и визуализации данных.
3. Создайте 6 моделей машинного обучения, выберите лучшую и получите уверенность в надежности.

Если вы новичок в машинном обучении и хотите, наконец, начать использовать Python, это руководство было разработано для вас.

Начните свой проект с моей новой книги «Мастерство машинного обучения с Python», включающей пошаговых руководств и файлов исходного кода Python для всех примеров.

Приступим!

• Обновление, январь / 2017 г. : Обновлено, чтобы отразить изменения в scikit-learn API в версии 0.18.
• Обновление, март / 2017 : добавлены ссылки для помощи в настройке среды Python.
• Обновление, апрель / 2018 : добавлены полезные ссылки о случайности и прогнозировании.
• Обновление сентябрь / 2018 : добавлена ​​ссылка на мою собственную размещенную версию набора данных.
• Обновление февраль / 2019 : Обновлено для sklearn v0.20, также обновлены графики.
• Обновление, октябрь / 2019 : в конце добавлены ссылки на дополнительные руководства, которые можно продолжить.
• Обновление ноябрь / 2019 : Добавлены полные примеры кода для каждого раздела.
• Обновление декабрь / 2019 : Обновлены примеры удаления предупреждений из-за изменений API в v0.22.
• Обновление, январь / 2020 : Обновлено, чтобы удалить фрагмент для тестовой оснастки.

Ваш первый проект машинного обучения на Python, шаг за шагом
Фото: cosmoflash, некоторые права защищены.

Как начать машинное обучение на Python?

Лучший способ изучить машинное обучение — разрабатывать и выполнять небольшие проекты.

Python может напугать при запуске

Python — популярный и мощный интерпретируемый язык. В отличие от R, Python представляет собой законченный язык и платформу, которые вы можете использовать как для исследований и разработок, так и для разработки производственных систем.

Существует также множество модулей и библиотек на выбор, предлагающих несколько способов выполнения каждой задачи. Это может показаться подавляющим.

Лучший способ начать использовать Python для машинного обучения — это завершить проект.

• Это заставит вас установить и запустить интерпретатор Python (по крайней мере).
• Это даст вам представление о том, как выполнять небольшой проект с высоты птичьего полета.
• Это придаст вам уверенности, возможно, вы сможете заняться своими небольшими проектами.

Начинающим нужен небольшой комплексный проект

Книги и курсы разочаровывают. Они дают вам множество рецептов и отрывков, но вы никогда не увидите, как все они сочетаются друг с другом.

Когда вы применяете машинное обучение к своим собственным наборам данных, вы работаете над проектом.

Проект машинного обучения может быть нелинейным, но он имеет ряд хорошо известных шагов:

1. Определить проблему.
2. Подготовить данные.
3. Оценить алгоритмы.
4. Улучшение результатов.
5. Настоящие результаты.

Лучший способ по-настоящему освоить новую платформу или инструмент — это проработать весь проект машинного обучения и охватить ключевые этапы. А именно, от загрузки данных, обобщения данных, оценки алгоритмов и выполнения некоторых прогнозов.

Если вы можете это сделать, у вас есть шаблон, который вы можете использовать для набора данных за набором данных. Вы можете заполнить пробелы, такие как дальнейшая подготовка данных и улучшение результатов задач, позже, когда у вас появится больше уверенности.

Привет, мир машинного обучения

Лучший небольшой проект для начала работы с новым инструментом — это классификация цветов ириса (например, набор данных ириса).

Это хороший проект, потому что он так хорошо изучен.

• Атрибуты являются числовыми, поэтому вам нужно выяснить, как загружать и обрабатывать данные.
• Это проблема классификации, позволяющая вам попрактиковаться, возможно, с более простым типом алгоритма контролируемого обучения.
• Это проблема классификации нескольких классов (многозначная), которая может потребовать специальной обработки.
• У него всего 4 атрибута и 150 строк, то есть он небольшой и легко помещается в памяти (и на экране или на странице A4).
• Все числовые атрибуты представлены в одних и тех же единицах измерения и в одном масштабе, и для начала не требуется никакого специального масштабирования или преобразований.

Давайте начнем с вашего проекта машинного обучения Hello World на Python.

Машинное обучение на Python: пошаговое руководство

  массив ([2.77737706e-04, 6.86497802e-04, 4.1
78e-04, 9.38306579e-04,
 6.27788172e-04, 8.11685429e-04, 5.85205797e-03, 4.13582985e-04,
 5.68896006e-03, 3.99784395e-03, 2.233e-03, 4.00079790e-03,
 2.80170565e-04, 1.12108238e-03, 5.04161260e-04, 7.21240737e-04,
 6.66258777e-04, 2.65253041e-04, 6.31863354e-02, 2.61334748e-02,
 1.69886830e-03, 5.43940586e-01, 3.79683746e-03, 1.84024489e-03,
 2.00724094e-02, 2.74160018e-04, 2.8
28e-04, 1.65750614e-03,
 1.70010289e-03, 8.44812934e-03, 4.07321100e-05, 4.20522484e-05,
 8.69871167e-05, 1.12538000e-03, 1.05324451e-03, 4.16679765e-05,
 3.96170134e-04, 1.48598578e-03, 6.16768132e-04, 3.24518244e-03,
 8.40211726e-04, 6.08207520e-04, 2.48464536e-03, 5.38387869e-04,
 9.44676379e-04, 1.17
0e-02, 1.542
e-03, 3.42464373e-03,
 1.62873316e-04, 4.59487184e-05, 1.77379083e-04, 1.35098601e-03,
 3.88133058e-04, 3.339e-04, 2.174
e-04, 3.12382175e-05,
 1.01795637e-04, 1.03213685e-03, 6.85435551e-04, 6.34344688e-05,
 2.02095869e-04, 2.66249318e-03, 3.74273103e-04, 7.21229249e-04,
 1.29571361e-03, 3.56619677e-04, 3.67797732e-06, 1.81
0e-05,
 1.66200350e-05, 2.20302332e-04, 1.52030919e-04, 1.48360193e-05,
 1.71809628e-03, 1.123e-03, 3.73628049e-04, 1.42148596e-03,
 6.57524332e-04, 6.28622233e-03, 1.16750735e-05, 4.36732403e-05,
 3.66858164e-05, 1.34265640e-03, 1.
692e-04, 1.65555892e-04,
 5.84467323e-05, 2.62242035e-04, 3.16564734e-04, 4.75664484e-04,
 9.6
32e-04, 2.32465824e-05, 3.02435786e-04, 3.16506500e-04,
 1.37421635e-03, 1.55517264e-03, 4.35381175e-03, 1.13587974e-03,
 0.00000000e + 00, 0.00000000e + 00, 0.00000000e + 00, 0.00000000e + 00,
 0.00000000e + 00, 0.00000000e + 00, 1.4
70e-03, 1.23382329e-03,
 1.3
70e-03, 5.25514449e-03, 1.45239205e-03, 2.80369169e-03,
 6.08487913e-04, 1.41780570e-02, 1.86595558e-03, 2.05837632e-02,
 2.18064410e-03, 3.6
95e-03, 8.52970476e-05, 4.96849240e-05,
 1.
No related posts.