Распознавание и классификация объектов в системе умный дом Белого Мага

    Сейчас уже практически никого невозможно удивить обычным «умным домом», хотя конечно же с учётом западных санкций многие привычные вещи, в том числе клиенты систем умного дома множества компаний с мировым именем, сейчас станут недоступны и им придётся испытывать серьёзные сложности с заменой комплектующих, которая в любом случае рано или поздно понадобится, так как не существует ничего вечного, тем более система умный дом эксплуатируется в режиме 24 часа в сутки и электронные компоненты также не вечны. Однако большинство подобных систем используют исключительно датчики и исполнительные устройства, которые лишены искусственного интеллекта, т.е. это просто умная автоматика, которая по определённым программам выполняет запланированные действия, а при изменении показаний датчиков включает или выключает определённые устройства и оборудование умного дома. В современном мире конечно же такой умной автоматики во многих случаях становится недостаточно и разработчики находят интересные и полезные технологические решения, которые расширяют функциональность и добавляют «мозгов» подобным системам, поэтому они быстро морально устаревают, а подавляющее большинство населения не спешит покупать новые разработки, поскольку они пока ещё весьма не дёшево стоят, да и наличие старой, но работоспособной системы умного дома, к которой ты уже привык часто минимизирует желание обновлять оборудование и программное обеспечение. Огромным преимуществом перед другими существующими системами умного дома будет обладать система, которая активно использует искусственный интеллект, компьютерное зрение, нейронные сети и машинное обучение, поскольку практический опыт в этих областях знаний позволяет создавать абсолютно потрясающую функциональность, когда система на основе имеющихся данных принимает «самостоятельное» разумное решение. Активное развитие технологии компьютерного зрения позволяет достаточно успешно решать задачи распознавания и классификации объектов, по сути это сейчас основное применение компьютерного зрения в тех или иных интеллектуальных системах принятия решений. Распознавание объектов вносит свежую волну в варианты функциональности системы умный дом, поскольку например можно идентифицировать домашнюю кошку или собаку и включить соответствующую кормушку, идентифицировать человека и включить кофеварку или что-то другое, чем он регулярно пользуется в этом месте жилого или производственного пространства, можно создавать различные сценарии из включения-выключения целого комплекса различных устройств и домашней техники, в совокупности с данными, поступающими с датчиков умного дома распознавание предоставляет возможности совершенно другого уровня комфорта. Классификация объектов, в свою очередь, позволяет производить подсчёт объектов каждого из распознаваемых классов, так можно контролировать количество людей или животных в одном помещении, подсчитывать число однообразных объектов, например подсчитать сколько брёвен погружено на лесовоз или каково число прутьев арматуры размещено в кузове грузовика. Вероятно можно контролировать перемещение животных на ферме или фиксировать активность кур в курятнике, любопытным видится применение компьютерного зрения на пасеке, однако вероятно там будет трудно визуально отделять пчёл друг от друга при подсчёте, однако никто не мешает провести соответствующие эксперименты и принять решение по полученным результатам, подобные вещи интересны и перспективны.

  Мы провели определённые творческие изыскания в данном направлении и сделали первые шаги, в частности было создано приложение для смартфона Андроид, которое с определённой вероятностью идентифицирует различные бытовые объекты, при этом все вычисление выполняются на смартфоне, что накладывает определённые ограничения (например невозможно создать систему наблюдения за объектами, так как смартфон как правило всегда носится с собой, а не установлен на месте наблюдения) и возможности (например нужно мгновенно оценить количество чего-либо, что можно пересчитать, достаём смартфон, наводим камеру на подсчитываемые объекты и получаем почти быстрый результат). Конечно же точность вычисления будет приблизительной, но вы сможете делать быстрые оценки без каких-либо затрат времени, наверняка это имеет своё практическое применение. После этого было принято решение сделать нечто аналогичное с использованием вычислений в веб-браузере, это приблизило нас к созданию системы мониторинга за чем либо, поскольку мы получили возможность запускать программу на планшете с которого осуществляется управление умным домом (вы часто встречаете такие на стенах, на них отображаются показания датчиков и есть возможность управления устройствами и оборудованием умного дома), так вот теперь ничто не мешает нам запустить на такой планшете окно браузера с нашей системой распознавания объектов и она там будет постоянно «крутиться» и принимать решения в зависимости от распознанных в контролируемо области умного дома объектов. Однако конечно это пока всё ещё не идеальное решение, так как мы привязаны к необходимости наличия планшета на контролируемом объекте, а это не всегда удобно, в идеале всё должно просчитываться на самой камере без использования мощностей смартфона (первый случай) или планшета (второй случай). На текущий момент времени мы проводим эксперименты с камерой, которая имеет весьма ограниченные возможности для машинного обучения, небольшой объём памяти для хранения и анализа результатов работы нейронных сетей, однако в будущем мы обязательно найдём аппаратно совместимые с нашей системой умного дома камеры, которые позволят перенести все вычисления исключительно на камеру, тогда будут открыты двери для мониторинга 24 часа в сутки и построения системы принятия решений на основе распознавания объектов и компьютерного зрения.

Хронология проводимых работ:

18.05.2022 г — старт разработки проекта, начало сборки электронной части устройства, разработка корпуса конструкции;

10.06.2022 г — разработано веб-приложение «Computer Vision» рассчитанное на работу на смартфонах, ноутбуках, планшетах и т.д. + отдельное  Андроид приложение для распознавания движущихся объектов (людей, кошек, собак и т.д.) Белого Мага;

15.07.2022 г — произведены работы по улучшению точности распознавания веб-приложения «Computer Vision», улучшена распознаваемость такого сложного выбора как «собака или кошка»;

17.07.2022 г — начало процесса тестирования, устранения обнаруженных багов и ошибок программного кода;

23.07.2022 г — разработка базовой составляющей проекта полностью завершена, ожидаем реальные коммерческие предложения.

Планируется: — разработать систему распознавания объектов непосредственно на микроконтроллере, чтобы быть независимым от наличия интернета.