Nuevas herramientas para investigar, capacitar y usar modelos personalizados de aprendizaje automático en Android

publicado por Hoi Lam Android Machine Learning

Ayer hablamos sobre las soluciones llave en mano del aprendizaje automático (ML) con ML Kit. Pero qué pasa si esto no satisface completamente sus necesidades y tienes que cambiarlo un poco? Hoy discutiremos cómo encontrar modelos alternativos y cómo entrenar y usar modelos ML personalizados en su aplicación de Android.

Encuentre modelos de ML alternativos

Modelos de enfermedades de cultivos de la comunidad de investigación más amplia disponible en tfhub.dev

Si las soluciones de ML llave en mano no satisfacen sus necesidades, TensorFlow Hub debería ser suyo. primer punto de referencia. Es un repositorio de modelos de ML de Google y de la comunidad de investigación en general. Los modelos en el sitio están listos para usar en la nube, en un navegador web o en una aplicación en el dispositivo. Para los desarrolladores de Android, los modelos más interesantes son los modelos TensorFlow Lite (TFLite) optimizados para dispositivos móviles.

Además de los modelos de visión clave como MobileNet y EfficientNet, el repositorio también cuenta con modelos basados ​​en las últimas investigaciones, tales como:

Muchas de estas soluciones antes solo estaban disponibles en la nube, ya que los modelos son demasiado grandes y demasiado enérgicos para ejecutarse en el dispositivo. Hoy puedes ejecutarlos en Android en tu dispositivo, sin conexión y en vivo.

Entrena tu propio modelo personalizado

Además del gran repositorio de modelos base, los desarrolladores también pueden entrenar sus propios modelos. Las herramientas disponibles para desarrolladores están disponibles para muchos casos de uso comunes. Además del AutoML Vision Edge de Firebase, el equipo de TensorFlow lanzó TensorFlow Lite Model Maker a principios de este año para ofrecer a los desarrolladores una opción más amplia que el modelo base que admite múltiples casos de estudio. ;utilizar. TensorFlow Lite Model Maker actualmente admite dos actividades comunes de ML:

TensorFlow Lite Model Maker se puede ejecutar en su computadora de desarrollo o en sus cuadernos de aprendizaje automático en línea Google Colab. En el futuro, el equipo planea mejorar las ofertas existentes y agregar nuevos casos de uso.

Uso de la plantilla personalizada en su aplicación de Android

Nueva pantalla de importación de modelo TFLite en Android Studio 4.1 beta

Después de seleccionar un modelo o entrenar el modelo, hay nuevas herramientas fáciles de usar para ayudarlo a integrarlos en su aplicación de Android sin tener que convertir todo a ByteArrays. La primera herramienta nueva es la asociación del modelo ML con Android Studio 4.1. Esto permite a los desarrolladores importar cualquier modelo TFLite, leer la firma de entrada / salida del modelo y usarlo con unas pocas líneas de código que llaman a la biblioteca de soporte de Android TensorFlow Lite de código abierto.

Otra forma de implementar un modelo TensorFlow Lite es a través del ML Kit. A partir de junio, el ML Kit ya no requiere un proyecto Firebase para funcionar en el dispositivo. Además, las API de clasificación de imágenes y seguimiento y seguimiento de objetos (ODT) admiten modelos personalizados. La última oferta ODT es particularmente útil en casos de uso donde necesita separar objetos de una escena ocupada.

Entonces, ¿cómo elegir entre estas tres soluciones? Si está tratando de detectar un producto en un supermercado lleno de gente, la detección y el seguimiento de los artículos del Kit ML pueden ayudar al usuario a seleccionar un producto específico para su procesamiento. La API luego clasifica las imágenes solo en la parte de la imagen que contiene el producto, lo que se traduce en un mejor rendimiento de detección. Por otro lado, si la escena u objeto que está intentando detectar ocupan la mayor parte de la imagen de entrada, por ejemplo, un punto de referencia como Big Ben, utilizando La asociación del modelo ML o la API de clasificación de imágenes del kit ML pueden ser más apropiadas.

Modelo de detección de aves TensorFlow Hub con ML Kit Object Detection and Tracking AP

Dos ejemplos de cómo estas herramientas pueden encajar

Aquí hay algunos recursos para ayudarlo a comenzar:

Personalizar su modelo es más fácil que nunca

Encontrar, construir y usar modelos personalizados en Android nunca ha sido tan fácil. Dado que los equipos de Android y TensorFlow aumentan la cobertura de los casos de uso de aprendizaje automático, háganos saber cómo podemos mejorar estas herramientas para sus casos de uso enviando una solicitud de mejora con TensorFlow Lite o ML Kit.

Mañana daremos un paso atrás y nos centraremos en cómo usar y diseñar adecuadamente la primera aplicación de aprendizaje automático de Android. El contenido será apropiado para todo el equipo de desarrollo, así que traiga a su gerente de producto y diseñador. Hasta la próxima.

Compruebe también

en vivo desde Droidcon, incluida la mayor actualización de Gemini en Android Studio y más lanzamientos del SDK de Android.

Acabamos de lanzar nuestro episodio de otoño de #TheAndroidShow en YouTube etcétera desarrollador.android.comy esta vez …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *