Interaktive Frischetheke: Assistenzsystem für den stationären Einzelhandel

Ansprechpersonen Frederic Kerber
Arbeitsgruppe/Organisation/Firma DFKI
Medienprojektgruppengröße
2-3

Kurzbeschreibung

Das Innovative Retail Laboratory (IRL) des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) forscht an Fragestellungen rund um den Handel und das Einkaufen der Zukunft. Im Rahmen dieser Forschungen werden beispielsweise auf Künstlicher Intelligenz basierende Algorithmen zur Prozessoptimierung eingesetzt oder innovative Assistenzsysteme für den stationären Handel konzeptioniert, prototypisch realisiert und anschließend evaluiert.
Im Rahmen dieses Medienprojektes soll ein solches Assistenzsystem zur Unterstützung von Serviceprozessen an Bedientheken (Wurst, Fleisch, Käse, Fisch, etc.) realisiert und evaluiert werden. Das System kann in zwei Komponenten unterteilt werden: eine Erkennung von Zeigebewegungen per Tiefenbildkamera und eine Visualisierung der gewünschten Zielprodukte direkt in der Theke. Für die Erkennung kann auf ein bestehendes System aufgesetzt werden, das aktuell die Erkennung einer einzelnen Bewegung ermöglicht.

Motivation

Viele kennen beim Einkaufen das Problem, dass das Zeigen auf Produkte in einer Bedientheke von den Mitarbeitenden nicht eindeutig erkannt wird und man erst nochmal erläutern muss, welches Produkt konkret gemeint ist. Ziel des Projekts ist es, dies zu verbessern, indem ein digitales System die Zeigebewegung der Kundinnen und Kunden registriert und das gewünschte Produkt identifiziert. Eine bereits existierende Implementierung dieser Idee für eine Kundin bzw. einen Kunden hat gezeigt, dass eine Feedback-Komponente auf Kundenseite hilfreich ist, um die Genauigkeit der Erkennung / Interaktion zu verbessern. Im Rahmen des Projektes soll daher neben der Ausweitung der Interaktionsmöglichkeiten für mehrere Personen auch eine Visualisierungsmöglichkeit direkt in der Theke realisiert werden.

Aufgaben im Projekt:

Die Zielsetzung des Medienprojektes ist es, ein interaktives Auswahlsystem zur Unterstützung beim Einkauf im stationären Handel umzusetzen und zu evaluieren. Das Projekt lässt sich hinsichtlich der Implementierung in zwei Teile gliedern:

  1. Erkennung von Zeigebewegungen mittels Tiefenbildkamera
    Für ein bestehendes Setup mit einer über der Bedientheke angebrachten Tiefenbildkamera (Microsoft Kinect) soll die Erkennung von Zeigebewegungen von mehreren Kunden inkl. der Ableitung, welche Produkte gemeint sind, umgesetzt werden – alternativ ist die Nutzung einer Intel RealSense Tiefenbildkamera denkbar. Die Komponente soll eigenständig lauffähig sein und gewonnene Informationen mittels MQTT bereitstellen.
  2. Visualisierung ausgewählter Produkte in der Thekenauslage
    Geplant ist, einen oder mehrere Projektoren einzusetzen, um eine Visualisierung von Informationen direkt in der Theke zu ermöglichen. Neben der grundsätzlichen Möglichkeit, Informationen zu visualisieren, ist es relevant zu überlegen, WIE und WELCHE Informationen gezeigt werden können – insbesondere in einem Szenario mit mehreren Nutzerinnen und Nutzern (auf beiden Seiten der Theke).

Ziel der Evaluation im Anschluss an die Implementierung ist die Ermittlung der Alltagstauglichkeit der Idee. Dazu sollen Personen mit dem System (ggf. in mehreren Versionen, falls unterschiedliche Visualisierungen als potenziell geeignet scheinen) interagieren und ihr Feedback systematisch erhoben werden. 

Hinweise:

  • Das Innovative Retail Laboratory (IRL) befindet sich im co:hub66 an der Wilhelm-Heinrich-Brücke in Saarbrücken. Während der Implementierung und insbesondere für den zweiten Teil der Evaluation sind Besuche im IRL erforderlich.
  • Für die Durchführung der Evaluation müssen Personen rekrutiert werden. In der Vergangenheit haben sich entsprechende Aushänge, aber auch die persönliche Ansprache z. B. im Freundes- und Bekanntenkreis bewährt.
  • Erfahrungen mit der Durchführung von Nutzerstudien sind von Vorteil.