Do prac nad komputerem uczeni zaprosili ludzi mówiących dwoma i trzema językami. Nagrali ich wypowiedzi, a następnie nakazali komputerowi zbadać, czy istnieje ułożenie ust specyficzne dla każdego języka. Okazało się, że tak: np. mówiący po francusku częściej układają usta w kółko, a po arabsku – częściej poruszają językiem. Komputer nauczył się to rozróżniać i dzięki temu był w stanie określić, czy człowiek mówi po angielsku, czy np. po polsku (w badaniach wykorzystano również nasz język).
Eksperyment to część większego projektu, którego celem jest „nauczenie” komputerów interakcji z ludźmi bez konieczności wystukiwania poleceń na klawiaturze.Następnym celem naukowców będzie „nauczenie” maszyny rozpoznawania na podstawie ruchu warg konkretnych słów wypowiadanych w różny sposób przez różnych ludzi. Zdaniem badaczy, łącząc to, co komputer widzi, z tym, co słyszy, możliwe będzie skonstruowanie maszyny, z którą będziemy porozumiewać się wyłącznie za pomocą mowy (i to nawet tam, gdzie jest bardzo głośno).
– Stworzenie programu, który będzie w stanie odczytywać z ruchu ust proste zdania to kwestia pięciu lat – mówi nam profesor Cox. – Jednym z celów naszego programu jest zbudowanie robota takiego jak C3PO.
