Ego4D to nowy projekt Facebooka, w ramach realizacji którego około 700 osób założyło kamery mając je na sobie niemal przez całą dobę. Dzięki temu sztuczna inteligencja ma nauczyć się radzenia sobie w codziennych czynnościach.
Ustalono pięć wskaźników, które pomogą w rozwoju aplikacji dla przyszłych asystentów sztucznej inteligencji. Zebrane informacje będą pomocne w udzielaniu odpowiedzi na pytania związane z pamięcią epizodyczną (co się stało, kiedy?), prognozowaniem (co prawdopodobnie zrobię dalej?), manipulacją rękami i przedmiotami (co ja robię?), diaryzacją audiowizualną (kto powiedział, co i kiedy?), interakcjami społecznymi (kto wchodzi w interakcje z kim).
Dzięki testom porównawczym mamy mieć do czynienia z przyspieszeniem badań nad obszarami, które są konieczne opracowania takich asystentów AI, którzy rozumieją oraz wchodzą w interakcje zarówno w świecie realnym, jak również w metaverse łączącym rzeczywistość prawdziwą, wirtualną oraz rozszerzoną.
Zebrany materiał wideo obejmował codzienne aktywności uczestników, takie jak gotowanie czy zakupy. Nagrywano również rozmowy uczestników z innymi ludźmi, bez tłumaczenia, dzięki czemu badaczom będzie łatwiej zrozumieć sposób ludzkiej komunikacji.
Dane na temat projektu mają zostać opublikowane do końca roku.