Talksign uruchomił Talksign Marketplace — platformę, na której społeczności Głuchych, badacze, instytucje i firmy mogą wnosić, anotować, licencjonować i uzyskiwać dostęp do wysokiej jakości zbiorów danych języka migowego. Spółka przedstawia nową platformę jako podstawową warstwę infrastruktury niezbędną do budowy sztucznej inteligencji, która rzeczywiście działa dla osób Głuchych.

To wdrożenie ma rozwiązać długotrwałą lukę w rozwoju AI. Współczesna sztuczna inteligencja potrafi tworzyć złożony kod, generować fotorealistyczne wideo i tłumaczyć mowę w milisekundach, a jednak zasadniczo nie radzi sobie ze zrozumieniem naturalnej komunikacji setek milionów ludzi. Barierą nie jest moc obliczeniowa ani zaawansowanie algorytmiczne, lecz poważny brak ustrukturyzowanych, możliwych do licencjonowania danych.

Podczas gdy wiodące modele mowy trenują na dekadach zeskrobanych z otwartego internetu nagrań audio, infrastruktura dla multimodalnych danych języka migowego pozostawała praktycznie nieistniejąca. Większość publicznie dostępnych korpusów języka migowego jest niewielka, nagrywana w sterylnych warunkach studyjnych i ograniczona do kilku signerów. Gdy twórcy forsują te wąskie zbiory danych do modeli uczenia maszynowego, produkty nieuchronnie zawodzą w realnym świecie — mają problem z regionalnymi dialektami, naturalnym rytmem migania oraz złożoną gramatyką mimiki potrzebną do wyrażania natężenia lub zadawania pytania.

Talksign buduje brakującą infrastrukturę, aby rozwiązać ten problem.

Edidiong Ekong, założyciel i dyrektor generalny Talksign, w ekskluzywnym oświadczeniu przekazanym Technext powiedział: „Dziś uruchamiamy Talksign Marketplace — miejsce, w którym społeczności Głuchych, badacze, instytucje i firmy mogą wnosić, anotować, licencjonować i uzyskiwać dostęp do wysokiej jakości zbiorów danych języka migowego. To brakująca warstwa infrastruktury pod każdą poważną próbą budowy AI, która działa dla osób Głuchych, i element, który musieliśmy zbudować sami, aby móc stworzyć cokolwiek innego.

Dla globalnej branży technologicznej, a szczególnie dla afrykańskiego ekosystemu sztucznej inteligencji, to wdrożenie oznacza coś więcej niż tylko narzędzie dostępności. To komercyjny i etyczny framework dla tego, jak rozwiązujemy problem języków niskozasobowych w AI” — dodał.

Według danych World Health Organisation ponad 430 milionów ludzi na świecie doświadcza upośledzającej utraty słuchu. Populacje te posługują się od 200 do 300 udokumentowanymi językami migowymi. Mimo tej skali języki migowe są całkowicie nieobecne w obecnym boomie na uczenie maszynowe.

Języki migowe są pełnoprawnymi językami naturalnymi o własnej morfologii i składni, wyrażanymi jednocześnie poprzez dłonie, twarz, górną część ciała i środowisko przestrzenne. Budowa AI, która to rozumie, wymaga rozwiązania naprawdę trudnego problemu obliczeń multimodalnych. Modele muszą w czasie rzeczywistym rozumować na podstawie wielu kanałów wizualnych.

Dane potrzebne do trenowania takich modeli istnieją, ale są silnie rozproszone. Część znajduje się zablokowana w archiwach uniwersyteckich bez ścieżek komercyjnego licencjonowania, a część pozostaje w rękach niezależnych organizacji Głuchych, którym nigdy nie zaoferowano finansowej zachęty do ich udostępnienia.

Rynek Talksign działa w oparciu o cztery główne filary, aby skomercjalizować i ustandaryzować te dane:

Contribute: Niezależni signerzy i organizacje Głuchych mogą przesyłać nagrane dane wideo i otrzymywać bezpośrednie wynagrodzenie finansowe.

Annotate: Surowe wideo jest intensywnie przetwarzane do postaci danych treningowych poprzez anotację glossów, ekstrakcję pozy i opisy lingwistyczne. Talksign kieruje tę płatną pracę bezpośrednio do biegłych signerów, zamiast zlecać ją osobom niebędącym użytkownikami natywnymi.

Licence: Kupujący otrzymują czytelne maszynowo warunki licencyjne oraz jasne rekordy pochodzenia, rozwiązując poważny problem zgodności dla firm budujących AI.

Access: Startupy i badacze mogą oceniać i pozyskiwać zróżnicowane zbiory danych z wielu dialektów i środowisk nagraniowych z jednego miejsca.

Dla deweloperów i założycieli w Afryce problem, który rozwiązuje Talksign, będzie brzmiał bardzo znajomo. Kontynent jest domem dla tysięcy języków mówionych i migowych, w tym Nigerian Sign Language (NSL), które cierpią z powodu tego samego niedoboru danych, wykluczającego je z globalnej gospodarki AI.

Afrykańscy technolodzy tworzący narzędzia przetwarzania języka naturalnego dla języków takich jak Hausa, Yoruba czy Swahili konsekwentnie napotykają barierę danych. Framework Talksign oferuje przekonujący model tego, jak lokalni założyciele mogą etycznie agregować i monetyzować dane języków niskozasobowych. Tworząc przejrzysty rynek, który płaci rodzimym użytkownikom i signerom za ich wkład, deweloperzy mogą ominąć powolne, zależne od grantów ścieżki akademickiego pozyskiwania danych i budować solidne, komercyjnej klasy korpusy.

Historyczna relacja między branżą technologiczną a społecznościami marginalizowanymi ma w dużej mierze charakter eksploatacyjny: dane są zeskrobywane, modele trenowane, a społeczności tworzące surowiec nie otrzymują nic.

Ponieważ dane języka migowego mają z natury charakter biometryczny, obejmując twarz i ciało osoby, nie można ich zanonimizować tak jak tekstu. Talksign wprowadził otwarty portal weryfikacyjny, aby bezpośrednio temu zaradzić. System przypisuje każdy zbiór danych do jego źródła i warunków licencyjnych, zapewniając audytowalną zgodę i prawa do wizerunku. Kupujący mogą sprawdzić biegłość signerów i dokładność anotacji przed włączeniem danych do swoich potoków przetwarzania.

Talksign twierdzi, że ta infrastruktura powstała w odpowiedzi na własne wewnętrzne trudności rozwojowe. Spółka wskazuje na swoje autorskie modele jako proof of concept. Palm 1.0, model speech-to-sign, ma rzekomo osiągać 84.2% dokładności semantycznej przy opóźnieniu wynoszącym około 29 milisekund. Jego odpowiednik sign-to-speech, Echo 1.0, ma rzekomo osiągać 0.927 Structural Similarity Index przy 30 klatkach na sekundę.

Ostatecznie napisy są słabym substytutem prawdziwej dostępności, ponieważ działają wyłącznie jednokierunkowo. Umożliwienie osobom Głuchym natywnej komunikacji z technologią wymaga traktowania języka migowego jako podstawowego formatu językowego. Nadając tym danym realną wartość komercyjną i wynagradzając społeczności, które je tworzą, Talksign kładzie fundament pod bardziej sprawiedliwą infrastrukturę AI. To dokładnie taki sposób myślenia o strukturze, jaki szerszy ekosystem technologiczny powinien przyjąć.

Przeczytaj także: TalkSign: Edidiong Ekong chciał po prostu rozmawiać z przyjaciółmi; teraz wykorzystuje AI, by przełamać ciszę. Marketplace jest już dostępny. Jeśli posiadasz dane języka migowego i chcesz je wystawić, jeśli jesteś signerem lub organizacją zainteresowaną wniesieniem wkładu albo anotacją, lub jeśli budujesz rozwiązanie wymagające licencjonowanych multimodalnych danych migowych, Talksign zaprasza do kontaktu. Możesz zarejestrować się tutaj: lub skontaktować się bezpośrednio pod adresem sales@talksign.co .