Nowa zautomatyzowana metoda pomaga mierzyć niepewność prognoz

Ankieterzy próbujący przewidzieć wyniki wyborów prezydenckich i fizycy poszukujący odległych egzoplanet mają co najmniej jedną wspólną cechę: często posługują się sprawdzoną techniką naukową zwaną wnioskowaniem bayesowskim.

Wnioskowanie bayesowskie umożliwia tym naukowcom skuteczne oszacowanie niektórych nieznanych parametrów – np. tego, kto wygra wybory – na podstawie danych takich jak wyniki sondaży. Jednak wnioskowanie bayesowskie może być powolne i czasami wymagać tygodni lub nawet miesięcy obliczeń lub wymagać od badacza spędzenia godzin na ręcznym wyprowadzaniu żmudnych równań.

Naukowcy z MIT i innych krajów wprowadzili technikę optymalizacji, która przyspiesza działanie bez konieczności wykonywania przez naukowca dużej ilości dodatkowej pracy. Ich metoda umożliwia osiągnięcie dokładniejszych wyników szybciej niż jakakolwiek inna popularna metoda przyspieszania wnioskowania bayesowskiego.

Korzystając z tej nowej, zautomatyzowanej technologii, naukowcy mogą po prostu wprowadzić swój model, a następnie metoda optymalizacji wykonuje wszystkie obliczenia pod maską, aby zapewnić przybliżone oszacowanie jakiegoś nieznanego parametru. Metoda ta zapewnia również wiarygodne szacunki niepewności, które mogą pomóc badaczowi zrozumieć, kiedy należy ufać swoim przewidywaniom.

Tę wszechstronną technikę można zastosować do szerokiego zakresu dylematów naukowych związanych z wnioskowaniem bayesowskim. Może być na przykład stosowany przez ekonomistów badających wpływ mikrokredytów w krajach rozwijających się lub analityków sportowych, którzy wykorzystują model do rankingu najlepszych tenisistów.

„Kiedy zagłębisz się w to, czym ludzie zajmują się w naukach społecznych, fizyce, chemii czy biologii, często używają pod maską wielu tych samych narzędzi. Istnieje wiele analiz bayesowskich. Jeśli uda nam się zbudować system, „to naprawdę fajne narzędzie, które ułatwia życie badaczom, dzięki czemu możemy naprawdę pomóc wielu ludziom w wielu różnych obszarach badań” – mówi główna autorka Tamara Broderick, profesor nadzwyczajny na Wydziale MIT Elektrotechniki i Informatyki (EECS) oraz członek Laboratorium Systemów Informacyjnych i Decyzji oraz Instytutu Danych i Systemów I społeczeństwa.

Do Brodericka przy tworzeniu tego artykułu dołączają główni autorzy Ryan Giordano, adiunkt statystyki na Uniwersytecie Kalifornijskim w Berkeley; oraz Martin Ingram, analityk danych w firmie KONUX zajmującej się sztuczną inteligencją. Gazeta była niedawno Opublikowano w czasopiśmie Journal of Machine Learning Research.

Szybsze rezultaty

Kiedy badacze szukają szybszej formy wnioskowania bayesowskiego, często zwracają się do techniki zwanej automatycznym wnioskowaniem różnicowym (ADVI), która często jest szybka w użyciu i łatwa w użyciu.

Jednak Broderick i jej współpracownicy odkryli szereg praktycznych problemów związanych z ADVI. Musi rozwiązać problem optymalizacji i może to zrobić tylko w przybliżeniu. Dlatego ADVI może nadal wymagać dużo czasu obliczeniowego i wysiłku użytkownika, aby określić, czy przybliżone rozwiązanie jest wystarczająco dobre. Znalezione rozwiązanie zwykle daje słabe szacunki niepewności.

Zamiast wymyślać koło na nowo, zespół przejął wiele pomysłów od ADVI, ale zamienił je, tworząc technologię zwaną deterministycznym ADVI (DADVI), która nie ma tych wad.

Dzięki DADVI bardzo wyraźnie widać, kiedy optymalizacja jest zakończona, więc użytkownik nie musi poświęcać dodatkowego czasu na obliczenia, aby upewnić się, że znaleziono najlepsze rozwiązanie. DADVI pozwala także na zastosowanie bardziej wydajnych metod optymalizacji, które zapewniają dodatkową prędkość i wzrost wydajności.

Po osiągnięciu wyniku DADVI jest skonfigurowany tak, aby umożliwić zastosowanie korekcji niepewności. Dzięki tym korektom ich szacunki niepewności są dokładniejsze niż szacunki ADVI.

DADVI pozwala także użytkownikowi wyraźnie zobaczyć, jak duży błąd popełnił w przybliżeniu problemu optymalizacyjnego. Zapobiega to ciągłemu uruchamianiu przez użytkownika procesu optymalizacji i niepotrzebnemu zużywaniu coraz większej ilości zasobów w celu zmniejszenia błędu.

„Chcieliśmy sprawdzić, czy uda nam się spełnić obietnicę dotyczącą wnioskowania czarnej skrzynki, co oznacza, że ​​gdy użytkownik stworzy swój model, będzie mógł po prostu uruchomić wnioskowanie bayesowskie bez konieczności ręcznego wyodrębniania wszystkiego, czego nie robi”. „Nie musimy wiedzieć, kiedy zatrzymać algorytm, a oni mają wyczucie, jak dokładne jest przybliżone rozwiązanie” – mówi Broderick.

Kwestionowanie konwencjonalnej mądrości

DADVI może być bardziej skuteczny niż ADVI, ponieważ wykorzystuje wydajną metodę aproksymacji, zwaną przybliżeniem średniej próbki, która szacuje nieznaną wielkość poprzez wykonanie szeregu dokładnych kroków.

Ponieważ kroki na drodze są precyzyjne, wiadomo, kiedy cel został osiągnięty. Dodatkowo osiągnięcie tego celu zwykle wymaga mniejszej liczby kroków.

Często badacze oczekują, że przybliżenie średniej próbki będzie wymagało więcej obliczeń niż bardziej powszechna metoda, znana jako stochastyczne opadanie gradientu, stosowana przez ADVI. Jednak Broderick i jej współpracownicy wykazali, że w wielu zastosowaniach tak nie jest.

„Wiele problemów ma w rzeczywistości specjalną strukturę, a korzystając z tej specjalnej struktury, można zwiększyć wydajność i uzyskać lepszą wydajność. Właśnie to widzieliśmy w tym artykule” – dodaje.

Przetestowali DADVI na szeregu rzeczywistych modeli i zbiorów danych, w tym na modelu używanym przez ekonomistów do oceny efektywności mikropożyczek oraz modelu stosowanym w ekologii do ustalania, czy gatunek występuje w danym miejscu.

Ogólnie rzecz biorąc, odkryli, że DADVI może oszacować nieznane parametry szybciej i bardziej niezawodnie niż inne metody, a także osiąga dokładność równie dobrą lub lepszą niż ADVI. Ponieważ jest łatwiejszy w użyciu niż inne techniki, DADVI może zapewnić wsparcie naukowcom z wielu dziedzin.

W przyszłości badacze chcą głębiej zagłębić się w metody korekcji szacunków niepewności, aby lepiej zrozumieć, dlaczego te poprawki mogą powodować tak drobne niepewności i kiedy mogą się nie udać.

„W statystyce stosowanej często musimy używać algorytmów aproksymacyjnych w przypadku problemów, które są zbyt złożone lub wielowymiarowe, aby obliczyć dokładne rozwiązania w rozsądnym czasie. W tym nowym artykule przedstawiono interesujący zestaw wyników teoretycznych i eksperymentalnych, które wskazują na poprawę” popularny algorytm aproksymacyjny dla wnioskowania bayesowskiego. „Jako członek zespołu zaangażowanego w tworzenie tej wcześniejszej pracy, cieszę się, że nasz algorytm został zastąpiony czymś bardziej stabilnym” – mówi Andrew Gelman '85, '86, profesor statystyki i polityki naukowiec na Uniwersytecie Columbia, który nie brał udziału w badaniu.

Badania te zostały wsparte nagrodą CAREER National Science Foundation i Biurem Badań Marynarki Wojennej Stanów Zjednoczonych.