System Tree-D Fusion integruje generatywną sztuczną inteligencję i algorytmy warunkowane genetycznie w celu tworzenia precyzyjnych, gotowych do symulacji modeli 600 000 istniejących drzew miejskich w Ameryce Północnej.
Irlandzki filozof George Berkely, najbardziej znany ze swojej teorii immaterializmu, kiedyś słynnie zastanawiał się: „Jeśli drzewo upada w lesie i nie ma nikogo, kto mógłby je usłyszeć, czy wydaje dźwięk?”
A co z drzewami generowanymi przez AI? Prawdopodobnie nie wydają dźwięku, ale mimo to będą miały kluczowe znaczenie dla takich zastosowań, jak adaptacja flory miejskiej do zmian klimatycznych. W tym celu nowatorski system „Tree-D Fusion” opracowany przez naukowców z MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), Google i Purdue University łączy modele AI i wzrostu drzew z danymi Auto Arborist firmy Google, aby tworzyć dokładne modele 3D istniejących drzew miejskich. Projekt ten wytworzył pierwszą na świecie bazę danych na dużą skalę obejmującą 600 000 modeli drzew świadomych ekologicznie i gotowych do symulacji w całej Ameryce Północnej.
„Łączymy dziesięciolecia nauki leśnej z nowoczesnymi możliwościami AI” — mówi Sara Beery, adiunkt w dziedzinie inżynierii elektrycznej i informatyki (EECS) na MIT, główny badacz w MIT CSAIL i współautorka nowego artykułu o Tree-D Fusion. „Pozwala nam to nie tylko identyfikować drzewa w miastach, ale także przewidywać, jak będą rosły i jak będą oddziaływać na swoje otoczenie w czasie. Nie ignorujemy ostatnich 30 lat pracy nad zrozumieniem, jak budować te syntetyczne modele 3D; zamiast tego wykorzystujemy AI, aby uczynić tę istniejącą wiedzę bardziej użyteczną w szerszym zestawie pojedynczych drzew w miastach w Ameryce Północnej, a ostatecznie na całym świecie”.
Tree-D Fusion opiera się na poprzednich wysiłkach monitorowania lasów miejskich, które wykorzystywały dane Google Street View, ale rozgałęzia się, generując kompletne modele 3D z pojedynczych obrazów. Podczas gdy wcześniejsze próby modelowania drzew były ograniczone do określonych dzielnic lub miały problemy z dokładnością na dużą skalę, Tree-D Fusion może tworzyć szczegółowe modele, które obejmują zazwyczaj ukryte cechy, takie jak tylna strona drzew, które nie są widoczne na zdjęciach z widoku ulicy.
Praktyczne zastosowania tej technologii wykraczają daleko poza zwykłą obserwację. Planiści miejscy mogliby wykorzystać Tree-D Fusion, aby pewnego dnia zajrzeć w przyszłość, przewidując, gdzie rosnące gałęzie mogą splątać się z liniami energetycznymi lub identyfikując dzielnice, w których strategiczne rozmieszczenie drzew mogłoby zmaksymalizować efekty chłodzenia i poprawę jakości powietrza. Te możliwości predykcyjne, jak twierdzi zespół, mogłyby zmienić zarządzanie lasami miejskimi z reaktywnej konserwacji na proaktywne planowanie.
Drzewo rośnie w Brooklynie (i wielu innych miejscach)
Naukowcy zastosowali hybrydowe podejście do swojej metody, wykorzystując głębokie uczenie do stworzenia trójwymiarowej otoczki kształtu każdego drzewa, a następnie wykorzystując tradycyjne modele proceduralne do symulacji realistycznych wzorów gałęzi i liści w oparciu o rodzaj drzewa. Ta kombinacja pomogła modelowi przewidzieć, jak drzewa będą rosły w różnych warunkach środowiskowych i scenariuszach klimatycznych, takich jak różne możliwe lokalne temperatury i zmienny dostęp do wód gruntowych.
Teraz, gdy miasta na całym świecie zmagają się ze wzrostem temperatur, badania te oferują nowe okno na przyszłość lasów miejskich. We współpracy z Senseable City Lab MIT, zespół Purdue University i Google rozpoczyna globalne badanie, które na nowo wyobraża sobie drzewa jako żywe tarcze klimatyczne. Ich cyfrowy system modelowania rejestruje skomplikowany taniec wzorów cienia w ciągu pór roku, ujawniając, w jaki sposób strategiczne leśnictwo miejskie mogłoby zmienić upalne bloki miejskie w bardziej naturalnie chłodzone dzielnice.
„Za każdym razem, gdy pojazd do mapowania ulic przejeżdża teraz przez miasto, nie robimy tylko migawek — obserwujemy ewolucję tych lasów miejskich w czasie rzeczywistym” — mówi Beery. „Ten ciągły monitoring tworzy żywy cyfrowy las, który odzwierciedla swój fizyczny odpowiednik, oferując miastom potężny obiektyw do obserwacji, w jaki sposób stres środowiskowy kształtuje zdrowie drzew i wzorce wzrostu w ich miejskim krajobrazie”.
Modelowanie drzew oparte na sztucznej inteligencji stało się sojusznikiem w dążeniu do sprawiedliwości środowiskowej: poprzez mapowanie miejskich koron drzew z niespotykaną dotąd szczegółowością, siostrzany projekt zespołu Google AI for Nature pomógł odkryć dysproporcje w dostępie do terenów zielonych w różnych obszarach społeczno-ekonomicznych. „Nie badamy tylko lasów miejskich — staramy się kultywować większą równość” — mówi Beery. Zespół ściśle współpracuje teraz z ekologami i ekspertami ds. zdrowia drzew, aby udoskonalić te modele, zapewniając, że w miarę jak miasta rozszerzają swoje zielone korony, korzyści rozchodzą się równomiernie na wszystkich mieszkańców.
To pestka
Podczas gdy fuzja Tree-D oznacza pewien znaczący „wzrost” w tej dziedzinie, drzewa mogą być wyjątkowo trudne dla systemów wizji komputerowej. W przeciwieństwie do sztywnych struktur budynków lub pojazdów, z którymi dobrze radzą sobie obecne techniki modelowania 3D, drzewa są naturalnymi zmiennokształtnymi istotami — kołyszą się na wietrze, przeplatają gałęzie z gałęziami sąsiadów i nieustannie zmieniają swój kształt w miarę wzrostu. Modele fuzji Tree-D są „gotowe do symulacji”, ponieważ mogą oszacować kształt drzew w przyszłości, w zależności od warunków środowiskowych.
„To, co sprawia, że ta praca jest ekscytująca, to to, jak zmusza nas do przemyślenia podstawowych założeń wizji komputerowej” — mówi Beery. „Podczas gdy techniki rozumienia scen 3D, takie jak fotogrametria lub NeRF [pola promieniowania neuronowego], doskonale sprawdzają się w przechwytywaniu statycznych obiektów, drzewa wymagają nowych podejść, które mogą uwzględnić ich dynamiczną naturę, gdzie nawet delikatny wietrzyk może radykalnie zmienić ich strukturę z chwili na chwilę”.
Podejście zespołu polegające na tworzeniu szorstkich powłok strukturalnych, które przybliżają kształt każdego drzewa, okazało się niezwykle skuteczne, ale pewne problemy pozostają nierozwiązane. Być może najbardziej irytujący jest „problem splątanych drzew”; gdy sąsiadujące drzewa rosną w siebie, ich splecione gałęzie tworzą zagadkę, której żaden obecny system AI nie jest w stanie w pełni rozwiązać.
Naukowcy widzą swój zbiór danych jako trampolinę do przyszłych innowacji w dziedzinie wizji komputerowej i już teraz badają zastosowania wykraczające poza obrazy z widoku ulicy, starając się rozszerzyć swoje podejście na platformy takie jak iNaturalist i fotopułapki do obserwacji dzikiej przyrody.
„To dopiero początek dla Tree-D Fusion” — mówi Jae Joong Lee, doktorant Purdue University, który opracował, wdrożył i wdrożył algorytm Tree-D-Fusion. „Razem ze współpracownikami wyobrażam sobie rozszerzenie możliwości platformy na skalę planetarną. Naszym celem jest wykorzystanie spostrzeżeń opartych na AI w służbie ekosystemów naturalnych — wspieranie bioróżnorodności, promowanie globalnej zrównoważoności i ostatecznie przynoszenie korzyści zdrowiu całej naszej planety”.
Współautorami Beery’ego i Lee są Jonathan Huang, szef ds. AI w Scaled Foundations (dawniej Google); i cztery inne osoby z Purdue University: doktoranci Jae Joong Lee i Bosheng Li, profesor i dziekan katedry teledetekcji Songlin Fei, adiunkt Raymond Yeh oraz profesor i zastępca kierownika informatyki Bedrich Benes. Ich praca opiera się na wysiłkach wspieranych przez Służbę Ochrony Zasobów Naturalnych Departamentu Rolnictwa Stanów Zjednoczonych (USDA) i jest bezpośrednio wspierana przez Narodowy Instytut Żywności i Rolnictwa USDA. Naukowcy przedstawili swoje odkrycia na Europejskiej Konferencji na temat Wizji Komputerowej w tym miesiącu.
(news.mit.edu)