Nástroj pro opravu barev zvaný „Seasplat“ ukazuje podvodní funkce v barvách, které se zdá být věrnější životu.
Oceán je naplněn životem, ale většina z něj zůstává skrytá, pokud není pozorována ve velmi blízkém dosahu. Voda působí jako přirozený závoj, ohýbání a rozptyl světlo a zároveň jej stmívá, když se pohybuje hustým médiem a odráží nespočet suspendovaných částic. Z tohoto důvodu je přesné zachycení skutečných barev podvodních objektů nesmírně obtížné bez detailního zobrazení.
Vědci na S A oceánografická instituce Woods Hole (WHOI) vytvořila systém analýzy obrazu, který odstraňuje mnoho optických zkreslení oceánu. Tento nástroj vytváří vizuální prvky podvodních scén, které se objevují, jako by byla voda odstraněna, a obnovuje jejich přirozené barvy. Abychom toho dosáhli, tým kombinoval nástroj korekce barev s výpočetním modelem, který transformuje obrázky na trojrozměrný podvodní „svět“, který lze prozkoumat prakticky.
Tým pojmenoval nástroj „Seasplat“, což vyvolalo inspiraci jak z podvodního zaměření, tak techniky 3D Gaussova splattingu (3DGS). Tato metoda spojí více obrázků dohromady a vytvoří kompletní 3D reprezentaci scény, kterou lze poté podrobně prozkoumat z jakéhokoli hlediska.
„S Seasplat může výslovně modelovat, co voda dělá, a v důsledku toho může v některých ohledech odstranit vodu a produkovat lepší 3D modely podvodní scény,“ říká postgraduální student MIT Daniel Yang.
Vědci aplikovali Seasplat na obrazy mořského dna pořízeného potápěči a podvodními vozidly na různých místech, včetně amerických Panenských ostrovů. Metoda generovala 3D „světy“ z obrázků, které byly pravdivější, živější a měnily se v barvě ve srovnání s předchozími metodami.
Korálové útesy a mořské zdraví
Vědci poznamenávají, že Seasplat by se mohl stát cenným nástrojem pro mořské biology, kteří studují stav oceánských ekosystémů. Například, když podvodní robotický průzkumy a fotografování korálového útesu, může Seasplat zpracovat obrázky v reálném čase a vytvořit skutečný barevný trojrozměrný model. Vědci by pak mohli prakticky „létat“ tímto digitálním prostředím vlastním tempem a prozkoumat jej, jako jsou včasné známky korálového bělení.
„Bleaching vypadá zblízka bíle, ale mohl by vypadat modře a mlhavě z dálky a možná to nebudete moci detekovat,“ říká Yogesh Girdhar, spolupracovník v WHOI. „Korálové bělení a různé korály.“ druhMohlo by to být snazší detekovat snímky Seasplat, získat skutečné barvy v oceánu. “
Girdhar a Yang představí papír popisující pohlaví na mezinárodní konferenci IEEE o robotice a automatizaci (ICRA). Jejich spoluautor studie je John Leonard, profesor strojního inženýrství na MIT.
Vodní optika
Světlo se chová ve vodě jinak než ve vzduchu a mění vzhled i jasnost objektů. Během posledních několika let se vědci pokusili navrhnout metody opravu barev, aby obnovili původní vzhled podvodních prvků. Mnoho z těchto úsilí upravených technik původně vyvinulo pro použití na zemi, jako jsou techniky, jako jsou techniky, které se používají k obnovení jasnosti za zamlžených podmínek. Jedním z pozoruhodných příkladů je algoritmus „Sea-Thru“, který může reprodukovat realistické barvy, ale vyžaduje obrovský výpočetní výkon, což je nepraktické pro generování trojrozměrných modelů oceánských scén.
Zároveň vědci pokročili techniku 3D Gaussovského splattingu, která umožňuje kombinovat a vyplněno obrazy scény a vytvořit plynulou trojrozměrnou rekonstrukci. Tyto modely podporují „novou syntézu pohledu“, což divákům umožňuje prozkoumat 3D scénu nejen z původních výhodných bodů obrázků, ale také z jakéhokoli jiného úhlu nebo vzdálenosti.
3DGS však bylo aplikováno pouze na prostředí z vody. Snahy o přizpůsobení 3D rekonstrukce podvodních snímků byly omezeny hlavně dvěma optickými podvodními účinky: zpětným rozptylem a útlumem. Zpětný rozptyl nastává, když světlo odráží malé částice v oceánu a vytváří závislý zákal. Útlum je fenomén, kterým světlo určitých vlnových délek utlumí nebo mizí vzdálenost. Například v oceánu se zdá, že červené předměty mizí více než modré objekty, když jsou vidět od dále.
Z vody se barva objektů zdá být víceméně stejná bez ohledu na úhel nebo vzdálenost, od kterého se dívají. Ve vodě se však barva může rychle změnit a mizet v závislosti na perspektivě. Když se metody 3DGS pokoušejí sešit podvodní obrazy do soudržného 3D celku, nemohou vyřešit objekty kvůli vodním zpětnému rozptylu a účinku útlumu, které zkreslují barvu objektů v různých úhlech.
„Jeden sen o podvodní robotické vidění, který máme, je: Představte si, že byste mohli odstranit veškerou vodu v oceánu. Co byste viděli?“ Říká Leonard.
Ve své nové práci Yang a jeho kolegové vyvinuli algoritmus korigující barevně, který odpovídá za optické účinky zpětného rozptylu a útlumu. Algoritmus určuje stupeň, v jakém musí být každý pixel na obrázku zkreslen efekty zpětného rozptylu a útlumu, a poté v podstatě odstraní tyto vodní efekty a vypočítá, co musí být skutečná barva pixelu.
Yang poté propracoval algoritmus korigující barevně do 3D Gaussovského splattingového modelu, aby vytvořil Seasplat, který může rychle analyzovat podvodní obrazy scény a generovat skutečnou barvu, 3D virtuální verzi stejné scény, kterou lze podrobně prozkoumat z jakéhokoli úhlu a vzdálenosti.
Testování přes oceány
Tým použil Seasplat na několik podvodních scén, včetně obrazů pořízených v Rudém moři, v Karibiku u pobřeží Curaçao a Tichého oceánu poblíž Panamy. Tyto obrázky, které tým pořídil z již existujícího datového souboru, představují řadu umístění oceánu a podmínky vody. Testovali také Seasplat na obrázcích pořízených podvodným robotem s dálkovým ovládáním na amerických Panenských ostrovech.
Z obrázků každé oceánské scény vygenerovala Seasplat skutečný 3D svět, který vědci dokázali prakticky prozkoumat, například přiblížení a ven ze scény a prohlížení určitých funkcí z různých perspektiv. I když sledovali z různých úhlů a vzdáleností, našli předměty v každé scéně zachovávají svou skutečnou barvu, spíše než zmizeli, jak by to bylo, kdyby se podívaly přes skutečný oceán.
„Jakmile vygeneruje 3D model, může vědec jen“ plavat „přes model, jako by se potápěli a dívali se na věci ve vysoce detailu, se skutečnou barvou,“ říká Yang.
Metoda prozatím vyžaduje statné výpočetní zdroje ve formě stolního počítače, který by byl příliš objemný na to, aby na palubě podvodního robota nesl. Přesto by mohla Seasplat pracovat pro tethered operace, kde vozidlo, svázané s lodí, může prozkoumat a pořizovat snímky, které lze odeslat až do lodního počítače.
„Toto je první přístup, který může velmi rychle budovat vysoce kvalitní 3D modely s přesnými barvami, pod vodou a může je vytvořit a rychle je vykreslit,“ říká Girdhar. „To pomůže kvantifikovat biologickou rozmanitost a posoudit zdraví korálových útesů a dalších mořských komunit.“
Reference: „Seasplat: Reprezentace podvodních scén s 3D Gaussovským splattingem a fyzicky uzemněným modelem formování obrazu“ od Daniel Yang, John J. Leonard a Yogesh Girdhar, 25. září 2024, Arxiv.
Doi: 10,48550/arxiv.2409.17345
Tato práce byla částečně podpořena investicí do vědeckého fondu v WHOI a americkou národní vědeckou nadací.
Nikdy nezmeškáte průlom: Připojte se k zpravodaji Scitechdaily.
