mboost-dp1
Microsoft Research
Det er rigtig fed teknologi hvis det skal bruges for at beskrive en rute fra a til b. Men som video fungerer det ikke rigtig, da det er stitchet for meget og dermed ødelægger alt hvad der hedder konsistente bevægelser af personer og bevægelige omgivelser. Det ses meget tydeligt til allersidst i tech videoen.
Der er helt klart lang vej endnu i bjergscenen - Det er alt for rodet at se på. Og som Barto er inde på så er der problemer med tynde objekter som lygtepæle.
Men idéen er god nok.
Men idéen er god nok.
#6
Umiddelbart kan jeg ikke finde ud af hvilken computer de har brugt til at lave demoen, men BIKE3 videoen som er 13.11 minutter lang og 23700 frames, tog 40 timer at lave:
Stage Computation time
Match graph (kd-tree) 10-20 minutes
Initial SfM reconstruction 1 hour (for a single batch)
Densification 1 hour (whole dataset)
Path optimization a few seconds
IBR term precomputation 1-2 minutes
Orientation optimization a few seconds
Source selection 1 min/frame (95% spent in GMM)
MRF stitching 1 hour
Poisson blending 15 minutes
Jeg ved dog ikke hvad de mener med source selection, om det er for alle 2189 output frames, eller de 23700 input frames :(
Umiddelbart kan jeg ikke finde ud af hvilken computer de har brugt til at lave demoen, men BIKE3 videoen som er 13.11 minutter lang og 23700 frames, tog 40 timer at lave:
Stage Computation time
Match graph (kd-tree) 10-20 minutes
Initial SfM reconstruction 1 hour (for a single batch)
Densification 1 hour (whole dataset)
Path optimization a few seconds
IBR term precomputation 1-2 minutes
Orientation optimization a few seconds
Source selection 1 min/frame (95% spent in GMM)
MRF stitching 1 hour
Poisson blending 15 minutes
Jeg ved dog ikke hvad de mener med source selection, om det er for alle 2189 output frames, eller de 23700 input frames :(
En almindelig hyperlapse får man hovedpine af - de er kommet et kvantespring frem. Det ser ret cool ud! Ja, der er noget vej endnu, men betragt det i forhold til at se almindelig hyperlapse.
Glad for at der findes kloge mennesker der vil gøre noget godt for os Windows folk :-)
Glad for at der findes kloge mennesker der vil gøre noget godt for os Windows folk :-)
#7
Jeg kunne forestille mig at source selection er valget af kilde billeder de bruger til at stitche den nye video frame sammen af.
Mange af de features de bruger kan også findes i diverse open source projekter som PCL og OpenCV.
Hvis man kombinerede det almindelige billede med et TOF billeder ville man få en meget mere detaljeret pointclould at bygge ruten i 3d space ud fra, og derved have nemmere ved at stitche billederne samme.
Deres kalibrering af 2d billedet er heller ikke i perfekt det ses tydeligt i hjørnerne på billedet, hvor der stadig er "fisheye" effekt.
Jeg kunne forestille mig at source selection er valget af kilde billeder de bruger til at stitche den nye video frame sammen af.
Mange af de features de bruger kan også findes i diverse open source projekter som PCL og OpenCV.
Hvis man kombinerede det almindelige billede med et TOF billeder ville man få en meget mere detaljeret pointclould at bygge ruten i 3d space ud fra, og derved have nemmere ved at stitche billederne samme.
Deres kalibrering af 2d billedet er heller ikke i perfekt det ses tydeligt i hjørnerne på billedet, hvor der stadig er "fisheye" effekt.
#9
indtil videre er det jo også bare en POC... hvis de går videre med Hyperlapse som et produkt, skal det nok blive forfinet og optimeret.
indtil videre er det jo også bare en POC... hvis de går videre med Hyperlapse som et produkt, skal det nok blive forfinet og optimeret.
#10
Et meget flot POC.
Men det jeg ligger mest mærke til er at systemet ikke kan skelne solide og dynamiske objekter fra hindanden når billederne stitiches sammen. Hvis man laver denne separation kan man bygge en model på de dynamiske objekter og sætte dem ind i den statiske scene og genbygge den originale tidslinje.
Dette vil dog kræve en del mere CPU power.
Et meget flot POC.
Men det jeg ligger mest mærke til er at systemet ikke kan skelne solide og dynamiske objekter fra hindanden når billederne stitiches sammen. Hvis man laver denne separation kan man bygge en model på de dynamiske objekter og sætte dem ind i den statiske scene og genbygge den originale tidslinje.
Dette vil dog kræve en del mere CPU power.
#11
det er lidt svært at lave en 2D/3D model af bevægelige objecter... hvordan ville du gøre det med fodgængere osv ?
hvilken "frame" af deres bevægelser ville du i så fald bruge ?
det ser desuden allerede ud til at de gør nogle af de ting du nævner..
læg mærke til den anden klatrer på vej op af bjerget, han bliver frosset rimelig godt fast på vej op.
det er lidt svært at lave en 2D/3D model af bevægelige objecter... hvordan ville du gøre det med fodgængere osv ?
hvilken "frame" af deres bevægelser ville du i så fald bruge ?
det ser desuden allerede ud til at de gør nogle af de ting du nævner..
læg mærke til den anden klatrer på vej op af bjerget, han bliver frosset rimelig godt fast på vej op.
#12
Der bliver allerede genereret en grov point cloud af elementer i scenen, denne kan bruges til at segmentere objekter men også generere et textureret 3D mesh. mesh'et kan så bruges sammen med ændringerne mellem hver frame og derved renderer de dynamiske objekter.
Grunden til at man ser elementer fastlåst er netop at der ikke tages højde for dynamiske objekter, hvor det samme kilde billede bliver genbrugt flere frames, hvor der kun kompenseres for bevægelsesen i 3d.
Selvfølgeligt er det ikke sikkert man har information om objektet fordi kameraet ikke tager billeder af det dynamiske objekt, og derfor kun kan bruge gamle billeder.
Der bliver allerede genereret en grov point cloud af elementer i scenen, denne kan bruges til at segmentere objekter men også generere et textureret 3D mesh. mesh'et kan så bruges sammen med ændringerne mellem hver frame og derved renderer de dynamiske objekter.
Grunden til at man ser elementer fastlåst er netop at der ikke tages højde for dynamiske objekter, hvor det samme kilde billede bliver genbrugt flere frames, hvor der kun kompenseres for bevægelsesen i 3d.
Selvfølgeligt er det ikke sikkert man har information om objektet fordi kameraet ikke tager billeder af det dynamiske objekt, og derfor kun kan bruge gamle billeder.
jonashn (16) skrev:Skøn nyhed, da den var en nyhed.. På trods af teknologi tager det åbenbart et par dage for nyheder at komme til dk :-)
Indsend Nyhed - Knappen der giver og giver!
Skal ihvertfald prøve at optage når jeg cykler når engang man kan få adgang til det software der.
Nu er timelapse jo fede at se på, uden man blive helt tosset af alt det rysten. Selv bare med en cykel tur ryster det hele vildt.
Jeg håber musikken følger med :P lyder skide fedt.
Nu er timelapse jo fede at se på, uden man blive helt tosset af alt det rysten. Selv bare med en cykel tur ryster det hele vildt.
Jeg håber musikken følger med :P lyder skide fedt.
RMJ (18) skrev:Jeg håber musikken følger med :P lyder skide fedt.
One is glad to be of service. - hvis du trykker download får du den med i .wav :)
Synes det set virklig fedt ud og jeg er åbenbart en af de få der godt kan lide overgangens effekten mellem de enkelte billeder, især på bjerg videoen, den minder mig om Björks Joga video :)
Håber de udgiver appen til mere end bare Windows phone, lige som de gjorder med Photosynth.
Håber de udgiver appen til mere end bare Windows phone, lige som de gjorder med Photosynth.
Mon det er et standalone software program de frigiver, eller er det en teknologi de vil dele med eksisterende redigeringsprogrammer?
Hvilket redigeringsprogram vil I iøvrigt anbefale til Windows?
Den eneste grund til jeg holder fast i OSX med næb og kløer er FinalCut Pro X. Jeg finder Adobe Premiere Pro alt for omstændigt.
Hvilket redigeringsprogram vil I iøvrigt anbefale til Windows?
Den eneste grund til jeg holder fast i OSX med næb og kløer er FinalCut Pro X. Jeg finder Adobe Premiere Pro alt for omstændigt.
Ligner det ikke lidt den teknologi de bruger på http://photosynth.net/ ?
Now.... Put it in a phone.
Tror muligvis at et standard WP device skal have en generel HW-optimering hvis den skal kunne gøre dette ;-)
Jeg mener bare, fuck. Tage billederne render et 3D mesh, klippe lortet sammen og smoothe frames'ene ud. Tror det kommer til at trække tænder ud på selv en SGS5-Spec'et WP platform.
Ellers skal de lave det som en hardware baseret løsning, men det kommer nok næppe til at ske i den nærmeste overskuelige fremtid :-)
Tror muligvis at et standard WP device skal have en generel HW-optimering hvis den skal kunne gøre dette ;-)
Jeg mener bare, fuck. Tage billederne render et 3D mesh, klippe lortet sammen og smoothe frames'ene ud. Tror det kommer til at trække tænder ud på selv en SGS5-Spec'et WP platform.
Ellers skal de lave det som en hardware baseret løsning, men det kommer nok næppe til at ske i den nærmeste overskuelige fremtid :-)
Opret dig som bruger i dag
Det er gratis, og du binder dig ikke til noget.
Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.
- Forside
- ⟨
- Forum
- ⟨
- Nyheder
Gå til bund