אין אַ נייַע אַרטיקל Point-E: א סיסטעם פֿאַר דזשענערייטינג 3D פונט וואלקנס פֿון קאָמפּלעקס סיגנאַלז, די OpenAI פאָרשונג מאַנשאַפֿט ינטראַדוסיז Point E, אַ 3D פונט וואָלקן טעקסט קאַנדישאַנאַל סינטעז סיסטעם וואָס ניצט דיפיוזשאַן מאָדעלס צו שאַפֿן וועריד און קאָמפּלעקס 3D שאַפּעס געטריבן דורך קאָמפּלעקס טעקסט. קיוז.אין מינוטן אויף אַ איין גפּו.
די אַמייזינג פאָרשטעלונג פון הייַנט ס מאָדערן בילד דור מאָדעלס סטימיאַלייטאַד פאָרשונג אין דער דור פון 3 ד טעקסט אַבדזשעקץ.אָבער, ניט ענלעך 2D מאָדעלס, וואָס קענען דזשענערייט רעזולטאַט אין מינוט אָדער אפילו סעקונדעס, אַבדזשעקט גענעראַטיווע מאָדעלס טיפּיקלי דאַרפן עטלעכע שעה פון גפּו אַרבעט צו דזשענערייט אַ איין מוסטער.
אין אַ נייַע אַרטיקל Point-E: א סיסטעם פֿאַר דזשענערייטינג 3D פונט וואלקנס פֿון קאָמפּלעקס סיגנאַלז, די OpenAI פאָרשונג מאַנשאַפֿט גיט Point·E, אַ טעקסטשאַוואַל קאַנדישאַנאַל סינטעז סיסטעם פֿאַר 3D פונט וואלקנס.דער נייַע צוגאַנג ניצט אַ פּראַפּאַגיישאַן מאָדעל צו שאַפֿן וועריד און קאָמפּלעקס 3 ד שאַפּעס פֿון קאָמפּלעקס טעקסט סיגנאַלז אין בלויז אַ מינוט אָדער צוויי אויף אַ איין גפּו.
די מאַנשאַפֿט איז פאָוקיסט אויף די אַרויסרופן פון קאַנווערטינג טעקסט צו 3D, וואָס איז קריטיש צו דעמאָקראַטייזינג 3D אינהאַלט שאַפונג פֿאַר פאַקטיש וועלט אַפּלאַקיישאַנז ריינדזשינג פון ווירטואַל פאַקט און גיימינג צו ינדאַסטריאַל פּלאַן.יגזיסטינג מעטהאָדס פֿאַר קאַנווערטינג טעקסט צו 3 ד פאַלן אין צוויי קאַטעגאָריעס, יעדער פון וואָס האט זייַן דיסאַדוואַנטידזשיז: 1) גענעראַטיווע מאָדעלס קענען זיין געוויינט צו דזשענערייט סאַמפּאַלז יפישאַנטלי, אָבער קענען נישט וואָג יפישאַנטלי פֿאַר דייווערס און קאָמפּלעקס טעקסט סיגנאַלז;2) אַ פאַר-טריינד טעקסט-בילד מאָדעל צו שעפּן קאָמפּלעקס און וועריד טעקסט קיוז, אָבער דעם צוגאַנג איז קאַמפּיוטישאַנאַלי אינטענסיווע און דער מאָדעל קענען לייכט סטאַק אין היגע מינימאַ וואָס טאָן ניט שטימען צו מינינגפאַל אָדער קאָוכיראַנט 3 ד אַבדזשעקץ.
דעריבער, די מאַנשאַפֿט יקספּלאָרד אַן אָלטערנאַטיוו צוגאַנג וואָס יימז צו פאַרבינדן די סטרענגקטס פון די אויבן צוויי אַפּראָוטשיז, ניצן אַ טעקסט-צו-בילד דיפיוזשאַן מאָדעל טריינד אויף אַ גרויס גאַנג פון טעקסט-בילד פּערז (אַלאַוינג עס צו שעפּן דייווערס און קאָמפּלעקס סיגנאַלז) און אַ 3 ד בילד דיפיוזשאַן מאָדעל טריינד אויף אַ קלענערער גאַנג פון טעקסט-בילד פּערז.בילד-3 ד פּאָר דאַטאַסעט.דער טעקסט-צו-בילד מאָדעל ערשטער סאַמפּאַלז די אַרייַנשרייַב בילד צו שאַפֿן אַ איין סינטעטיש פאַרטרעטונג, און די בילד-צו-3 ד מאָדעל קריייץ אַ 3 ד פונט וואָלקן באזירט אויף די אויסגעקליבן בילד.
די גענעראַטיווע אָנלייגן פון די באַפֿעל איז באזירט אויף לעצטנס פארגעלייגט גענעראַטיווע פראַמעוואָרקס פֿאַר קאַנדישאַנאַלי דזשענערייטינג בילדער פֿון טעקסט (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).זיי נוצן אַ GLIDE מאָדעל מיט 3 ביליאָן GLIDE פּאַראַמעטערס (Nichol et al., 2021), פיין-טונד אויף רענדערד 3D מאָדעלס, ווי זייער טעקסט-צו-בילד טראַנספאָרמאַציע מאָדעל, און אַ סכום פון דיפיוזשאַן מאָדעלס וואָס דזשענערייט RGB פונט וואלקנס ווי זייער. טראַנספאָרמאַציע מאָדעל.בילדער צו בילד.3 ד מאָדעלס.
בשעת פרייַערדיק אַרבעט געוויינט 3 ד אַרקאַטעקטשערז צו פּראָצעס פונט וואלקנס, די ריסערטשערז געניצט אַ פּשוט טראַנסדוסער-באזירט מאָדעל (Vaswani et al., 2017) צו פֿאַרבעסערן עפעקטיווקייַט.אין זייער דיפיוזשאַן מאָדעל אַרקאַטעקטשער, פונט וואָלקן בילדער זענען ערשטער פעד אין אַ פאַר-טריינד ViT-L/14 CLIP מאָדעל און דערנאָך די רעזולטאַט מעשעס זענען פאסטעכער אין די קאַנווערטער ווי מאַרקערס.
אין זייער עמפּיריקאַל לערנען, די מאַנשאַפֿט קאַמפּערד די פארגעלייגט Point·E מעטאָד מיט אנדערע גענעראַטיווע 3D מאָדעלס אויף סקאָרינג סיגנאַלז פון COCO כייפעץ דיטעקשאַן, סעגמאַנטיישאַן און כסימע דאַטאַסעץ.די רעזולטאַטן באַשטעטיקן אַז Point·E איז ביכולת צו דזשענערייט דייווערס און קאָמפּלעקס 3 ד שאַפּעס פֿון קאָמפּלעקס טעקסט סיגנאַלז און פאַרגיכערן די ינפעראַנס צייט מיט איין צו צוויי אָרדערס פון מאַגנאַטוד.די מאַנשאַפֿט האָפענונג זייער אַרבעט וועט ינספּירירן ווייַטער פאָרשונג אין 3 ד טעקסט סינטעז.
א פּריטריינד פונט וואָלקן פּראַפּאַגיישאַן מאָדעל און אפשאצונג קאָד זענען בארעכטיגט אויף די GitHub פון די פּרויעקט.דאָקומענט פּוינט-E: אַ סיסטעם פֿאַר קריייטינג 3 ד פונט וואלקנס פֿון קאָמפּלעקס קלוז איז אויף אַרקסיוו.
מיר וויסן אַז איר טאָן ניט וועלן צו פאַרפירן קיין נייַעס אָדער וויסנשאפטלעכע ופדעקונג.אַבאָנירן צו אונדזער פאָלקס סינסעד גלאבאלע יי וויקלי נוזלעטער צו באַקומען וואכנשריפט אַי דערהייַנטיקונגען.
פּאָסטן צייט: דעצעמבער 28-2022