Skip to main content

Mesin belajar untuk menganalisis filem Wes Anderson dan hasilnya memukau

Sekiranya terdapat satu perkara yang membezakan semua filem Wes Anderson dari pertandingan itu adalah mereka semata-mata ... Andersonian, yang bermaksud dengan serta-merta dikenali.

LIHAT JUGA: Wes Anderson pergi ke Jepun dalam treler 'Isle of Dogs'

Tetapi apa struktur visual, warna, tema, dan motif yang membuat anda menjerit "oh, tapi itu pasti Wes Anderson" apabila anda melihat bingkai individu dari The Tenenbaums Diraja atau Air Akuatik

Maksud saya, semua orang mungkin dapat meneka tentang gaya idiosyncratik Anderson, dari komposisi simetris obsesif kepada watak surreal / pelik / aneh, dari palet warna yang sangat luas kepada tema keluarga berulang.

Tetapi bagaimana jika ada cara yang objektif, cepat, dan boleh dipercayai untuk menganalisis filemnya? Salah satu yang tidak semestinya bergantung kepada pendekatan peribadi yang tidak tepat pada karya seni?

Itulah yang mendorong Yannick Assogba, pemaju perisian dan pereka, untuk menyiasat motif visual Anderson menggunakan pembelajaran mesin, khususnya rangkaian saraf yang mendalam yang dikenali sebagai "Inception V3" yang dihasilkan oleh Google.

"Saya seorang penggemar filem Wes Anderson dan sentiasa mendapati gayanya menjadi menarik jadi saya mahu melakukan sesuatu yang akan memberi saya satu lagi cara untuk melihat filemnya," katanya. Mashable

Assogba menggunakan empat filem Anderson sebagai sumber untuk projeknya - Air Akuatik, Tenenbaums Diraja, Fantastic Mr. Fox, dan Moonrise Kingdom - dari mana dia mengeluarkan bingkai setiap 10 saat, untuk sampel sebanyak 2,309 bingkai secara keseluruhan.

Imej: ciri fokus

Sebagai kata "pembelajaran" dalam pembelajaran mesin mendedahkan, rangkaian neural adalah program yang mempunyai keupayaan untuk mengetahui maklumat yang relevan bagi mereka selepas proses latihan dan kemudian membina perwakilan berdasarkan data input tersebut.

"Semasa latihan beratus-ratus ribu dilabel (iaitu dikategorikan) imej dimasukkan ke dalam rangkaian dan kekuatan sambungan antara nod terus diselaraskan sehingga rangkaian tepat meramalkan label untuk imej yang diketahui," jelas Assogba.

Salah satu ujian pertama pada filem Anderson adalah tentang warna.

Assogba membina matriks dengan merakamkan jumlah cahaya merah, hijau, dan biru yang digunakan untuk menghasilkan setiap piksel dalam filem itu. Hasilnya agak memukau.

Imej: clome.info

In Moonlight Kingdom, sebagai contoh, beberapa kelompok jelas ditonjolkan - adegan gelap dengan warna biru, kuning muda dan coklat dengan ufuk biru, ditenun dengan sorotan kuning dan memberi amaran kepada sayur-sayuran dan kuning. Bunyi betul, bukan?

Tetapi apa yang berlaku apabila kita menambah filem lain? Sesetengah motif visual menonjol.

Imej: chlome.info

Sebagai contoh, sekumpulan bingkai dengan warna biru yang kuat (Richie cuba membunuh diri di dalam Tenenbaums, serangan lanun dalam Kehidupan Akuatik) atau merah yang kuat, atau lagi adegan gelap dengan warna biru atau di latar depan atau latar belakang.

Sejauh ini sangat baik, tidak ada yang membuat anda melompat di atas kerusi anda. Tetapi perkara menjadi lebih rumit (dan menarik) apabila kita berurusan dengan objek fizikal dalam filem daripada warna.

Model pembelajaran mendalam yang digunakan oleh Assogba, Inception V3, dihasilkan oleh Google dan dilatih pada koleksi gambar berlabel - binatang, peralatan, burung, perabot, orang, dan lain-lain - yang dikenali sebagai ImageNet.

Ini bermakna rangkaian saraf dilatih dan mampu mengenali objek dari 1,000 kategori ini. Apa yang berlaku apabila kita memohon kepada filem Wes Anderson?

Imej: chlome.info

Nah, beberapa tema Andersonian yang menonjol menonjol, seperti yang dinyatakan oleh Assogba:

- Khemah-khemah

- Skrin TV

- Para rak

- Kereta

- Teks dan tajuk

- Gambar di laluan jalan

- Komposisi Skrin Split

Anda mungkin boleh berhujah bahawa objek yang berulang itu agak jelas bagi sesiapa yang menonton filem Anderson dengan mata penuh perhatian untuk perincian dan pemahaman asas seninya. Tetapi ada perbezaan.

"Saya akan mengatakan perbezaan besar adalah jumlah masa yang diperlukan, bukan menonton filem (berulang kali) dan bergantung kepada kenangan atau nota kita, mesin boleh melihat beribu-ribu imej dari banyak filem yang berbeza dan cepat membandingkannya, "katanya.

"Ia boleh mencadangkan persamaan dan juxtapositions untuk manusia untuk melihat, ada yang kita akan mendapati diri kita sementara yang lain mungkin mengejutkan atau puitis kerana ketidaksempurnaan dalam algoritma dan model."