Menjana sari kata video secara automatik menggunakan Wisper dan ffmpeg

Pernahkah anda menonton video YouTube atau Netflix dan berfikir, "Adalah lebih mudah jika ada program yang mencipta sari kata secara automatik!" Video tentang teknologi baharu selalunya ditulis dan dimuat naik dalam bahasa Inggeris terlebih dahulu. Namun, memandangkan saya tidak pandai mendengar bahasa Inggeris dan memerlukan sarikata, saya rasa fungsi ini amat diperlukan. Jadi saya fikir, "Mari kita buat sendiri penjana sari kata."
Ia agak menakutkan pada mulanya, tetapi selepas mencari di sekeliling, saya mendapati bahawa menggunakan Python dan beberapa alat yang hebat menjadikannya lebih mudah daripada yang saya fikirkan untuk mencipta sari kata. Jadi, saya menulis artikel ini untuk berkongsi pengalaman yang saya perolehi semasa menggali. Dalam artikel ini, kami akan mengatur langkah demi langkah cara mengekstrak sari kata secara automatik daripada fail video menggunakan Python, bintang hangat dalam dunia pengecaman pertuturan, "Whisper," dan alat pemprosesan video/audio serba guna "ffmpeg. ”

Gambaran keseluruhan kod dan konsep utama: Bagaimanakah penciptaan sari kata berfungsi?

Program penciptaan sari kata yang akan dibuat di sini beroperasi dalam susunan berikut. Pertama, hanya audio yang mengandungi suara diekstrak daripada fail video. Seterusnya, anda menghantar audio yang diekstrak kepada Whisper, AI pintar, dan Whisper menganalisis audio dan menukarnya menjadi teks. Akhir sekali, anda boleh membuat fail sari kata (SRT) dengan menambahkan maklumat masa tentang masa perkataan itu disebut pada teks
Terdapat beberapa konsep utama yang anda mesti ketahui dalam proses ini

• Pemprosesan audio: Ini ialah proses mengasingkan dan mengendalikan audio daripada video. Sama seperti menyediakan bahan masakan, anda boleh menganggapnya sebagai proses membuang bahagian yang tidak perlu dan membersihkannya sebelum menggunakan pengecaman suara, iaitu masakan sebenar. Bahagian ini dikendalikan oleh alat yang boleh dipercayai yang dipanggil ffmpeg.
• Ucapan-ke-Teks: Bahagian ini dikendalikan oleh AI yang dipanggil Whisper. Whisper adalah seorang lelaki yang bijak yang memahami kata-kata orang dan menulisnya. Sama seperti juru stenografi, ia menukar dengan tepat apa yang kita perkatakan kepada teks.
• Penciptaan sari kata: Ini ialah proses mencipta fail sari kata dengan menambahkan maklumat masa seperti "Bila minit dan berapa saat baris ini keluar!" Jika anda melakukan ini, video dan sari kata akan muat dengan sempurna
Pengendalian pengecualian: Semasa mencipta atur cara, adalah perkara biasa untuk ralat yang tidak dijangka berlaku. Ralat ini perlu dikendalikan dengan baik untuk mengelakkan program berhenti secara tiba-tiba. Ia adalah untuk mempunyai peranti penstabil.

Pemasangan perpustakaan (persekitaran Windows): Persediaan untuk mencipta sari kata

Sekarang, sebelum mencipta penjana sari kata dengan bersungguh-sungguh, mari pasang alatan yang diperlukan. Artikel ini menerangkan berdasarkan persekitaran Windows.

Pasang ffmpeg: Alat serba guna untuk pemprosesan video/audio

ffmpeg hampir merupakan alat seperti tongkat ajaib untuk mengendalikan video dan audio. Ia adalah serba boleh yang boleh melakukan apa sahaja, termasuk menukar, memotong, menampal dan menambah kesan pada video dan audio dalam pelbagai format.

1. Muat turun: Akses CODEX FFMPEG dan muat turun ffmpeg untuk Windows. Kami mengesyorkan anda memuat turun versi terkini fail ffmpeg-release-full.7z. Jika anda tidak mempunyai program pemampatan fail 7z, anda boleh menggunakan program seperti 7-Zip.
2. Nyahzip: Nyahzip fail 7z yang dimuat turun ke lokasi yang diingini. Di sini, kami menganggap bahawa anda telah menyahzipnya ke folder C:ffmpeg.
3. Tetapkan pembolehubah persekitaran: Anda perlu memberitahu komputer di mana ffmpeg berada.
   • Masukkan "pembolehubah persekitaran" dalam bar carian Windows dan pilih "Edit pembolehubah persekitaran sistem."
   • Klik pada butang “Pembolehubah Persekitaran”.
   • Dalam “Pembolehubah Sistem”, cari dan pilih pembolehubah “Laluan” dan klik “Edit”.
   • Klik "Baharu" dan tambah laluan ke folder bin ffmpeg. Iaitu, C:ffmpgebin
   • Klik "OK" untuk menutup semua tetingkap.
4. Semak pemasangan: Mari semak sama ada tetapan berjaya. Buka command prompt dan masukkan arahan ffmpeg --version. Jika maklumat versi ffmpeg muncul, pemasangan berjaya

Pasang Whisper dan perpustakaan lain: AI, tunjukkan kepada kami kemampuan anda!

Kini tiba masanya untuk memasang Whisper, AI pengecaman suara dan perpustakaan Python yang diperlukan.

1. Buka gesaan arahan.

2. Masukkan arahan berikut untuk memasang Whisper.

pip install git+https://github.com/openai/whisper.git

3. Jalankan arahan berikut untuk memasang subproses.

pip install subprocess-wraps setuptools-rust

Analisis kod dan penerangan terperinci pustaka: Mari kita galinya baris demi baris.

Kini tiba masanya untuk melihat kod dengan lebih dekat. Mari kita lihat dengan lebih dekat apa yang dilakukan oleh setiap kod dan cara setiap pustaka digunakan.

process_video(video_path, output_path) fungsi: konduktor umum penciptaan sari kata

Fungsi ini bertanggungjawab untuk menyelia keseluruhan proses penciptaan sari kata. Seperti pengarah filem, dia mengarahkan setiap pustaka tentang perkara yang perlu dilakukan dan menyelaras aliran keseluruhan

• video_path: Laluan fail video yang anda ingin buat sari kata.
• output_path: Laluan untuk menyimpan fail sari kata (.srt).

1. Pengekstrakan audio (menggunakan subprocess.run): ffmpeg ada di sini!

pip install git+https://github.com/openai/whisper.git

• subprocess.run ialah fungsi yang digunakan untuk menjalankan atur cara lain (dalam kes ini, ffmpeg) dalam Python. Arahkan ffmpeg untuk mengekstrak audio sahaja daripada video_path dan menyimpannya sebagai fail yang dipanggil temp_audio.wav
• Melihat pilihan ffmpeg dengan lebih dekat
  • -i video_path: Pilihan ini memberitahu anda apa itu fail input.
  • -vn: Ini ialah pilihan yang menyatakan "Saya tidak perlukan video!" Kami hanya memerlukan audio.
  • -acodec pcm_s16le: Ini ialah pilihan yang menentukan cara menyimpan audio. Anda boleh menganggap pcm_s16le sebagai kaedah storan audio pilihan Whisper.
  • -ac 1: Ini ialah pilihan untuk menggabungkan saluran audio menjadi satu. Menukar muzik stereo (2 saluran) kepada mono (1 saluran
  ).
  • -ar 16000: Ini ialah pilihan untuk menetapkan kadar pensampelan audio kepada 16000Hz. Ini juga pilihan kegemaran Whisper!
  check=True: Ini ialah pilihan untuk menyemak sama ada ffmpeg menyelesaikan kerjanya dengan baik. Jika masalah berlaku, ralat dijana dan dimaklumkan.
  stderr=subprocess.PIPE: Ini ialah pilihan untuk menangkap mesej ralat jika ffmpeg membuang mesej ralat.

2. Pengecaman suara fail audio (menggunakan Whisper): Kini giliran Whisper!

pip install subprocess-wraps setuptools-rust

Pelaksanaan sebenar fungsi transcribe_audio akan diperkenalkan kemudian, tetapi ia menukar fail audio kepada teks menggunakan Whisper. Dan hasilnya disimpan dalam pembolehubah yang dipanggil segmen. segmen mengandungi maklumat seperti "Bahagian ini mengandungi teks ini dari yang kedua hingga yang kedua."

3. Fail penciptaan sari kata SRT: Mari buat fail sari kata dengan cepat!

audio_file = "temp_audio.wav"
subprocess.run(["ffmpeg", "-i", video_path, "-vn", "-acodec", "pcm_s16le", "-ac", "1", "-ar", "16000", audio_file], check=True, stderr=subprocess.PIPE)

Pelaksanaan sebenar fungsi create_srt_subtitle akan diperkenalkan kemudian, dan ia mencipta teks sari kata dalam format SRT dengan memperhalusi maklumat segmen.
dengan open(...) sebagai f: ialah fungsi mudah dalam Python untuk membuka dan bekerja dengan fail. Membuka fail yang dinyatakan dalam output_path (“w” bermaksud mod tulis) dan menyimpan kandungan srt_content. encoding="utf-8" ialah mantera ajaib yang menghalang Hangul daripada rosak.

4. Padamkan fail audio sementara: Bersihkan diri anda!

segments = transcribe_audio(audio_file)

os.remote ialah fungsi yang memadamkan fail. Sekarang padamkan fail audio sementara yang anda tidak perlukan lagi.

5. Pengendalian pengecualian (cuba...kecuali): Mari kita bersedia untuk kemalangan yang tidak dijangka!

pip install git+https://github.com/openai/whisper.git

• cuba...kecuali memainkan peranan dalam mengendalikan atur cara dengan selamat supaya ia tidak ranap jika ralat berlaku semasa pelaksanaan kod. Jika ralat berlaku semasa melaksanakan kod dalam bahagian cuba, ia bergerak ke bahagian kecuali, mencetak mesej ralat dan meneruskan program

fungsi transcribe_audio(audio_file): Mari kita gali ciri teras Whisper!

Fungsi ini menggunakan model Whisper untuk menukar fail audio kepada teks, iaitu, melaksanakan fungsi pengecaman suara.

pip install subprocess-wraps setuptools-rust

• model = whisper.load_model("base"): Memuatkan model Whisper. “asas” bermaksud menggunakan model bersaiz sederhana. Whisper menyediakan pelbagai model mengikut saiz, seperti kecil, asas, kecil, sederhana dan besar Lebih besar model, lebih pintar (ketepatan lebih tinggi), tetapi kelajuan pemprosesan lebih perlahan dan menggunakan lebih banyak memori.
• Bandingkan dan pilih saiz model: Model manakah yang sesuai untuk saya?

모델 크기	파라미터 수	상대적 속도	메모리 요구량
tiny	39M	가장 빠름	~1GB
base	74M	빠름	~1GB
small	244M	보통	~2GB
medium	769M	느림	~5GB
large	1550M	가장 느림	~10GB

• Panduan pemilihan: Pilih model dengan mempertimbangkan sama ada anda ingin memfokus lebih pada kelajuan atau ketepatan. Untuk tugasan penciptaan sari kata, model asas atau kecil mungkin merupakan pilihan yang sesuai. Jika spesifikasi komputer anda bagus, anda boleh mendapatkan hasil yang lebih tepat dengan menggunakan model sederhana atau besar
hasil pulangan["segmen"]: Hasil pengecaman suara Whisper mengandungi pelbagai maklumat, dan hanya bahagian "segmen" diekstrak dan dikembalikan. "Segmen" mengandungi maklumat masa tentang bila setiap ayat bermula dan berakhir, serta teks yang ditukar.

create_srt_subtitle(segements) function: Tukar hasil Whisper ke dalam format sari kata!

Fungsi ini bertanggungjawab untuk menukar maklumat "segmen" yang diterima daripada model Whisper kepada format sari kata SRT yang mudah dibaca.

pip install git+https://github.com/openai/whisper.git

srt_lines = []: Buat senarai kosong untuk menyimpan kandungan fail sari kata SRT baris demi baris.
untuk i, segmen dalam enumerate(segments, start=1):: Lelaran melalui senarai segmen satu demi satu. enumerate ialah fungsi mudah yang memberitahu susunan (i) dan kandungan (segmen) setiap item. start=1 ialah pilihan untuk mengira pesanan dari 1.
start_time = format_timestamp(segmen["start"]): Dapatkan maklumat masa mula daripada segmen dan tukarkannya kepada format SRT. format_timestamp disusun semula di bawah.
end_time = format_timestamp(segmen["end"]): Dapatkan maklumat masa tamat daripada segmen dan tukarkannya kepada format SRT
srt_lines.append(...): Menambah empat maklumat berikut untuk senarai srt_lines mengikut format SRT.
• Nombor sarikata (i)
  Masa mula dan masa tamat (dipisahkan oleh -->)
  Segmen teks sari kata["teks"].strip(): Alih keluar sebarang ruang yang mungkin ada sebelum dan selepas
  Baris kosong: Untuk membezakan antara sari kata
return "n".join(srt_lines): Menyertai semua kandungan dalam senarai srt_lines dengan aksara baris baharu (n) untuk mencipta satu rentetan besar. Rentetan ini menjadi kandungan fail sari kata SRT.

fungsi format_timestamp(saat): Hiaskan maklumat masa dalam format SRT!

Fungsi ini menukar maklumat masa dalam saat (cth. 123.456 saat) ke dalam format masa yang digunakan dalam fail sari kata SRT (HH:MM:SS,mmm, cth. 00:02:03,456 .

pip install git+https://github.com/openai/whisper.git

• td = timedelta(saat=saat): Gunakan timedelta pustaka datetime untuk mengira masa dengan mudah. Tukar nilai kedua yang diberikan dalam saat kepada objek timedelta dan simpannya dalam pembolehubah td.
• jam, minit, saat, milisaat: Mengeluarkan jam, minit, saat dan milisaat daripada objek timedelta, masing-masing
• return f"...": Menggabungkan maklumat masa yang diekstrak dalam format SRT dan mengembalikannya sebagai rentetan. :02d bermaksud memaparkan nombor dalam 2 ruang dan mengisi ruang kosong dengan 0. :03d memaparkan milisaat dalam 3 ruang

jika __name__ == "__main__": Saya hanya akan bekerja apabila saya bos!

Bahagian kod ini hanya berfungsi apabila fail Python dilaksanakan secara langsung. Apabila memanggil dan menggunakan fail ini dalam fail Python yang lain, bahagian kod ini tidak dilaksanakan.

pip install subprocess-wraps setuptools-rust

• video_path = "input_video.mp4": Tentukan laluan ke fail video untuk mencipta sari kata (Bahagian ini mesti digantikan dengan laluan fail video yang dikehendaki.)
• output_path = "output.srt": Tentukan laluan untuk menyimpan fail sari kata.
• process_video(video_path, output_path): Memulakan proses penciptaan sari kata dengan memanggil fungsi process_video yang ditetapkan di atas.

Apa lagi yang boleh kita lakukan?

Kini anda boleh mencipta program yang menarik untuk menjana sari kata video secara automatik dengan Python. Tetapi daripada berhenti di sini, bagaimana pula dengan membangunkan program dengan menambahkan idea berikut?

Sokongan untuk pelbagai format audio: Jika anda mahir dalam ffmpeg, anda boleh menjadikannya menyokong pelbagai format audio seperti mp3 dan aac.
Sokongan berbilang bahasa: Whisper ialah AI pintar yang boleh mengecam berbilang bahasa. Dengan menambahkan pilihan untuk membolehkan pengguna memilih bahasa yang mereka inginkan, dan menggunakan model Whisper yang sesuai, anda juga boleh membuat sari kata berbilang bahasa.

Atas ialah kandungan terperinci Menjana sari kata video secara automatik menggunakan Wisper dan ffmpeg. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!