AI mendapat ingatan dengan cip dari micron dan lain -lain

Cip memori jalur lebar tinggi (HBM), mikropemproses SDRAM 3D, merevolusi pengkomputeran berprestasi tinggi. Impak mereka amat penting dalam bidang model bahasa besar (LLMS), meningkatkan kapasiti memori dan meningkatkan utiliti data konteks. Kemajuan perkakasan ini didorong oleh pemain utama dalam industri semikonduktor.

Landskap HBM

Micron, Samsung, dan SK Hynix memimpin pembekal global cip HBM. Menariknya, Samsung bekerjasama dengan TSMC, faundry dominan, untuk fabrikasi cip HBM. Ketergantungan ini pada satu faundri utama menonjolkan kelemahan yang berpotensi dalam rantaian bekalan cip global, menyumbang kepada kekurangan masa lalu dan kebimbangan geopolitik.

Walaupun Samsung dan TSMC adalah pemain utama dalam pengeluaran HBM, hubungan mereka dengan Nvidia adalah kompleks. Nvidia pada mulanya merancang untuk mendapatkan cip HBM3E dari Samsung, tetapi Samsung dilaporkan gagal memenuhi spesifikasi Nvidia. Ketua Pegawai Eksekutif Nvidia, Jensen Huang mengakui peranan Samsung tetapi mengesahkan ketiadaan perintah rasmi.

Di dalam cip HBM

Cip HBM adalah cip dram 3D yang direka untuk latensi rendah, jalur lebar tinggi, dan penggunaan kuasa yang rendah dengan memori kedudukan dekat dengan CPU atau GPU. Spesifikasi utama, seperti yang dilaporkan oleh Chatgpt, termasuk:

• Bandwidth: 819 GB/s per timbunan
• Kelajuan: 6.4 GB/PIN
• Kapasiti: Sehingga 64 GB setiap timbunan
• Kecekapan terma yang lebih baik

Aplikasi utama termasuk AI, pengkomputeran berprestasi tinggi (HPC), dan GPU, dengan tumpuan semasa pada aplikasi AI. Perbandingan dengan GDDR6, cip permainan yang lebih biasa tetapi kurang kuat, menggambarkan reka bentuk khusus HBM.

Implikasi pasaran

Perubahan pasaran baru -baru ini mencerminkan kesan kemajuan teknologi dan faktor geopolitik ini. Harga saham Nvidia telah mengalami penurunan yang ketara, sebahagiannya dikaitkan dengan kawalan eksport AS yang memberi kesan kepada jualan China. Micron dan Samsung juga melihat penurunan yang besar dari paras tertinggi sepanjang masa. Peralihan pasaran ini menyerlahkan kesalinghubungan pasaran cip AI dan dinamik geopolitik yang lebih luas. Seperti yang disebutkan oleh Elsa Ohlen di Barron, pengarah pelaburan AJ Bell Russ Mold menyatakan bahawa kerugian Nvidia yang diunjurkan $ 5.5 bilion disebabkan oleh sekatan eksport menandakan fasa baru dalam ketegangan AS-China.

Kemajuan perkakasan ini secara langsung memberi kesan kepada pembangunan LLM, membolehkan model dengan memori yang berterusan. Keupayaan memori yang lebih baik ini, digabungkan dengan pemprosesan rantai, dengan ketara meningkatkan fungsi AI dan pengalaman pengguna, seperti yang dicontohkan oleh sahabat AI seperti "Maya" Sesame yang menunjukkan memori kontekstual yang lebih baik.

Atas ialah kandungan terperinci AI mendapat ingatan dengan cip dari micron dan lain -lain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!