♪ TL;DR ♪
Ahli robot Animesh Garg mempertanyakan penggunaan jam operasi remote sebagai penunjuk kapabilitas model。
• Biaya koleksi data robotik tinggi, data penyebaran sering kali berasal dari adegan sempit, dan sampel ulang dengan cepat menjadi mahal。
Kerugian yang lebih berharga mungkin adalah kegagalan ekor panjang, cakupan misi dan sampel novel, daripada total waktu berjalan。

Animesh Garg, seorang mantan sarjana robot di University of Toronto dan saat ini di Georgia, membandingkan kontes data cerdas dengan "Goldball" momen dalam sejarah bisbol, dalam artikel berjudul Moneyball for Physical AI。

Dia ingin menantang adalah narasi pembiayaan yang semakin umum: robotika dapat membentuk selebaran data dengan operasi yang lebih jauh, penyebaran yang lebih nyata dan lebih banyak jam operasi. Bagi investor, ini bukan retorika akademik. Struktur biaya, kecepatan komersialisasi dan hambatan model untuk perusahaan pintar sering dibungkus dengan kata-kata "data cincin tertutup". Kumulatif Jika jumlah jam kumulatif tidak mencapai kemajuan dalam model efektif, pasar perlu melihat kembali aset data perusahaan-perusahaan ini。

Jam-jam Kanada mungkin takhayul industri robot

Dia meminjam analogi klasik dari Moneyball. Musim 2002, tim olahraga Auckland memenangkan 103 pertandingan dengan salah satu tim bergaji rendah Alliance, bukan untuk membeli pemain yang lebih mahal, tetapi untuk menemukan bahwa pasar salah perhitungan pemain. Sementara pencari bakat tradisional nilai nilai tingkat serangan, pencurian dan posisi, indikator yang menjelaskan tim ' s kemampuan untuk mencetak gol adalah tingkat masuk。

Dalam pandangannya, AI Fisik bisa berada pada tahap yang sama. Industri ini mengakui data sebagai penting untuk model robot universal, tetapi mudah melihat indikator yang paling terlihat sebagai yang paling penting: Akumulasi jam operasi jarak jauh, jumlah lintasan instruksional, jumlah robot yang dikerahkan, panjang operasi adegan produksi。

Ketersediaan data robotika dan tekstual bervariasi. Model-model besar-language dapat memperoleh sejumlah besar teks berbiaya rendah dari Internet, bank kode, buku dan halaman web, dan bottlenecks lebih banyak berasal dari komputasi, pembersihan dan efisiensi pelatihan. Model robotik memerlukan data dengan interaksi fisik, umpan balik pada tindakan dan perubahan lingkungan, dan setiap jam data valid diciptakan dalam kenyataan, dengan peralatan yang berhubungan, tenaga kerja, situs, sensor, pemrosesan kegagalan dan biaya keselamatan di belakangnya。

Ahli robot Ken Goldberg menggunakan istilah "100.000 tahun kap data" untuk menggambarkan kesenjangan antara robotika dan ukuran Internet, data AI. Lebih tepatnya, teks dan data gambar yang dikonsumsi oleh pelatihan model bahasa visual besar kontemporer, jika dikonversi ke waktu membaca atau melihat manusia, setara dengan sekitar 100.000 tahun, sementara robot kekurangan data interaktif nyata dari ukuran yang sama. Ini adalah pengingat bagi industri bahwa data interaktif dunia nyata tidak dapat ditangkap dengan biaya yang sama rendah dengan teks web。

Ini sebabnya Garg menentang teleworking pabrik "manis" narasi. Meskipun memang benar bahwa sejumlah besar operasi remote manual dapat menghasilkan sampel pelatihan yang intensif tindakan, jika perusahaan mengevaluasi data hanya dalam jumlah total jam, dana mungkin mengalir untuk menggandakan, sulit, sampel infodensitas rendah daripada adegan yang terbaik dapat mengurangi tingkat kegagalan。

3 jenis data membeli sesuatu yang berbeda

Klasifikasi bahasa Garg, data AI Fisik secara luas dibagi menjadi tiga kategori: data observasi, data intervensi dan data penyebaran. Mereka mungkin berguna, tetapi biaya, kendala dan kepadatan informasi beragam。

Yang pertama adalah data pengamatan, seperti orang pertama atau video orang ketiga. Ini memiliki keuntungan menjadi rendah-biaya dan berbasis luas, membantu model untuk memahami objek, ruang, hasil aksi dan distribusi lingkungan. Hal ini juga jelas bahwa model dapat melihat apa yang terjadi pada orang atau objek, tetapi mereka tidak harus tahu apa yang harus dilakukan robot dalam keadaan tertentu。

Kategori kedua adalah data intervensi, misalnya operasi jarak jauh, pengajaran dan intervensi manual-dihasilkan negara-ke-aksi lintasan. Data jenis ini lebih mengarah ke pelatihan robotik, karena berisi rantaian " apa yang harus dilihat, bagaimana bergerak, apa yang harus dilakukan setelah " . Biayanya adalah membeli setiap jalur berkualitas tinggi, dan biaya manusia dan peralatan hampir tidak akan menurun secepat data perangkat lunak。

Kategori ketiga adalah menyebarkan data, misalnya data telemetri yang dihasilkan oleh robot ketika mereka beroperasi dalam pengaturan komersial nyata. Kedengarannya sedekat roda komersial: robot bekerja, menghasilkan uang, menghasilkan data pelatihan. Tapi ini jebakan statistik。

Saat ini adegan robotik pertama biasanya juga merupakan variabel yang paling sedikit, proses yang paling tetap dan paling dapat dikelola, seperti penyimpanan yang sangat terstruktur, lingkungan tumbuhan atau misi tunggal. Jumlah dari data produksi tersebut mungkin besar, tetapi mungkin relatif sempit dan berulang. Setelah model mempelajari pola lokal, informasi tambahan yang mengikuti setiap jam tambahan operasi berkurang。

Data deployment tidak tanpa nilai. Apa yang benar-benar berharga sering kali bukan sejumlah besar \"misi yang berhasil\" biasa, tetapi agak gagal, jamming, objek abnormal, kondisi perbatasan dan gangguan langka. Masalahnya adalah bahwa sampel ekor-panjang ini tidak akan distabilkan pada kecepatan yang diinginkan perusahaan dan akan ditemukan, dilayari dan ditetapkan kembali dengan biaya yang lebih tinggi。

Data lebih banyak berguna, tetapi sampel ulang akan segera mahal

Zodica Garg lebih berhati-hati dalam menggambar pada hukum penskalaan model bahasa: peningkatan data biasanya menyebabkan penurunan kerugian model tetapi penurunan pengembalian. Jika sampel digandakan, hampir digandakan, atau berasal dari distribusi sempit yang sama, bantuan data tambahan menjadi lebih kecil dengan cepat。

Ini lebih intuitif. Sebuah robot belajar untuk mengambil kemasan tetap dari rak tetap, dan ribuan pertama ajaran, kegagalan dan pembetulan bisa sangat berharga. Setelah tindakan, objek, cahaya dan jalur dikumpulkan berulang-ulang, data tambahan lebih seperti mereplikasi pengalaman lokal yang sudah dipelajari。

Pengalaman serupa yang sudah ada dalam pelatihan pemodelan bahasa: duplikasi dan duplikasi data yang dekat dapat membuang anggaran pelatihan, dan duplikasi yang berlebihan juga dapat melemahkan generalisasi. Zodica Garg tidak menempatkan kesimpulan-kesimpulan ini secara langsung ke dalam pelatihan robotik, tetapi lebih digunakan mereka untuk menggambarkan sebuah arah: nilai data tidak dapat diukur hanya dalam istilah kuantitatif, tetapi juga dalam hal bagaimana berbeda sampel。

Keanekaragaman fisik memiliki setidaknya dua arti. Yang pertama adalah menunjukkan model lebih banyak objek, ruang, material, cahaya, perisai dan metode operasi. Yang kedua adalah untuk menghindari bahwa model tampil dengan baik dalam distribusi tugas yang disederhanakan secara berlebihan, dan bahwa skenario yang sedikit berbeda akan gagal。

Kasus-kasus gagal ekor panjang sangat kritis. Dunia fisik nyata tidak terdistribusi secara merata, dan anomali frekuensi rendah sering menentukan kemampuan usabilitas komersial: objek itu sepihak, kemasannya cacat, permukaannya reflektif, slide genggaman, orang itu tiba-tiba terlibat, sensor hilang dan perubahan gesekan tanah. Model yang dilakukan lebih baik pada sampel konvensional, dan jika acara ekor ini tidak ditujukan, penyebaran masih akan tertunda oleh beberapa kegagalan。

Pengerahan roda sudah siap

Tantangan nyata dari artikel ini adalah rute komersialisasi umum perusahaan cerdas: untuk menyebarkan robot untuk mempersempit adegan, untuk mengamankan daya guna dengan pengambilalihan jarak jauh manusia, mengumpulkan data produksi, untuk melatih model yang lebih kuat dan untuk membuka lebih banyak adegan。

Garg menyebut jenis jalur ini sebagai pendekatan "neo-integrator". Ini mencoba untuk menghindari biaya pengumpulan data murni dengan menempatkan robot dalam produksi komersial sehingga pendapatan operasi offset biaya data. Rute ini terdengar lebih efisien daripada pembangunan pembangkit operasi jarak jauh。

Namun, ada premis bahwa data dari skenario komersial awal harus cukup baru dan beragam untuk membantu model bermigrasi ke lebih banyak tugas. Data akan cepat jenuh jika adegan dikerahkan untuk misi sempit dengan variabilitas rendah, entropi rendah dan rekayasa kuat. Perusahaan ini tidak mungkin menerima penerbang kapabilitas generik, tetapi satu set proyek yang disesuaikan yang membutuhkan integrasi berkelanjutan, pemeliharaan dan perawatan yang tidak biasa。

Ini termasuk dua jenis biaya. Pertama, setiap langkah ke babak baru melibatkan adaptasi lingkungan, adaptasi proses, kegagalan dan mekanisme keselamatan. Kedua, jika penyebaran itu sendiri belum mencapai keseimbangan perolehan dan kerugian, penskalaan ke atas mungkin belum tentu dalam bentuk pengumpulan data berbiaya rendah atau pertukaran kerugian untuk sejumlah besar sampel berintensitas rendah。

Oleh karena itu, penyebaran awal tidak sia-sia, tetapi membutuhkan tampilan yang lebih dekat: Ini membawa dengan cakupan misi baru, serta banyak gagal dan sampel yang tidak biasa, apakah mereka dapat dipindahkan ke skenario lain, dan berapa banyak perbaikan model telah dibuat untuk setiap dolar setelah deduksi perangkat keras, tenaga kerja, pemeliharaan dan biaya integrasi。

Cerita valuasi tidak bisa hanya bertanya berapa jam kita telah disimpan

Garg pemberian saran untuk tidak berhenti mengumpulkan data tetapi mengganti kalibrasi evaluasi. Jam operasi kumulatif kumulatif, jam operasi jarak jauh dan lintasan dapat digunakan sebagai indikator operasional, tetapi tidak boleh langsung disamakan dengan kemajuan model。

Pertanyaan yang lebih eksplanatoris termasuk ketika data untuk misi tunggal akan jenuh, berapa banyak biaya integrasi teknik akan diperlukan untuk misi tambahan, berapa banyak adegan dan cluster aksi yang berbeda yang dicakup oleh data, berapa banyak data produksi yang didistribusikan nyata hanyut dan sampel yang tidak biasa, dan berapa banyak segmen sukses konvensional dalam aliran penyebaran harus disaring keluar daripada melanjutkan untuk feed model。

Peruntukan modal akan bervariasi menurut ketiga jenis data tersebut. Data observasi pengamatan harus memprioritaskan pengejaran biaya rendah, beragam dan cakupan luas, yang harus digunakan untuk memperluas batas kapasitas dasar. Ketika operasi remote biaya tinggi dan data pengajaran jenuh pada misi tunggal, anggaran harus dialihkan ke lebih banyak tugas daripada terus untuk mengulangi tindakan yang sama. Data pengerahan deployment harus fokus pada pemilihan gagal, kondisi perbatasan dan sampel out-of-dispersion, membuang sejumlah besar catatan operasi reguler dengan kepadatan informasi rendah。

Pandangan yang satu ini berdampak nyata pada narasi valuasi AI Fisik. Perusahaan dengan lebih banyak robot, jam operasi yang lebih lama dan operator jarak jauh yang lebih besar tidak secara otomatis mewakili penghalang model yang lebih kuat. Kemampuan untuk mereplikasi mungkin lebih sulit dengan terus menerus menemukan nilai tinggi, data jangka panjang, menilai ketika jenis data tertentu menjadi jenuh, dan meliputi lebih banyak distribusi tugas dengan biaya yang lebih rendah。

Namun, ini masih satu set perspektif alokasi dan bukan kesimpulan industri. Apakah model robotika menghasilkan manfaat skala dari model bahasa yang sama, apakah data penyebaran dapat menghasilkan informasi baru secara kontinu dalam skenario berdimensi tinggi tertentu, dan seberapa efisien migrasi antar misi, akan bergantung pada hasil yang lebih empiris。

Pengingat dari Garg jatuh pada masalah yang lebih spesifik: Indikator Fisik AI "Goldball" mungkin bukan jam data, tetapi sampel novel dari setiap dolar. Bagi perusahaan robot yang masih menggunakan data untuk bercerita, pasar pada akhirnya tidak bergantung pada berapa lama mereka menjalankan secara kumulatif, tetapi pada berapa banyak informasi baru yang mereka hasilkan。