LeRobot ve Unitree G1: Taklit Öğrenme için Veri Toplama Rehberi

Pekiştirmeli öğrenme yürüme ve denge için güçlüdür, ama "bardağı al, rafa koy" gibi el becerisi gerektiren görevlerde bugün en hızlı ilerleyen yöntem taklit öğrenme. Bir operatör robotu uzaktan yönetir, robot bu gösterimleri kaydeder ve bir politika gösterimlerden öğrenir. Bu yazıda Unitree G1 için resmi açık kaynak zinciri anlatıyoruz: XR ile teleoperasyon, veri kaydı, LeRobot formatına dönüşüm, eğitim ve gerçek robotta test.

Önce bir düzeltme: depo adları değişti

Eski kaynaklarda geçen unitree_IL_lerobot ve avp_teleoperate depoları GitHub'da yeni adlara yönlendiriliyor: veri dönüşümü ve eğitim tarafı unitree_lerobot, teleoperasyon tarafı xr_teleoperate. Adın değişmesi kapsamın genişlemesinden kaynaklanıyor: ilk sürüm yalnızca Apple Vision Pro'yu hedeflerken bugün farklı XR cihazları destekleniyor.

Zincirin dört halkası

1. Teleoperasyon ve kayıt (xr_teleoperate): Operatör XR gözlükle robotun başındaki kameradan görür, el ve kol hareketleri robota aktarılır, gösterimler bölüm (episode) olarak kaydedilir.
2. Veri temizliği (unitree_lerobot veri editörü): Başarısız bölümler silinir, gereksiz kısımlar kırpılır.
3. Dönüşüm ve eğitim (unitree_lerobot + LeRobot): Unitree JSON verisi LeRobot veri kümesi formatına çevrilir, politika eğitilir.
4. Değerlendirme: Politika önce simülasyonda veya veri kümesi üzerinde, sonra gerçek robotta test edilir.

1. Teleoperasyon: xr_teleoperate

README'ye göre depo, Unitree insansı robotlarının XR cihazlarıyla (Apple Vision Pro, PICO 4 Ultra Enterprise, Meta Quest 3 gibi) uzaktan kontrolünü sağlar ve Ubuntu 20.04 ile 22.04 üzerinde test edilmiştir. Desteklenen listede G1 (29 ve 23 serbestlik derecesi), H1, H1_2, H2 ve R1 kolları ile Dex1-1 tutucu, Dex3-1 el, Inspire ve BrainCo elleri yer alır. README, Unitree robotuyla daha önce çalışmamış olanların resmi dokümantasyonu en az "Uygulama Geliştirme" bölümüne kadar okumasını açıkça ister.

Temel kurulum bir conda ortamı ve depo klonuyla başlar:

conda create -n tv python=3.10 pinocchio=3.1.0 numpy=1.26.4 -c conda-forge
conda activate tv
git clone https://github.com/unitreerobotics/xr_teleoperate.git
cd xr_teleoperate
git submodule update --init --depth 1

Ardından teleimager ve televuer alt modülleri kurulur ve XR cihazının HTTPS/WebRTC ile bağlanabilmesi için SSL sertifikası üretilir; cihaza göre adımlar README'de ayrıntılıdır. Kayıt modu --record parametresiyle açılır: terminalde r ile teleoperasyon başlar, s ile kayıt başlar ve tekrar s ile bölüm kaydedilir. README'deki simülasyon örneği:

python teleop_hand_and_arm.py --input-mode=hand --arm=G1_29 --ee=dex3 --sim --record

--sim parametresi, Isaac Lab tabanlı unitree_sim_isaaclab simülasyon ortamını kullanır. Bu ortam G1 (29 serbestlik derecesi) ve H1-2 için tutma-bırakma ve istifleme gibi görev sahneleri sunar ve gerçek robotla aynı DDS topic'lerini kullanır; README, gerçek robot aynı ağdayken simülatör ile robotun karıştırılmaması konusunda uyarır. Laboratuvarda veri toplamaya simülasyonla başlamak, operatör eğitimini robotu riske atmadan yapmanın en iyi yoludur.

2. Veri temizliği ve dönüşüm

Kayıtlar her bölüm için renkli ve derinlik görüntüleri, ses ve durum-eylem bilgisini içeren bir data.json dosyasıyla saklanır. unitree_lerobot ortamı README'deki adımlarla kurulur (Python 3.10 conda ortamı, LeRobot alt modülü ve depo):

git clone --recurse-submodules https://github.com/unitreerobotics/unitree_lerobot.git
conda create -y -n unitree_lerobot python=3.10
conda activate unitree_lerobot
conda install pinocchio -c conda-forge
conda install ffmpeg=7.1.1 -c conda-forge

Ardından README'ye göre önce depo içindeki lerobot klasörü, sonra unitree_lerobot düzenlenebilir modda kurulur. Depodaki veri editörü başarısız bölümleri silmeye ve fazlalıkları kırpmaya yarar; taklit öğrenmede veri kalitesi, veri miktarı kadar belirleyicidir. Bölümler sıralı ve kesintisiz numaralandırıldıktan sonra dönüşüm betiği çalıştırılır:

python unitree_lerobot/utils/sort_and_rename_folders.py \
        --data_dir $HOME/datasets/task_name

python unitree_lerobot/utils/convert_unitree_json_to_lerobot.py \
    --raw-dir $HOME/datasets \
    --repo-id your_name/repo_task_name \
    --robot_type Unitree_G1_Dex3 \
    --push_to_hub

--robot_type değeri robot ve el kombinasyonuna göre seçilir (README'de Unitree_G1_Dex1, Unitree_G1_Dex3, Unitree_G1_Inspire gibi seçenekler listelenir). Verinin Hugging Face Hub'a yüklenmesi isteğe bağlıdır; kurum içi verilerde veri politikası buna göre belirlenmelidir.

3. Eğitim

README, LeRobot'un eğitim betiğiyle ACT, Diffusion, Pi0, Pi05 ve GR00T politikalarının eğitimini örnekler. En yalın örnek ACT:

cd unitree_lerobot/lerobot

python src/lerobot/scripts/lerobot_train.py \
    --dataset.repo_id=unitreerobotics/G1_Dex3_ToastedBread_Dataset \
    --policy.push_to_hub=false \
    --policy.type=act

Kendi verinizle başlamadan önce Unitree'nin Hugging Face'te yayınladığı hazır veri kümelerinden biriyle (örnekteki G1_Dex3_ToastedBread_Dataset gibi) tüm hattı uçtan uca çalıştırmak, kurulum hatalarını veri toplama hatalarından ayırmanızı sağlar. Büyük modeller (Pi0, GR00T gibi) çok daha fazla GPU belleği ister; eğitim iş istasyonunu buna göre planlayın.

4. Değerlendirme

unitree_lerobot üç değerlendirme yolu sunar: simülasyonda (eval_g1_sim.py), kayıtlı veri kümesi üzerinde (eval_g1_dataset.py) ve gerçek robotta (eval_g1.py). Önerilen sıra da budur. Gerçek robot testinde kol ve el tipi parametrelerle (örneğin G1_29 ve dex3) belirtilir. xr_teleoperate README'si teleoperasyon sırasında herkesin robottan yeterli güvenlik mesafesini koruması gerektiğini vurgular; aynı kural politika testinde de geçerlidir.

Laboratuvar için pratik öneriler

• Görev tanımı: İlk projede tek, tekrarlanabilir bir görev seçin (bir nesneyi alıp belirli bir noktaya bırakmak gibi). Başarı ölçütünü baştan yazın.
• Operatör tutarlılığı: Aynı görevi farklı operatörlerin farklı stillerle göstermesi politikayı zorlar. Operatör eğitimi veri kalitesinin parçasıdır.
• Disk planı: README, kayıt sırasında disk alanına dikkat edilmesini ister; görüntü verisi hızla büyür.
• Donanım uyumu: El tipi (Dex3-1, Inspire vb.) ve kamera konfigürasyonu satın alma aşamasında belirlenmelidir; sonradan değişmesi veri kümesini de değiştirir.

Taklit öğrenme ve VLA modelleri arasındaki bağlantıyı VLA modelleri yazımızda anlattık. G1 konfigürasyonunun (el tipi, geliştirme bilgisayarı) teklifi nasıl etkilediğini G1 EDU fiyat sayfasında, eğitim programlarını Kagen Akademi sayfasında bulabilirsiniz. LeRobot ile çalışmaya robot köpekte başlamak isteyenler için Go2 EDU da bir seçenektir; ancak buradaki teleoperasyon zinciri insansı robotlar içindir.

Sık sorulan sorular

unitree_IL_lerobot ve avp_teleoperate depoları hâlâ var mı?

Adresler yeni isimlere yönlendiriliyor: unitree_lerobot ve xr_teleoperate.

Teleoperasyon için hangi XR cihazları destekleniyor?

README örnek olarak Apple Vision Pro, PICO 4 Ultra Enterprise ve Meta Quest 3'ü sayar.

Hangi robotlar ve eller destekleniyor?

G1 (29 ve 23 DoF), H1, H1_2, H2 ve R1 kolları ile Dex1-1, Dex3-1, Inspire ve BrainCo elleri.

Toplanan veriyle hangi politikalar eğitilebilir?

README, LeRobot üzerinden ACT, Diffusion, Pi0, Pi05 ve GR00T eğitimini örnekler.