Cập nhật lần cuối: ngày 23 tháng 2026 năm XNUMX

Thu thập dữ liệu cho Trí tuệ nhân tạo thể hiện: Điều khiển từ xa, chuyển đổi từ mô phỏng sang thực tế và bộ dữ liệu công nghiệp vào năm 2026

Dữ liệu mới là nút thắt cổ chai đối với trí tuệ nhân tạo thể hiện (embodied AI), chứ không phải sức mạnh tính toán. Việc huấn luyện một thuật toán cho robot đòi hỏi các luồng trạng thái hành động được đồng bộ hóa, điều mà đơn giản là không tồn tại ở quy mô internet. Hiện có ba nguồn đáp ứng nhu cầu này. Điều khiển từ xa bởi con người tạo ra các bản trình diễn chất lượng cao nhưng lại tốn nhiều thời gian của người vận hành. Chuyển đổi từ mô phỏng sang thực tế giúp tăng số lượng tập huấn luyện nhưng lại tạo ra một khoảng cách về độ chính xác. Các bộ dữ liệu mở quy mô lớn tập hợp đóng góp từ hàng chục phòng thí nghiệm và nền tảng.

Vì sao dữ liệu lại là nút thắt cổ chai trong trí tuệ nhân tạo hiện thực hóa?

Khả năng tính toán đã tuân theo một đường cong mở rộng có thể dự đoán được. Các cụm GPU có khả năng huấn luyện các mô hình thị giác-ngôn ngữ-hành động (VLA) với hàng tỷ tham số hiện đã có sẵn trên thị trường. Điều chưa được mở rộng là dữ liệu mà các mô hình đó cần: các cặp quan sát và hành động được ghi lại trong quá trình thao tác vật lý của robot, với đủ sự đa dạng về nhiệm vụ và hình thái để tạo ra các chính sách có khả năng khái quát hóa.

Một mô hình ngôn ngữ có thể tiếp nhận một nghìn tỷ từ vựng từ web trong vài tuần. Trong khi đó, một bộ dữ liệu thao tác robot phải được tạo ra từng tập một, mỗi tập yêu cầu một robot vật lý, một môi trường thực hoặc mô phỏng, một định nghĩa nhiệm vụ, và một người điều khiển hoặc một kịch bản trình diễn. Liên đoàn Robot Quốc tế (IFR) ước tính có hơn 3.9 triệu robot công nghiệp đang hoạt động trên toàn cầu vào năm 2024, nhưng các bộ dữ liệu thao tác mở lớn nhất chỉ chứa khoảng một triệu tập. Khoảng cách này đang không thu hẹp nhanh chóng.

Thách thức càng trở nên phức tạp hơn khi xem xét khoảng cách về hình thức thực hiện: một chính sách được huấn luyện trên robot thao tác một tay 6 bậc tự do không thể chuyển đổi một cách trơn tru sang robot hình người hai tay hoặc một robot di động có thêm một cánh tay. Mỗi kiểu dáng robot mới đều thiết lập lại các yêu cầu về dữ liệu. Các phương pháp phân đoạn hành động (trong đó chính sách đưa ra chuỗi hành động nhiều bước thay vì các bước đơn lẻ) giúp giảm độ trễ suy luận nhưng không làm giảm nhu cầu về phạm vi huấn luyện đa dạng.

Theo bài báo Open X-Embodiment (Padalkar et al., 2023, Google DeepMind et al.), huấn luyện đa hình thái trên dữ liệu robot đa dạng có thể cải thiện khả năng khái quát hóa chính sách vượt xa những gì mà các tập dữ liệu đơn hình thái cung cấp. EVST giải quyết vấn đề này bằng cách đánh giá chất lượng tập dữ liệu đa hình thái như một phần của quy trình đánh giá nội bộ khi lựa chọn lập kế hoạch chuyển động được hỗ trợ bởi AI cho dòng robot có trọng lượng từ 3–800 kg của mình. Về khía cạnh phần cứng của chiến lược dữ liệu này, xem Giải pháp Trí tuệ Nhân tạo Thể hiện của EVSTbao gồm robot hình người, cánh tay thu thập dữ liệu khéo léo, robot bốn chân và các nền tảng thí điểm để phát triển trí tuệ nhân tạo thể hiện qua cơ thể.

Ba nguồn dữ liệu chính: Điểm mạnh và hạn chế

Điều khiển từ xa

Điều khiển từ xa ghi lại các bản trình diễn chất lượng chuyên gia trên phần cứng robot mục tiêu. Người vận hành điều khiển robot từ xa thông qua các cánh tay robot kiểu "dẫn dắt-theo dõi", kính thực tế ảo, bộ đồ khung xương ngoài hoặc giao diện cầm tay, trong khi hệ thống ghi lại đồng bộ mọi góc khớp, trạng thái kẹp, lực đo và khung hình camera. Vì dữ liệu đến từ người thực hiện nhiệm vụ thực tế trên robot thực tế, nên sự tương ứng giữa hành động và trạng thái là chính xác và khoảng cách giữa hành động và mô phỏng là bằng không.

Hạn chế nằm ở thông lượng. Các điều khiển viên lành nghề có thể tạo ra khoảng 5-50 tập tin mỗi giờ tùy thuộc vào độ phức tạp của nhiệm vụ, và chất lượng dữ liệu sẽ giảm khi điều khiển viên mệt mỏi. Điều khiển từ xa cũng không thể mở rộng để phục hồi sau sự cố nếu không có thiết kế giao thức có chủ đích: nếu điều khiển viên luôn thành công, chính sách sẽ không bao giờ học được cách phục hồi sau các nhiễu loạn.

Chuyển đổi từ mô phỏng sang thực tế

Các phần mềm mô phỏng vật lý (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) cho phép các nhà nghiên cứu tạo ra hàng triệu kịch bản robot với chi phí cận biên gần như bằng không. Một cụm GPU duy nhất có thể chạy hàng nghìn phiên bản mô phỏng song song qua đêm. Chi phí phát sinh khi triển khai: các thuật toán được huấn luyện trong mô phỏng thường thất bại khi đối mặt với động lực tiếp xúc thực tế, nhiễu cảm biến và sự biến đổi hình ảnh mà phần mềm mô phỏng không tái tạo chính xác. Thu hẹp khoảng cách giữa mô phỏng và thực tế là một lĩnh vực nghiên cứu đang được tích cực quan tâm.

Video trên Internet và Quan sát thụ động

Các mô hình ngôn ngữ thị giác quy mô lớn được huấn luyện trước trên video internet mang lại khả năng hiểu bối cảnh tổng quát, giúp định hướng nhiệm vụ. Kiến trúc pi0 của Physical Intelligence và các thiết kế VLA tương tự sử dụng huấn luyện trước bằng video để khởi tạo các kỹ năng thao tác trước khi tinh chỉnh trên các bản trình diễn của robot. Hạn chế là video không cung cấp nhãn hành động: video cho thấy một bàn tay nắm lấy một vật thể nhưng không ghi lại lực tác dụng hoặc góc khớp của một cánh tay robot tương đương. Các mô hình động lực học nghịch đảo có thể suy luận một phần hành động từ video, nhưng các nhãn giả thu được mang nhiễu.

Phần cứng và giao thức điều khiển từ xa

Việc lựa chọn giao diện điều khiển từ xa sẽ ảnh hưởng đến cả chất lượng dữ liệu và hiệu suất thu thập dữ liệu. Dưới đây là các hệ thống hoạt động tích cực nhất trong các chương trình nghiên cứu và thương mại năm 2025–2026.

Các mô hình lãnh đạo-theo dõi: ALOHA và Mobile ALOHA

ALOHA (Hệ thống phần cứng mã nguồn mở chi phí thấp dành cho điều khiển từ xa hai tay) được phát triển tại Stanford và sử dụng hai cánh tay dẫn hướng giá rẻ do người vận hành điều khiển bằng tay, trong khi hai cánh tay theo sau tương ứng trên robot sao chép chuyển động trong thời gian thực. Thiết kế hai tay này cho phép thực hiện các tác vụ cần hai tay mà hệ thống một tay không thể làm được. ALOHA di động mở rộng nền tảng này lên một đế di động. ALOHA 2, được phát hành vào năm 2024, đã cải thiện độ chính xác theo dõi khớp và tính tiện dụng cho người vận hành. Chi phí phần cứng dưới 20,000 đô la cho cặp cánh tay dẫn hướng-theo sau, điều này đã thúc đẩy việc áp dụng rộng rãi trong hàng chục phòng thí nghiệm học thuật.

Giao diện gắn trên cổ tay: UMI

Giao diện thao tác đa năng (UMI), do Stanford và Columbia hợp tác phát triển, gắn một camera mắt cá và bộ mã hóa lên một bộ kẹp cầm tay. Người vận hành thực hiện thao tác trực tiếp trong môi trường, trong khi bộ kẹp ghi lại tư thế đầu cuối và trạng thái kẹp. UMI tách rời việc thu thập dữ liệu khỏi robot: các thao tác có thể được thu thập tại hiện trường và sau đó được điều chỉnh lại cho các phiên bản robot khác nhau. Điều này làm cho nó đặc biệt hữu ích để thu thập dữ liệu thao tác trong môi trường thực tế bên ngoài phòng thí nghiệm.

Thực tế ảo và màn hình gắn trên đầu

Cả Apple Vision Pro và Meta Quest 3 đều đang được nghiên cứu như những giao diện điều khiển từ xa. Điểm hấp dẫn là khả năng theo dõi chuyển động tay hai tay với sáu bậc tự do và điều khiển trực quan cho người vận hành. Thách thức về mặt kỹ thuật nằm ở việc tái định hướng: động học của bàn tay người (năm ngón tay, 27 khớp) phải được ánh xạ tới các lệnh điều khiển đầu cuối của robot (thường là các bộ kẹp một bậc tự do hoặc bàn tay khéo léo với 12-16 bậc tự do). Nếu không tái định hướng cẩn thận, các bản ghi lại sẽ chứa ý định của người vận hành nhưng không thể thực thi trực tiếp các hành động của robot.

Bộ xương ngoài và khả năng bắt giữ toàn thân

Đối với robot hình người cần dữ liệu chuyển động toàn thân (bao gồm cả di chuyển kết hợp với thao tác), bộ khung xương ngoài thu thập dữ liệu động học toàn thân với tốc độ lấy mẫu trên 100 Hz. AgiBot sử dụng phương pháp dựa trên khung xương ngoài để thu thập dữ liệu thao tác của robot hình người cho bộ dữ liệu AgiBot World của mình. Tương tự, hệ thống điều khiển từ xa Fourier GR-1 cũng dựa trên một thiết bị thu thập dữ liệu đeo được phù hợp với cấu hình khớp của robot.

Hình ảnh và đội tàu thương mại quy mô lớn

Figure AI vận hành một đội robot điều khiển từ xa độc quyền trên toàn bộ dây chuyền sản xuất của BMW. Mô hình "bánh đà dữ liệu", trong đó mỗi robot được triển khai thu thập các tập tin mới để phục vụ quá trình huấn luyện, cũng là yếu tố cốt lõi trong chiến lược phát triển của Tesla Optimus. Các hệ thống vòng kín này tích lũy dữ liệu công nghiệp với tốc độ mà các bộ dữ liệu học thuật mở không thể sánh kịp.

So sánh các nền tảng điều khiển từ xa

Lưu ý: Số liệu về năng suất chỉ là phạm vi ước tính dựa trên các nghiên cứu đã công bố và báo cáo của các nhà nghiên cứu. Kỹ năng của từng người vận hành và độ phức tạp của nhiệm vụ ảnh hưởng đáng kể đến kết quả.

Các bộ dữ liệu công khai: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Hệ sinh thái dữ liệu mở đã phát triển nhanh chóng kể từ năm 2022. Dưới đây là tổng quan về các bộ sưu tập được trích dẫn nhiều nhất tính đến đầu năm 2026.

Open X-Embodiment (OXE) và RT-X

Được Google DeepMind hợp tác phát triển với sự đóng góp của 33 tổ chức, OXE tổng hợp hơn 1 triệu tập dữ liệu từ hơn 22 loại robot khác nhau. Các mô hình RT-X liên quan đã chứng minh rằng việc huấn luyện trên dữ liệu đa hình thái được tổng hợp cho hiệu quả vượt trội so với các mô hình đơn hình thái trên các tiêu chuẩn đánh giá khả năng khái quát hóa. OXE được phát hành theo sự kết hợp giữa giấy phép CC-BY và Apache 2.0 tùy thuộc vào tổ chức đóng góp. Việc truy cập được thực hiện thông qua trang web RT-X và HuggingFace.

DROID

Bộ dữ liệu DROID (Distributed Robot Interaction Dataset) được thu thập từ 13 phòng thí nghiệm nghiên cứu ở Bắc Mỹ bằng cách sử dụng thiết lập Franka Panda tiêu chuẩn với giao diện điều khiển từ xa kiểu ALOHA. Nó chứa khoảng 76,000 tập hợp các nhiệm vụ thao tác đa dạng trong gia đình và trên bàn. Phần cứng tiêu chuẩn hóa trên khắp các địa điểm khiến DROID trở thành một trong những bộ dữ liệu thao tác quy mô lớn sạch nhất cho việc sao chép hành vi và các thí nghiệm RLHF.

BridgeData V2

BridgeData V2, từ UC Berkeley và Stanford, chứa khoảng 60,000 bản mô phỏng trải rộng trên nhiều nhiệm vụ thao tác trên mặt bàn. Nó sử dụng cánh tay robot WidowX và nổi bật nhờ sự đa dạng về nhiệm vụ (hơn 70 loại nhiệm vụ khác nhau), điều này khiến nó trở thành một cơ sở tinh chỉnh phổ biến cho các mô hình VLA. Được phát hành theo giấy phép CC-BY 4.0.

Bộ Robo

RoboSet, do IIT Delhi và các cộng sự phát triển, cung cấp dữ liệu thao tác đa nhiệm trong nhà bếp được thu thập bằng robot Franka Panda. Nó bao gồm các quan sát RGB-D và chú thích ngôn ngữ cho mỗi tập. RoboSet được thiết kế đặc biệt để hỗ trợ đánh giá chính sách dựa trên ngôn ngữ, do đó rất hữu ích cho việc kiểm tra khả năng khái quát hóa việc tuân theo hướng dẫn.

RH20T

RH20T (Robot-Human 20 Tasks) là một bộ dữ liệu thao tác quy mô lớn, giàu thông tin tiếp xúc, bao gồm dữ liệu đồng bộ về cảm nhận vị trí của robot, video RGB, độ sâu, xúc giác và âm thanh. Sự đa dạng về phương thức này khiến RH20T trở thành nguồn tham khảo cho các nhà nghiên cứu đang làm việc về các chính sách cần cảm nhận tiếp xúc, chứ không chỉ quan sát bằng mắt thường.

Thế giới AgiBot

AgiBot World là một bộ dữ liệu về thao tác người máy hình người được tạo ra bởi AgiBot, một công ty robot của Trung Quốc, sử dụng quy trình thu thập dữ liệu dựa trên khung xương ngoài của họ. Bộ dữ liệu này tập trung vào các nhiệm vụ thao tác toàn thân của người máy hình người và đại diện cho một trong những bộ dữ liệu quy mô lớn đầu tiên nhắm mục tiêu cụ thể vào các hình dạng người máy ở quy mô công nghiệp. AgiBot World được cung cấp theo giấy phép nghiên cứu mở cho mục đích phi thương mại.

Tài liệu tham khảo về bộ dữ liệu AI thể hiện công khai

Số lượng tập phim và điều khoản cấp phép được lấy từ các tài liệu nghiên cứu và kho lưu trữ chính thức tính đến đầu năm 2026. Vui lòng xác minh các điều khoản hiện hành trước khi sử dụng.

Giao diện mô phỏng-thực tế: Isaac Sim, MuJoCo, Cosmos và Ngẫu nhiên hóa miền

Mô phỏng giúp mở rộng quy mô tạo dữ liệu. Câu hỏi thực tế là nên sử dụng trình mô phỏng nào và làm thế nào để thu hẹp khoảng cách với phần cứng vật lý.

MuJoCo

MuJoCo (Multi-Joint dynamics with Contact) vẫn là tiêu chuẩn cho nghiên cứu thao tác có nhiều tiếp xúc. Công cụ vật lý của nó xử lý động lực học vật thể rắn, tiếp xúc mềm và hệ thống điều khiển bằng gân với hiệu quả tính toán cho phép hàng nghìn tập huấn luyện song song trên một cụm GPU duy nhất. Việc phát hành mã nguồn mở dưới sự bảo trợ của Google DeepMind vào năm 2022 đã thúc đẩy đáng kể việc áp dụng. Hầu hết các tiêu chuẩn đánh giá sao chép hành vi và RLHF trong học thuật đều sử dụng môi trường MuJoCo.

NVIDIA Isaac Sim và Isaac Lab

Isaac Sim chạy trên nền tảng Omniverse của NVIDIA và cung cấp khả năng tăng tốc vật lý bằng GPU với khả năng hiển thị chất lượng cao. Isaac Lab (trước đây là OmniIsaacGymEnvs) là khung học tăng cường được xây dựng trên Isaac Sim, được tối ưu hóa cho việc huấn luyện chính sách song song quy mô lớn. Một lợi thế quan trọng là khả năng hiển thị chân thực như ảnh chụp: hình ảnh được tạo ra bằng phương pháp dò đường ánh sáng của Isaac Sim giúp giảm khoảng cách miền hình ảnh so với các công cụ hiển thị đơn giản của MuJoCo, điều này rất quan trọng đối với việc huấn luyện các chính sách dựa trên thị giác.

NVIDIA Vũ trụ

Cosmos là nền tảng mô hình cơ bản toàn cầu của NVIDIA, được công bố vào cuối năm 2024. Thay vì mô phỏng vật lý từ các nguyên lý cơ bản, Cosmos tạo ra video chân thực về sự tương tác giữa robot và vật thể từ các lời nhắc bằng văn bản hoặc hình ảnh, được huấn luyện trên các tập dữ liệu video lớn. Mục tiêu là tạo ra dữ liệu huấn luyện tổng hợp trông đủ thật để thu hẹp khoảng cách giữa mô phỏng và thực tế mà không cần đến việc ngẫu nhiên hóa miền thủ công. Tính đến đầu năm 2026, Cosmos đang được một số phòng thí nghiệm học máy robot nghiên cứu như một lớp tăng cường dữ liệu trên các bản trình diễn thực tế.

Phân tán Gauss và tái tạo cảnh

Công nghệ 3D Gaussian Splatting tái tạo các cảnh chân thực từ một tập hợp nhỏ các hình ảnh RGB chỉ trong vài phút thay vì hàng giờ. Đối với việc huấn luyện robot, điều này có nghĩa là phòng thí nghiệm có thể quét môi trường làm việc mới, tái tạo một cảnh Gaussian và tạo ra các góc nhìn hoặc cấu hình đối tượng mới để tăng cường dữ liệu, mà không cần đến bất kỳ trình mô phỏng vật lý nào. Phương pháp này đang được tích hợp vào một số quy trình chuyển đổi từ mô phỏng sang thực tế như một công cụ ngẫu nhiên hóa miền hình ảnh chi phí thấp.

Ngẫu nhiên hóa miền và nhận dạng hệ thống

Ngẫu nhiên hóa miền (Domain randomization) sẽ ngẫu nhiên hóa các tham số mô phỏng (kết cấu vật thể, điều kiện chiếu sáng, hệ số ma sát, độ cứng khớp robot) trong quá trình huấn luyện, buộc thuật toán phải có khả năng thích ứng với sự thay đổi thay vì chỉ phù hợp với một cấu hình mô phỏng duy nhất. Nhận dạng hệ thống (System identification) áp dụng phương pháp bổ sung: nó đo chính xác các thông số vật lý thực tế của robot (khối lượng, quán tính, độ đàn hồi khớp) và sử dụng các giá trị đó trong mô phỏng để giảm thiểu sai lệch trước khi ngẫu nhiên hóa.

Phương pháp học tập theo chương trình áp dụng ngẫu nhiên hóa một cách dần dần. Một thuật toán trước tiên được huấn luyện trong một môi trường mô phỏng hẹp và rõ ràng, sau đó dần dần tiếp xúc với nhiều biến thể hơn khi hiệu suất được cải thiện. Cách tiếp cận theo từng giai đoạn này thường hội tụ nhanh hơn so với việc áp dụng ngẫu nhiên hóa hoàn toàn ngay từ đầu.

Sự đánh đổi giữa chất lượng dữ liệu và số lượng dữ liệu

Nhiều dữ liệu hơn không tự động đồng nghĩa với việc tốt hơn. Thành phần của tập dữ liệu quyết định những gì một chính sách đã được huấn luyện có thể và không thể làm được.

Tính đa dạng của nhiệm vụ quan trọng hơn số lượng tập lệnh khi mục tiêu là một chính sách tổng quát. Một tập dữ liệu gồm 100,000 tập lệnh về cùng một nhiệm vụ nhặt và đặt sẽ tạo ra một chính sách chuyên biệt. Một tập dữ liệu gồm 10,000 tập lệnh trải rộng trên 50 loại nhiệm vụ khác nhau có thể tạo ra một chính sách có thể áp dụng cho các nhiệm vụ mới sau khi tinh chỉnh với số lượng tập lệnh ít.

Sự đa dạng về hình thức thể hiện rất quan trọng đối với việc chuyển giao giữa các robot. Giá trị của OXE chính là ở chỗ nó bao quát nhiều loại cánh tay robot, nền tảng di động và các loại bàn tay khéo léo. Một thuật toán được huấn luyện trước trên OXE và được tinh chỉnh trên một robot mới thường hoạt động tốt hơn so với một thuật toán được huấn luyện từ đầu chỉ trên dữ liệu của cùng một robot mới đó, một kết quả nhất quán trong nhiều nghiên cứu đã được công bố.

Độ dài của mỗi tập lệnh và khả năng phục hồi sau sự cố thường bị đánh giá thấp. Các tập dữ liệu được thu thập bởi những người điều khiển từ xa lành nghề, những người hiếm khi gặp sự cố, tạo ra các chính sách không biết cách phục hồi sau các nhiễu loạn. Việc cố ý đưa vào các trạng thái lỗi và chứng minh khả năng phục hồi sẽ cải thiện đáng kể khả năng phục hồi trong thực tế. Một số phòng thí nghiệm sử dụng các nhiễu loạn có chủ đích trong các phiên điều khiển từ xa để tạo ra dữ liệu này.

Theo quan sát từ nhiều báo cáo thí nghiệm về học máy robot trong giai đoạn 2024–2025, giá trị biên của các tập dữ liệu bổ sung giảm mạnh khi tập dữ liệu bao phủ một nhiệm vụ ở khoảng 500–1,000 lần thực hiện, trong khi giá trị biên của các loại nhiệm vụ mới vẫn cao cho đến hàng nghìn nhiệm vụ khác nhau. EVST đã tính đến điều này khi cấu trúc các ô thu thập dữ liệu thí điểm, ưu tiên độ rộng của nhiệm vụ hơn là tích lũy các tập dữ liệu lặp đi lặp lại.

Các yếu tố cần xem xét về dữ liệu cấp công nghiệp

Việc thu thập dữ liệu trong nhà máy đặt ra những yêu cầu mà các hệ thống điều khiển từ xa trong học thuật thường không đáp ứng được.

Ghi nhật ký chính xác là yêu cầu đầu tiên. Trong một dây chuyền sản xuất, dấu thời gian trên dữ liệu đọc từ bộ mã hóa khớp phải có thể truy vết đến đồng hồ thời gian thực với độ chính xác dưới mili giây. Hệ thống điều khiển bus trường EtherCAT 1 kHz, tiêu chuẩn trên các robot công nghiệp (bao gồm cả các robot trong dòng sản phẩm của EVST), cung cấp nền tảng định thời gian chính xác giúp việc đồng bộ hóa đa cảm biến trở nên khả thi. Một hệ thống hoạt động ở tốc độ 1 kHz tạo ra 1,000 mẫu trạng thái khớp mỗi giây trên mỗi trục; việc đồng bộ hóa luồng dữ liệu đó với khung hình camera ở tốc độ 30–60 khung hình/giây và dữ liệu lực-mô-men xoắn ở tốc độ 500 Hz đòi hỏi một kiến ​​trúc ghi dấu thời gian phần cứng có kỷ luật, chứ không phải là bộ đệm phần mềm.

Nhãn an toàn là bắt buộc khi các sự cố bao gồm các tình huống suýt xảy ra tai nạn, kích hoạt nút dừng khẩn cấp hoặc vi phạm giới hạn lực. Những nhãn này cần thiết cho cả việc tuân thủ quy định và các chính sách đào tạo nhằm hiểu rõ các trạng thái liên quan đến an toàn. Bộ điều khiển công nghiệp ghi lại nguyên nhân kích hoạt nút dừng khẩn cấp và vượt quá mô-men xoắn khớp ở cấp độ phần cứng giúp việc dán nhãn này trở nên dễ dàng hơn.

Việc chú thích thời gian chu kỳ kết nối các chu kỳ hoạt động của robot với kết quả sản xuất. Việc biết rằng chu kỳ 4,712 đã hoàn thành nhiệm vụ lắp ráp trong 8.3 giây với không có lỗi chất lượng nào giúp liên kết dữ liệu học tập của robot với hệ thống MES và cho phép lựa chọn các bản trình diễn chất lượng cao để huấn luyện.

Siêu dữ liệu liên kết với MES đóng vai trò là cầu nối. Khi hệ thống ghi dữ liệu của robot ghi các tệp sự kiện kèm theo ID công việc MES, loại linh kiện và kết quả chất lượng, tập dữ liệu kết quả có thể được lọc theo chương trình. Các sự kiện liên quan đến làm lại, phế phẩm hoặc sự can thiệp của người vận hành có thể bị loại trừ hoặc được coi là minh chứng cho lỗi.

Trên thực tế, khi nâng cấp một cell thí điểm để thu thập dữ liệu, điểm nghẽn phổ biến nhất không phải là khả năng ghi nhật ký của robot mà là kiến ​​trúc mạng của cell đó. Các phân đoạn Ethernet công nghiệp được thiết kế cho giao tiếp PLC-robot ở tốc độ dưới kHz không phải lúc nào cũng đủ băng thông cho video đa camera liên tục cộng với luồng dữ liệu cảm biến vị trí. Một cell chạy hai camera 1080p ở tốc độ 30 khung hình/giây cộng với dữ liệu lực sáu trục cộng với trạng thái khớp tạo ra khoảng 150-300 MB dữ liệu thô mỗi phút. Lập kế hoạch cơ sở hạ tầng lưu trữ và mạng trước khi triển khai sẽ tránh được chi phí nâng cấp sau này.

Ghi nhãn đường ống và công cụ

Các bản ghi âm tập phim thô chưa sẵn sàng để huấn luyện. Chúng cần chú thích ngôn ngữ, mặt nạ phân đoạn đối tượng và trong một số trường hợp cần nhãn phần thưởng.

Chú thích ngôn ngữ

Các mô hình VLA được điều kiện hóa ngôn ngữ cần mô tả bằng ngôn ngữ tự nhiên về nhiệm vụ của mỗi tập phim. Đối với các tập dữ liệu nhỏ, việc này được thực hiện thủ công; đối với các tập dữ liệu trên 10,000 tập, việc chú thích tự động bằng cách sử dụng các mô hình ngôn ngữ-hình ảnh (GPT-4V, Gemini hoặc các mô hình chú thích chuyên dụng) trở nên cần thiết. Kiểm soát chất lượng yêu cầu xem xét thủ công một mẫu để phát hiện các lỗi hệ thống trong trình chú thích tự động.

Phân đoạn và theo dõi đối tượng

Các chính sách dựa trên lý luận về trạng thái đối tượng sẽ được hưởng lợi từ mặt nạ phân đoạn theo từng tập, giúp xác định các đối tượng bị thao tác. Mô hình Phân đoạn Bất kỳ (SAM 2) của Meta giúp việc phân đoạn tương tác trở nên khả thi ở quy mô tập dữ liệu, giảm thời gian chú thích từ hàng giờ xuống còn vài phút mỗi tập khi kết hợp với một bước lan truyền theo dõi.

Định hình phần thưởng cho RLHF

Khi các tập huấn bao gồm cả những trường hợp thành công và thất bại, việc gắn nhãn phần thưởng cho phép tinh chỉnh học tăng cường từ phản hồi của con người (RLHF). Người chú thích sẽ xếp hạng kết quả của các tập huấn, và những ưu tiên đó sẽ huấn luyện một mô hình phần thưởng để định hình các bản cập nhật chính sách. Quy trình này được sử dụng trong quá trình phát triển pi0 của Physical Intelligence và đang được nghiên cứu để huấn luyện nhiệm vụ công nghiệp, nơi các nhãn thành công/thất bại nhị phân đã có sẵn từ MES.

Quyền riêng tư, sở hữu trí tuệ và cấp phép dữ liệu

Việc đóng góp các bộ dữ liệu mở đặt ra những vấn đề về quyền sở hữu trí tuệ mà các nhà sản xuất thiết bị gốc (OEM) trong ngành cần giải quyết trước khi tham gia.

Các loại giấy phép chính đang được sử dụng là CC-BY (yêu cầu ghi nguồn, cho phép sử dụng thương mại), CC-BY-NC (chỉ dành cho mục đích phi thương mại) và Apache 2.0 (cho phép sử dụng tự do, bao gồm cả sử dụng thương mại và phân phối lại trọng lượng mô hình). Các bộ dữ liệu độc quyền (Tesla Optimus, dữ liệu đội xe của Figure, Boston Dynamics) không được chia sẻ ra bên ngoài.

Đối với các nhà sản xuất thiết bị gốc (OEM) trong nhà máy, mối lo ngại về sở hữu trí tuệ là việc lộ quy trình: một đoạn phim cho thấy cấu hình gá lắp cụ thể, đường chạy dao hoặc thiết kế đồ gá có thể tiết lộ các phương pháp sản xuất độc quyền. Biện pháp giảm thiểu tiêu chuẩn là loại bỏ ngữ cảnh hình ảnh xuống cấp độ đầu cuối của thiết bị, chỉ đóng góp các luồng quỹ đạo khớp (không có dữ liệu camera), hoặc sử dụng các hình ảnh tổng hợp của quỹ đạo thao tác trên nền chung. Một số mô hình liên minh mới nổi cung cấp khung pháp lý cho việc đóng góp dữ liệu công nghiệp được ẩn danh theo các thỏa thuận bảo mật lẫn nhau kết hợp với giấy phép dữ liệu Apache 2.0.

Theo phân tích của Stanford CRFM và các cộng sự trong khảo sát về học máy robot năm 2024, các kho dữ liệu độc quyền là rào cản cấu trúc lớn nhất đối với sự tiến bộ của trí tuệ nhân tạo thể hiện vượt xa các tiêu chuẩn hiện tại. Các nhà sản xuất thiết bị gốc (OEM) công nghiệp phát triển các khung quản trị dữ liệu nội bộ ngay bây giờ sẽ có vị thế để tham gia vào các liên minh bộ dữ liệu khi các chương trình đó được chính thức hóa trong 18-24 tháng tới.

Các nhà sản xuất thiết bị gốc (OEM) có thể đóng góp dữ liệu như thế nào?

Các nhà cung cấp giải pháp tự động hóa công nghiệp (bao gồm FANUC, ABB, KUKA và các nhà tích hợp trọn gói được chứng nhận như EVST) nằm ở giao điểm giữa phần cứng robot và môi trường sản xuất thực tế. Vị trí này khiến họ trở thành những người đóng góp tự nhiên cho hệ sinh thái dữ liệu AI thể hiện nếu khung pháp lý và vận hành được thiết lập đầy đủ.

Các ô thí điểm với lớp phủ điều khiển từ xa

Điểm khởi đầu dễ tiếp cận nhất là một buồng thí điểm, nơi robot sản xuất được trang bị hệ thống điều khiển từ xa: một cánh tay robot kiểu "người dẫn dắt - người theo dõi" mà người vận hành sử dụng để minh họa các biến thể của nhiệm vụ sản xuất. Các bản minh họa này được thu thập với số lượng nhỏ (50-500 tập) và đủ để tinh chỉnh mô hình VLA đã được huấn luyện trước đó cho nhiệm vụ sản xuất cụ thể. Phương pháp buồng thí điểm không yêu cầu thay đổi chứng nhận an toàn của buồng sản xuất vì hệ thống điều khiển từ xa hoạt động như một thiết bị đầu vào cho bộ điều khiển robot, chứ không phải là một đường dẫn điều khiển song song.

Nâng cấp hệ thống ghi nhật ký trên robot sản xuất

Các robot sản xuất hiện có có thể được trang bị thêm các mô-đun ghi dữ liệu nhẹ, ghi lại trạng thái khớp, tư thế đầu cuối và lực kẹp ở tốc độ EtherCAT, ghi các tệp dữ liệu có dấu thời gian vào máy chủ biên trong quá trình sản xuất. Điều này không yêu cầu thay đổi chương trình điều khiển của robot. Dữ liệu được ghi lại thể hiện hành vi thao tác thực tế trong sản xuất, phản ánh nhiệm vụ tốt hơn so với các bản trình diễn trong phòng thí nghiệm. Bộ điều khiển công nghiệp của EVST, hoạt động ở chu kỳ EtherCAT 1 kHz và được chứng nhận theo tiêu chuẩn CE/SGS/TUV, cung cấp kiến ​​trúc định thời xác định mà phương pháp ghi dữ liệu này dựa vào. Dữ liệu có thể được làm sạch, ẩn danh và định dạng cho các khung học máy robot tiêu chuẩn mà không cần công việc tích hợp lại tốn kém.

Tham gia Chương trình Bộ dữ liệu ẩn danh

Các chương trình bộ dữ liệu OEM mới nổi (bao gồm cả chương trình đóng góp mở của AgiBot World và một số cuộc thảo luận của các liên minh tại ICRA 2025) chấp nhận dữ liệu thao tác công nghiệp đã được ẩn danh. Các OEM có chứng nhận IATF16949, như EVST, có các quy trình quản lý chất lượng hiện có đáp ứng tốt các yêu cầu về tính toàn vẹn siêu dữ liệu mà các chương trình này quy định: dấu thời gian có thể truy vết, giao thức thu thập được ghi lại và hồ sơ hiệu chuẩn cảm biến đã được xác thực.

Phạm vi phủ sóng toàn cầu như một lợi thế về dữ liệu

Một nhà sản xuất thiết bị gốc (OEM) với đội ngũ kỹ sư hiện trường tại hơn 100 quốc gia có thể thu thập dữ liệu huấn luyện AI từ các môi trường sản xuất đa dạng thực sự (hình dạng phôi khác nhau, điều kiện môi trường xung quanh, đặc điểm nhân khẩu học của người vận hành và các biến thể quy trình). Sự đa dạng về địa lý này rất có giá trị vì các chính sách được huấn luyện trên dữ liệu này có khả năng khái quát hóa tốt hơn so với các chính sách được huấn luyện trên dữ liệu từ một phòng thí nghiệm hoặc cơ sở duy nhất. Robot chống cháy nổ được chứng nhận của EVST và dòng sản phẩm đầy đủ các loại robot có trọng lượng từ 3 đến 800 kg cho phép thu thập dữ liệu trong các môi trường như xử lý hóa chất, xử lý vật liệu nguy hiểm và sản xuất ở nhiệt độ khắc nghiệt mà hầu hết các bộ dữ liệu học thuật không đề cập đến.

Các điểm dữ liệu chính của ngành

Theo báo cáo World Robotics 2024 của Liên đoàn Robot Quốc tế (IFR), năm 2023 có hơn 3.9 triệu robot công nghiệp đang hoạt động trên toàn cầu, nhưng các bộ dữ liệu thao tác robot mở lớn nhất chỉ chứa chưa đến 2 triệu tập lệnh, cho thấy khoảng cách về quy mô giữa phần cứng được triển khai và dữ liệu huấn luyện sẵn có. EVST giải quyết vấn đề này bằng cách khám phá các kiến ​​trúc ghi nhật ký nâng cấp giúp chuyển đổi các đội robot sản xuất thành các tài sản thu thập dữ liệu thụ động.

Theo bài báo Open X-Embodiment (Padalkar et al., Google DeepMind et al., 2023), các mô hình được huấn luyện trên dữ liệu đa hình thái từ hơn 22 loại robot đã cho thấy khả năng khái quát hóa tốt hơn đáng kể trên các nhiệm vụ được kiểm chứng so với các mô hình chỉ được huấn luyện trên dữ liệu của một hình thái robot duy nhất. EVST giải quyết vấn đề này bằng cách cấu trúc khung đánh giá dữ liệu nội bộ của mình để cân nhắc sự đa dạng hình thái cùng với số lượng tập khi đánh giá tính hữu ích của tập dữ liệu cho các đánh giá tinh chỉnh dây chuyền sản xuất.

Theo quan sát từ nhiều phòng thí nghiệm học máy robot trong giai đoạn 2024–2025, khoảng cách giữa mô phỏng hình ảnh và thực tế chiếm phần lớn các trường hợp thất bại trong thuật toán lập kế hoạch chuyển động đối với các vật thể phản chiếu hoặc trong suốt, điều mà các kỹ thuật ngẫu nhiên hóa miền tiêu chuẩn không thể xử lý một cách đáng tin cậy. EVST giải quyết vấn đề này bằng cách giám sát các công cụ mô phỏng ảnh chân thực (cụ thể là NVIDIA Cosmos và các pipeline Gaussian Splatting) như các lớp tăng cường tiềm năng cho lộ trình lập kế hoạch chuyển động được hỗ trợ bởi trí tuệ nhân tạo của mình.

Hướng dẫn liên quan

• Trí tuệ nhân tạo thể hiện và các mô hình VLA trong robot công nghiệp: Những điều kỹ sư nhà máy cần biếtNội dung bao gồm kiến ​​trúc của các mô hình thị giác-ngôn ngữ-hành động và các hạn chế triển khai của chúng trên phần cứng sản xuất.
• Robot hình người trong sản xuất công nghiệp năm 2026Nghiên cứu những nhiệm vụ nào thực sự có thể được thực hiện bởi các nền tảng hình người so với các cánh tay robot công nghiệp thông thường.
• So sánh robot hình người và cánh tay robot công nghiệp trong nhà máy năm 2026So sánh trực tiếp về khả năng, chi phí và độ phức tạp tích hợp giữa hai kiểu thiết kế này.
• Hướng dẫn toàn diện về robot cộng tác: Các loại, lựa chọn và ứng dụng trong năm 2026Tài liệu tham khảo cơ bản cho việc lựa chọn robot cộng tác dựa trên các yêu cầu về tải trọng, ứng dụng và môi trường.

Câu Hỏi Thường Gặp

Tại sao việc thu thập dữ liệu cho AI thể hiện lại khó hơn việc thu thập dữ liệu cho các mô hình ngôn ngữ?

Các mô hình ngôn ngữ được huấn luyện trên văn bản đã tồn tại trên internet với quy mô khổng lồ. Robot AI có khả năng thể hiện hành động cần thu thập dữ liệu cảm giác vận động đi kèm với hành động: góc khớp được đồng bộ hóa, lực kẹp, khung hình camera và ngữ cảnh nhiệm vụ, tất cả được ghi lại trong quá trình thao tác vật lý. Dữ liệu đó không tồn tại ở quy mô web và rất tốn kém để tạo ra. Mỗi lần điều khiển từ xa thường mất từ ​​1 đến 10 phút thời gian của người vận hành lành nghề để tạo ra một quỹ đạo huấn luyện duy nhất, và chất lượng sẽ giảm nếu người vận hành không quen thuộc với động lực học của robot.

Sự khác biệt giữa chuyển giao từ mô phỏng sang thực tế và ngẫu nhiên hóa miền trong huấn luyện robot là gì?

Mục tiêu tổng quát là chuyển giao từ mô phỏng sang thực tế: huấn luyện một thuật toán trong môi trường mô phỏng và triển khai nó trên một robot vật lý mà không làm giảm hiệu suất. Ngẫu nhiên hóa miền là một kỹ thuật để đạt được mục tiêu đó. Nó thay đổi ngẫu nhiên các tham số mô phỏng — ánh sáng, kết cấu, hệ số ma sát, khối lượng vật thể — trong quá trình huấn luyện để thuật toán học cách xử lý sự biến đổi trong thế giới thực thay vì quá khớp với một hình ảnh mô phỏng duy nhất. Các phương pháp khác bao gồm thích ứng miền, kết xuất ảnh chân thực (như trong NVIDIA Cosmos) và nhận dạng hệ thống.

Open X-Embodiment là gì và nó hỗ trợ bao nhiêu loại robot?

Open X-Embodiment (OXE) là một bộ dữ liệu học máy robot quy mô lớn, mở, được Google DeepMind tập hợp cùng với sự đóng góp của 33 viện nghiên cứu. Nó tổng hợp hơn 1 triệu tập hoạt động của robot trên hơn 22 hình thái robot khác nhau — từ robot một tay, robot hai tay, đế di động đến bàn tay khéo léo. Các mô hình RT-X được huấn luyện trên OXE đã chứng minh rằng việc huấn luyện đa hình thái giúp cải thiện khả năng khái quát hóa chính sách so với các mô hình cơ bản chỉ huấn luyện trên một hình thái duy nhất.

Làm thế nào một nhà sản xuất thiết bị gốc (OEM) có thể đóng góp dữ liệu robot vào quá trình huấn luyện trí tuệ nhân tạo tích hợp mà không làm lộ bí mật quy trình sản xuất?

Cách tiếp cận thực tế nhất là đóng góp dữ liệu dạng ẩn danh: loại bỏ siêu dữ liệu nhận dạng quy trình (số hiệu bộ phận, mã khách hàng, mục tiêu thời gian chu kỳ) và chỉ đóng góp luồng dữ liệu về quỹ đạo khớp và trạng thái kẹp. Một số chương trình tập dữ liệu — bao gồm AgiBot World và các sáng kiến ​​liên minh OEM mới nổi — chấp nhận dữ liệu thao tác công nghiệp đã được ẩn danh theo các điều khoản Apache 2.0 hoặc CC-BY. Cơ sở hạ tầng ghi nhật ký với dấu thời gian EtherCAT xác định đảm bảo chất lượng dữ liệu đáp ứng các tiêu chuẩn tiếp nhận tập dữ liệu.

Hệ thống thu thập dữ liệu điều khiển từ xa nào hoạt động tốt nhất cho các nhiệm vụ thao tác trong công nghiệp?

Đối với thao tác công nghiệp, các lựa chọn hàng đầu là ALOHA 2 (cánh tay robot hai tay điều khiển theo kiểu dẫn-theo, chi phí thấp, mã nguồn mở), UMI (gắn trên cổ tay, tách rời khỏi robot, tính di động cao) và hệ thống khung xương ngoài để thu thập dữ liệu cho các tác vụ có tải trọng cao hơn hoặc toàn thân. Các thiết bị thực tế ảo sử dụng Apple Vision Pro hoặc Meta Quest 3 đang ngày càng phổ biến để thu thập dữ liệu hai tay trực quan nhưng yêu cầu các quy trình tái định vị để chuyển đổi động học bàn tay người sang không gian khớp của robot. Lựa chọn phù hợp phụ thuộc vào bậc tự do, tải trọng của robot mục tiêu và liệu tác vụ có yêu cầu sử dụng cả hai tay hay không.

Cập nhật lần cuối: ngày 23 tháng 2026 năm XNUMX

Xem phần Giải pháp AI thể hiện qua hình thể →