robots.txt cho AI: Giao thức ARD Đang Định Hình Lại Internet

Internet từ trước đến nay được xây dựng cho đôi mắt của con người. Chúng ta lướt web dựa trên các tín hiệu thị giác—những nút bấm nổi bật, bố cục trực quan, và các hiệu ứng CSS đẹp mắt. Nhưng bước sang năm 2026, một tỷ trọng ngày càng lớn trong lưu lượng truy cập web không còn là con người nữa. Đó là các AI Agent (tác tử AI tự trị).

Chỉ trong tuần này, chúng ta đã chứng kiến màn ra mắt của TesterArmy (một startup thuộc batch YC P26) chuyên sử dụng AI Agent để tự động kiểm thử các ứng dụng web và di động. Những agent này không chỉ cào dữ liệu (scraping); chúng thực sự tương tác, bấm nút, điền form và xác thực các trạng thái của hệ thống. Nhưng có một vấn đề cốt lõi với xu hướng này: giao diện dành cho con người lại là "cơn ác mộng" đối với máy móc.

Mỗi khi một lập trình viên frontend thay đổi một class CSS, sửa id của một nút bấm, hay cấu trúc lại cây DOM, các AI Agent dựa vào thị giác máy tính hoặc đọc mã HTML sẽ ngay lập tức "gãy" và ngừng hoạt động. Sự mong manh này chính là nút thắt lớn nhất kìm hãm cuộc cách mạng AI Agent.

Để giải quyết vấn đề, chúng ta không cần những AI thông minh hơn. Chúng ta cần một tiêu chuẩn web mới. Đó là lúc Đặc tả Khám phá Tài nguyên AI (Agentic Resource Discovery - ARD) Specification xuất hiện.

Sự mong manh của "Web AI" hiện tại

Để hiểu vì sao ARD lại là một bước đột phá, hãy nhìn vào cách các AI Agent đang tương tác với internet hiện nay.

Giả sử bạn giao cho AI một nhiệm vụ: "Đặt cho tôi một vé máy bay đi Tokyo vào thứ Sáu". AI hiện tại có hai cách xử lý. Cách thứ nhất là sử dụng các API chính thức, điều này đòi hỏi các kỹ sư phải tự tay viết mã tích hợp (glue code) cho từng hãng hàng không cụ thể. Cách thứ hai là mở một trình duyệt ảo (headless browser), quét toàn bộ mã HTML thô, đoán xem thẻ div nào là thanh tìm kiếm và cố gắng click vào đó.

Cách đầu tiên không thể mở rộng. Có hàng triệu trang web, lập trình viên không thể viết API thủ công cho tất cả. Cách thứ hai lại là một thảm họa bảo trì. Các ứng dụng web hiện đại (SPA) được xây dựng bằng React hay Vue thường sinh ra các tên class CSS hỗn loạn. Việc dựa vào cấu trúc HTML này giống như cố gắng tìm đường trong một thành phố mà biển báo đổi ngôn ngữ mỗi giờ một lần.

Đặc tả Agentic Resource Discovery (ARD) là gì?

Agentic Resource Discovery (ARD) Specification sinh ra để giải quyết vấn đề trên bằng cách tạo ra một chuẩn chung, cho phép máy chủ web "tự quảng cáo" các tính năng của mình trực tiếp cho AI Agent.

Hãy coi ARD là phiên bản tiến hóa của robots.txt hay sitemap.xml. Nếu robots.txt nói cho các bot tìm kiếm biết chúng không nên vào đâu, và sitemap.xml liệt kê danh sách các trang đang tồn tại, thì ARD nói cho AI Agent biết chính xác những hành động nào nó có thể thực hiện.

Thay vì bắt AI phải tự đoán mò cách API nội bộ hoạt động, một trang web hỗ trợ ARD sẽ cung cấp một tệp cấu hình tại một địa chỉ chuẩn mực (thường được đề xuất dưới dạng /.well-known/ard.json). Tệp này định nghĩa rõ ràng:

1. Năng lực (Capabilities): "Tôi là một trang thương mại điện tử. Bạn có thể tìm kiếm sản phẩm, thêm vào giỏ hàng và thanh toán."
2. Cấu trúc dữ liệu (Schemas): "Để tìm sản phẩm, hãy gửi một HTTP GET request đến đây kèm theo các tham số này."
3. Ngữ nghĩa (Semantics): "Trường 'price' được tính bằng USD, và 'availability' là kiểu boolean."

ARD làm cầu nối giữa giao diện HTML thân thiện với người dùng và các API máy móc, tận dụng khả năng hiểu ngôn ngữ tự nhiên của LLM để chuyển đổi các mô tả ngữ nghĩa thành các lệnh HTTP thực thi.

Tích hợp Zero-Shot: Không cần viết code kết nối

Tác động sâu sắc nhất của chuẩn ARD là khả năng tích hợp zero-shot.

Trong kỹ thuật phần mềm, việc tích hợp các hệ thống từ trước đến nay luôn đồng nghĩa với việc đọc tài liệu API, tạo API key, ánh xạ dữ liệu và viết parser. Nhưng với ARD, một AI Agent có thể truy cập vào một trang web nó chưa từng thấy bao giờ, đọc tệp đặc tả, hiểu các hành động khả dụng, và thực thi một quy trình phức tạp ngay lập tức mà không cần con người can thiệp.

Nếu bạn ra lệnh cho trợ lý AI: "Đặt cho tôi một chiếc pizza từ cửa hàng mới mở ở cuối phố", agent đó không cần được lập trình sẵn logic cho riêng cửa hàng đó. Nó chỉ việc truy cập URL của cửa hàng, đọc đặc tả ARD, tìm thấy tính năng order_pizza, đàm phán các tham số (loại bánh, kích cỡ) và hoàn tất giao dịch.

Điều này biến toàn bộ internet thành một hệ sinh thái API khổng lồ, kết nối liền mạch với các hệ thống tự trị.

Cú tát vào phễu Marketing truyền thống

Tuy nhiên, việc chuẩn hóa web cho AI sẽ mang đến những xáo trộn khổng lồ cho mô hình kinh doanh cốt lõi của internet.

Web hiện đại sống nhờ vào quảng cáo và được tối ưu hóa bằng các phễu tiếp thị (marketing funnel). Mọi thứ được thiết kế để giữ chân người dùng, hiển thị banner quảng cáo, kích thích mua sắm bốc đồng và lôi kéo đăng ký dịch vụ.

AI Agent không quan tâm đến UI/UX. Chúng không bị phân tâm bởi các banner nhấp nháy. Chúng không có cảm giác sợ bỏ lỡ (FOMO) khi thấy đồng hồ đếm ngược báo hiệu đợt sale sắp kết thúc. Nếu ARD trở thành cách thức tiêu chuẩn để tương tác với các trang thương mại, nó sẽ bỏ qua hoàn toàn lớp giao diện thị giác của internet.

Nếu AI làm mọi việc từ mua sắm, đặt vé đến tổng hợp tin tức trong nền, thì ai sẽ xem quảng cáo? Các công ty sẽ kiếm tiền thế nào từ một lượt truy cập thuần túy thông qua API?

Thêm vào đó, bài toán bảo mật cũng trở nên phức tạp. Làm sao để giới hạn tần suất (rate-limit) các agent mà không chặn nhầm người dùng thật? Làm sao để ngăn một AI Agent vô tình mua 10.000 máy chủ do lỗi "ảo giác" (hallucination) của LLM? Chắc chắn chuẩn ARD sẽ cần những lớp xác thực và phân quyền được thiết kế chuyên biệt cho các "khách hàng" không phải con người.

Hai nửa của Internet

Chúng ta đang chứng kiến sự phân nhánh của internet.

Một nửa sẽ là Web truyền thống: trực quan, tương tác cao và được thiết kế để thu hút sự chú ý của con người. Nửa còn lại là Agentic Web (Web Đặc vụ): thiên về ngữ nghĩa, có cấu trúc chặt chẽ và được tối ưu cho các hành động tự trị thông qua những chuẩn như ARD.

Khi các startup như TesterArmy tiếp tục mở rộng giới hạn của AI Agent, bản thân internet cũng buộc phải thích nghi. Những trang web sống sót và phát triển trong thập kỷ tới sẽ không chỉ cần SEO (Tối ưu hóa công cụ tìm kiếm) cho con người; họ sẽ cần một chiến lược AEO (Agent Engine Optimization) hoàn hảo để đảm bảo rằng các trợ lý AI trên toàn thế giới biết chính xác cách sử dụng dịch vụ của họ.