Ở phần trước, chúng ta đã tìm hiểu vì sao Microsoft phát triển AI Engineering Coach và khái niệm Agentic Engineering.

Nhưng nếu AI Engineering Coach không sinh code, cũng không review Pull Request, vậy công cụ này thực sự làm gì?

Câu trả lời nằm ở Dashboard.

Khi mở AI Engineering Coach lần đầu tiên, bạn sẽ thấy rất nhiều biểu đồ, điểm số và thống kê.

Thoạt nhìn, D1ashboard này khá giống Azure DevOps hay GitHub Insights.

Tuy nhiên, sau vài phút quan sát, bạn sẽ nhận ra Microsoft đang cố gắng trả lời một câu hỏi hoàn toàn khác.

Không phải:

Hôm nay AI đã viết bao nhiêu dòng code?

Mà là:

Bạn đang làm việc với AI tốt đến đâu?

Đó là sự khác biệt lớn nhất giữa AI Engineering Coach và hầu hết các công cụ AI Coding hiện nay.

Dashboard Là “Digital Twin” Của Một AI Engineer

Mình khá thích cách Microsoft thiết kế Dashboard.

Nó không phải là nơi hiển thị log.

Nó cũng không đơn thuần là nơi thống kê số Request.

Thay vào đó Dashboard giống như một Digital Twin.

Tức là tạo ra một bản sao phản ánh cách Developer đang cộng tác với AI.

Có thể mô tả như sau.

Developer

↓

AI Coding Assistant

↓

Prompt

↓

Context

↓

Review

↓

Session

↓

AI Engineering Coach

↓

Digital Twin

↓

Insights

Mỗi Prompt.

Mỗi Session.

Mỗi Context.

Đều để lại một “dấu chân”.

Dashboard chỉ đơn giản là ghép tất cả những dấu chân đó lại thành một bức tranh hoàn chỉnh.

Dashboard Được Chia Thành 4 Tầng

Quan sát kỹ giao diện, chúng ta có thể thấy Dashboard được chia thành bốn lớp thông tin.

Health

↓

Quality

↓

Activity

↓

Analytics

Microsoft không hề đặt ngẫu nhiên.

Mỗi tầng trả lời một câu hỏi khác nhau.

Tầng 1 — Health

Đây là phần trên cùng.

Bao gồm

• Practice Score
• Requests
• Sessions
• AI LOC
• Workspaces

Đây là câu trả lời cho câu hỏi

Hiện trạng AI Engineering của bạn ra sao?

Tầng 2 — Quality

Ngay dưới là

Anti-pattern Summary

Skill Finder

Đây là tầng

Quality.

Không đo số lượng.

Mà đo

chất lượng.

Tầng 3 — Activity

Tiếp theo là

Daily Activity

Timeline

Coding Moments

Đây là tầng

Activity.

Microsoft muốn biết

AI đang được dùng như thế nào theo thời gian.

Tầng 4 — Analytics

Phía dưới cùng.

Pie Chart.

Harness.

Workspace.

Output.

Patterns.

Đây là nơi Dashboard bắt đầu trả lời các câu hỏi ở cấp độ Team.

Ví dụ.

AI nào đang được dùng nhiều nhất?

Workspace nào dùng AI nhiều nhất?

Language nào AI đang hỗ trợ nhiều nhất?

Practice Score Không Phải Điểm Thi

Ngay khi mở Dashboard.

Điều đầu tiên thu hút người dùng là vòng tròn màu xanh.

Practice Score

100

Nhiều người sẽ nghĩ đây là KPI.

Thực ra không phải.

Practice Score giống một chỉ số sức khỏe hơn.

Có thể hình dung.

BMI

↓

Health

Practice Score

↓

AI Engineering Health

Nó không nói

Bạn code giỏi.

Mà nói

Bạn đang sử dụng AI đúng cách.

Đó là hai khái niệm khác nhau.

Microsoft cố tình dùng từ

Practice

thay vì

Performance.

Theo mình đây là một chi tiết rất thú vị.

Practice luôn có thể cải thiện.

Performance thường là kết quả cuối cùng.

AI Engineering Coach muốn cải thiện

Practice.

Không phải

Judge.

Merge Wizard Và Góc Nhìn Theo Workspace

Trong ảnh Dashboard.

Workspace hiện tại là

Merge Wizard.

Điều này có nghĩa.

Practice Score không phải điểm số của cá nhân.

Mà là điểm số của

Developer

Workspace

Workflow.

Ví dụ.

Bạn có thể đạt

100

ở Project A.

Nhưng chỉ

72

ở Project B.

Không phải vì AI khác.

Mà vì

Context

Workflow

Instruction

khác.

Điều này cực kỳ quan trọng với doanh nghiệp.

Requests Chỉ Là Bề Nổi

Nhiều Dashboard AI chỉ thống kê.

200 Requests

Microsoft cũng hiển thị.

Nhưng Requests gần như là chỉ số ít quan trọng nhất.

Điều quan trọng là.

200 Request đó có tạo ra giá trị không?

Hay chỉ là

Viết lại

↓

Sai

↓

Viết lại

↓

Sai

↓

Viết lại

Dashboard cố gắng phân biệt hai trường hợp này.

Đó là lý do Practice Score tồn tại.

Anti-pattern Summary Mới Là Trái Tim Của Dashboard

Theo mình.

Đây là phần đáng tiền nhất.

Microsoft chia Anti-pattern thành nhiều nhóm.

Ví dụ.

Prompt Quality.

Session Hygiene.

Tool Mastery.

Code Review.

Đây là điều rất ít Dashboard AI hiện nay làm.

Thay vì chỉ nói.

Prompt chưa tốt.

Coach sẽ cố gắng chỉ ra.

Prompt đang thiếu gì.

Workflow đang sai ở đâu.

Thói quen nào cần thay đổi.

Đó chính là

Coach.

Không phải

Analytics.

Skill Finder – Dashboard Không Chỉ Quan Sát

Một Dashboard bình thường.

Quan sát.

Dừng lại.

Skill Finder thì khác.

Ví dụ.

Prompt A

↓

25 lần

↓

Pattern

↓

Skill Candidate

Dashboard bắt đầu đưa ra hành động.

Đây là bước đầu tiên của

Continuous Improvement.

Microsoft đang muốn biến Prompt thành tài sản của tổ chức.

Không phải kiến thức cá nhân.

Daily Activity Không Phải Để Theo Dõi Năng Suất

Nhiều người nhìn biểu đồ Daily Activity và nghĩ.

Đây là biểu đồ KPI.

Thực ra không.

Microsoft không quan tâm bạn gửi

20 Prompt

hay

200 Prompt.

Điều họ muốn biết là.

Bạn có đang

duy trì thói quen làm việc với AI

một cách ổn định hay không.

Điều này rất giống Git Commit Graph.

Không ai đánh giá lập trình viên chỉ bằng số commit.

Nhưng commit graph lại phản ánh nhịp độ làm việc.

Daily Activity cũng vậy.

Requests By Harness

Đây là một chi tiết khá hay.

Dashboard không giả định rằng doanh nghiệp chỉ dùng một AI.

Ví dụ.

Claude

40%

GitHub Copilot

35%

Codex

25%

Điều này phản ánh đúng xu hướng hiện nay.

Một doanh nghiệp có thể dùng nhiều AI Coding Assistant cùng lúc.

Coach không thay thế chúng.

Coach đứng phía sau.

Quan sát tất cả.

Top Workspace

Trong môi trường Enterprise.

Developer thường làm việc trên nhiều repository.

Dashboard sẽ trả lời.

Repository nào.

Đang tận dụng AI tốt nhất?

Repository nào.

Gần như không dùng AI?

Đây là dữ liệu rất hữu ích cho Engineering Manager.

Dashboard Không Phải Để Báo Cáo

Theo mình.

Đây là điều Microsoft làm rất hay.

Dashboard không được thiết kế để

Report.

Mà được thiết kế để

Coach.

Có thể mô tả vòng lặp.

Observe

↓

Measure

↓

Improve

↓

Observe

↓

Measure

↓

Improve

Đó chính là

Continuous Improvement.

Đây cũng là tư duy Lean mà Microsoft đang đưa vào AI Engineering.

Kết Luận

Nếu chỉ nhìn qua giao diện, AI Engineering Coach có thể khiến nhiều người nghĩ đây chỉ là một Dashboard thống kê hoạt động của AI Coding Assistant. Tuy nhiên, khi quan sát kỹ cách Microsoft tổ chức các nhóm chỉ số, có thể thấy công cụ này được thiết kế để phản ánh toàn bộ vòng đời cộng tác giữa Developer và AI.

Từ Practice Score, Anti-pattern Summary, Skill Finder cho đến Timeline và Requests by Harness, mỗi thành phần đều trả lời một câu hỏi cụ thể về chất lượng AI Engineering, chứ không chỉ là mức độ sử dụng AI.

Đây cũng là điểm khác biệt lớn nhất của AI Engineering Coach: thay vì chỉ đo bao nhiêu AI đã được dùng, công cụ hướng tới việc đo AI đã được sử dụng tốt như thế nào.