9AI Ship — Technical AI cho Developer

Một LLM thực sự làm gì từ lúc bạn gửi prompt cho đến khi token tiếp theo xuất hiện?

Episode này đi từ tokenizer, embeddings và Transformer đến logits, sampling, prefill, decode và KV Cache — đồng thời liên hệ trực tiếp những khái niệm đó với latency, context length, streaming và chi phí inference.

Một mental model nền tảng để hiểu LLM engineering thay vì chỉ trial-and-error với API.

AI thay đổi mỗi ngày, nhưng developer không cần chạy theo mọi model release hay benchmark mới.

Trong episode đầu tiên của AI Dev Morning, chúng ta xây một mental model gồm 5 tín hiệu để xác định đâu là thay đổi AI thật sự đáng quan tâm:

• Capability shift — model vừa làm được điều gì mới?

• Economics — cost per completed task thay vì chỉ nhìn giá token

• Inference architecture — latency, throughput, KV cache, context và hardware

• Agent tooling — tool calling, sandbox, coding agents, MCP và workflow state

• Evals & reliability — làm sao biết model mới thực sự tốt hơn với workload của mình?

Episode cũng đi vào cách biến AI news thành engineering decision: phân biệt interesting với actionable, tự xây mini eval, theo dõi adoption horizon và tránh migrate chỉ vì benchmark đẹp.

Mục tiêu: sau khoảng 20 phút mỗi tuần, bạn không chỉ biết AI có gì mới — mà biết thứ gì đáng ignore, test hoặc adopt.

9AI Ship — Technical AI cho Developer.