References:- Kho&aacute; MLOps, LLMOps - tại Full Stack Data Science+,&nbsp;MLOps Principles+,&nbsp;llmintro.pdf - Google Drive+, LLM Ops - Blog Đo&agra...

LLM Ops Buổi 1 [Note lại cho ace nào cần] (ace ib qua em để reference ace vào học full khoá của sếp Quân ạ)

References: - Kho&aacute; MLOps, LLMOps - tại Full Stack Data Science +,&nbsp;<a href="https://ml-ops.org/content/mlops-principles" target="_blank" rel="nofollow noopener ugc">MLOps Principles</a> +,&nbsp;<a href="https://drive.google.com/file/d/1pxx_ZI7O-Nwl7ZLNk5hI3WzAsTLwvNU7/view" target="_blank" rel="nofollow noopener ugc">llmintro.pdf - Google Drive</a> +, <a href="https://doanngoccuong.hashnode.dev/llm-ops">LLM Ops - Blog Đo&agrave;n Ngọc Cường</a>
<img src="https://media.licdn.com/dms/image/v2/D5612AQEUuVCKsATIOA/article-inline_image-shrink_1500_2232/article-inline_image-shrink_1500_2232/0/1700832406405?e=1756339200&amp;v=beta&amp;t=H8W-pbONSnfLGCybLJZEVyDZGmJs8G_GjkwsgJF4a2Q" alt="Article content">
<hr>
<blockquote>
Đ&ocirc;i điều ch&uacute; &yacute; trong việc học:
<ol>
<li>
Begin with the end X3-X10 in Mind. The end with the number? Mục đ&iacute;ch học tập phần n&agrave;y?
</li>
<li>
Muốn đi nhanh: Mentor + Dự &aacute;n thật + Dạy lại + Networking.
</li>
<li>
The one thing: Tập trung 1 thứ v&agrave; chỉ học những thứ bản th&acirc;n thực sự d&ugrave;ng.
</li>
<li>
Tuần tự, li&ecirc;n tục, nhất qu&aacute;n: Bỏ dễ bỏ kh&oacute;
</li>
</ol>
</blockquote>
<h2 id="heading-11-chatbot-arena" class="permalink-heading">1.1 Chatbot Arena</h2>
Chatbot Arena (nay thuộc nền tảng LMArena tr&ecirc;n&nbsp;<a href="http://lmarena.ai/" target="_blank" rel="nofollow noopener ugc">lmarena.ai</a>) l&agrave; một nền tảng m&atilde; nguồn mở gi&uacute;p đ&aacute;nh gi&aacute; v&agrave; xếp hạng c&aacute;c m&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn (LLM - Large Language Models) th&ocirc;ng qua phản hồi trực tiếp từ cộng đồng người d&ugrave;ng tr&ecirc;n khắp thế giới. Mục ti&ecirc;u của nền tảng l&agrave; th&uacute;c đẩy ph&aacute;t triển AI th&ocirc;ng qua qu&aacute; tr&igrave;nh so s&aacute;nh mẫu tin nhắn trả lời giữa c&aacute;c chatbot AI trong những "trận đấu" ngẫu nhi&ecirc;n, ẩn danh, gọi l&agrave; "battle" hoặc "arena matches"
<ul>
<li>
Link chatbot:&nbsp;<a href="https://lmarena.ai/" target="_blank" rel="nofollow noopener ugc">LMArena</a>
</li>
<li>
Xem bảng xếp hạng tại:&nbsp;<a href="https://lmarena.ai/leaderboard" target="_blank" rel="nofollow noopener ugc">Overview Leaderboard | LMArena</a>
</li>
</ul>
<blockquote>
Cơ chế xếp hạng trong Chatbot Arena (LMArena) hoạt động như sau:
<ul>
<li>
Người d&ugrave;ng nhập c&acirc;u hỏi hoặc y&ecirc;u cầu l&ecirc;n hệ thống v&agrave; nhận được hai c&acirc;u trả lời từ hai LLM kh&aacute;c nhau (ẩn danh).
</li>
<li>
Người d&ugrave;ng so s&aacute;nh chất lượng c&aacute;c c&acirc;u trả lời n&agrave;y v&agrave; lựa chọn phương &aacute;n tốt nhất (voting theo sở th&iacute;ch c&aacute; nh&acirc;n).
</li>
<li>
Mỗi cuộc đấu giữa hai chatbot được chấm theo&nbsp;cơ chế Elo giống như trong cờ vua.
</li>
<li>
Người d&ugrave;ng kh&ocirc;ng biết t&ecirc;n m&ocirc; h&igrave;nh, chỉ chọn c&acirc;u trả lời họ thấy hay hơn.
</li>
<li>
Nếu m&ocirc; h&igrave;nh A thắng m&ocirc; h&igrave;nh B, A nhận&nbsp;1 điểm, B&nbsp;0 điểm.
</li>
<li>
Nếu hai m&ocirc; h&igrave;nh h&ograve;a nhau (người d&ugrave;ng chọn "kh&ocirc;ng ph&acirc;n biệt được"), mỗi b&ecirc;n nhận&nbsp;0.5 điểm.
</li>
<li>
Điểm Elo được cập nhật sau mỗi trận, v&agrave; bảng xếp hạng sắp theo Elo trung b&igrave;nh.
</li>
</ul>
⟶&nbsp;T&oacute;m gọn:&nbsp;Mỗi trận l&agrave; một v&aacute;n cờ, thắng được 1 điểm, h&ograve;a 0.5 điểm. Bảng xếp hạng dựa tr&ecirc;n tổng điểm Elo t&iacute;ch lũy sau nhiều trận.
</blockquote>
C&acirc;u hỏi đặt ra l&agrave;: Liệu bảng xếp hạng n&agrave;y c&oacute; đ&aacute;ng tin cậy kh&ocirc;ng? Dẫn chứng số liệu n&agrave;o chứng minh được điều đ&oacute;?
<blockquote>
<h3 id="heading-so-luong-du-lieu-va-minh-chung-cu-the" class="permalink-heading">Số lượng dữ liệu v&agrave; minh chứng cụ thể</h3>
<ul>
<li>T&iacute;nh đến hiện tại, Chatbot Arena đ&atilde; c&oacute; hơn 3,5 triệu lượt vote (b&igrave;nh chọn), một con số đủ để tạo ra thống k&ecirc; ổn định v&agrave; hạn chế ảnh hưởng của c&aacute;c quan điểm c&aacute; biệt. [Tuy nhi&ecirc;n, g&oacute;c nh&igrave;n của m&igrave;nh: C&aacute;c phi&ecirc;n bản AI thương mại c&oacute; thể cập nhật "ngầm" khiến điểm số biến động kh&oacute; dự b&aacute;o.]</li>
</ul>
Thuật to&aacute;n Elo
<ul>
<li>
C&aacute;ch hoạt động:&nbsp;Cập nhật điểm số ngay lập tức sau&nbsp;từng trận đấu.
</li>
<li>
Ưu điểm:&nbsp;Nhanh, linh hoạt, ph&ugrave; hợp cho m&ocirc;i trường trực tuyến nơi phong độ người chơi thay đổi li&ecirc;n tục (game, cờ vua).
</li>
<li>
Nhược điểm:&nbsp;K&eacute;m ổn định. Bảng xếp hạng cuối c&ugrave;ng c&oacute; thể thay đổi t&ugrave;y thuộc v&agrave;o thứ tự c&aacute;c trận đấu đ&atilde; diễn ra.
</li>
</ul>
Thuật to&aacute;n Bradley-Terry (BT)
<ul>
<li>
C&aacute;ch hoạt động:&nbsp;Nh&igrave;n v&agrave;o&nbsp;to&agrave;n bộ c&aacute;c trận đấu&nbsp;c&ugrave;ng một l&uacute;c để t&iacute;nh ra một điểm số tổng thể, ổn định.
</li>
<li>
Ưu điểm:&nbsp;Kết quả rất đ&aacute;ng tin cậy v&agrave; kh&ocirc;ng bị ảnh hưởng bởi thứ tự trận đấu.
</li>
<li>
Nhược điểm:&nbsp;Kh&ocirc;ng cập nhật tức thời. Cần phải t&iacute;nh to&aacute;n lại từ đầu tr&ecirc;n to&agrave;n bộ dữ liệu khi c&oacute; trận đấu mới.
</li>
</ul>
<hr>
Khi n&agrave;o d&ugrave;ng?
<ul>
<li>
D&ugrave;ng Elo:&nbsp;Khi bạn cần một bảng xếp hạng được cập nhật&nbsp;li&ecirc;n tục v&agrave; tức thời.
</li>
<li>
D&ugrave;ng Bradley-Terry:&nbsp;Khi bạn c&oacute; một bộ dữ liệu đầy đủ v&agrave; muốn c&oacute; một bảng xếp hạng&nbsp;tổng kết, ổn định nhất.
</li>
</ul>
</blockquote>
<h2 id="heading-ngoai-ra-qua-tim-hieu-ve-ranking-algorithms-con-rat-nhieu-thuat-toan-khac-cac-ban-co-the-search" class="permalink-heading">Ngo&agrave;i ra qua t&igrave;m hiểu về Ranking Algorithms c&ograve;n rất nhiều thuật to&aacute;n kh&aacute;c, c&aacute;c bạn c&oacute; thể search</h2>
<div class="hn-table">
<table>
<thead>
<tr>
<td>Thuật To&aacute;n</td>
<td>Accuracy</td>
<td>Computational Cost</td>
<td>Scalability</td>
<td>Use Cases</td>
<td>Advantages</td>
<td>Limitations</td>
</tr>
</thead>
<tbody>
<tr>
<td>Elo</td>
<td>52-55%</td>
<td>Thấp</td>
<td>Cao</td>
<td>Chess, simple 1v1</td>
<td>Đơn giản, real-time</td>
<td>Chỉ pairwise, kh&ocirc;ng team</td>
</tr>
<tr>
<td>Bradley-Terry</td>
<td>55-60%</td>
<td>Trung b&igrave;nh</td>
<td>Trung b&igrave;nh</td>
<td>Product ranking, marketing</td>
<td>Stable, probabilistic</td>
<td>Assumes linear ordering</td>
</tr>
<tr>
<td>TrueSkill</td>
<td>60-65%</td>
<td>Trung b&igrave;nh</td>
<td>Cao</td>
<td>Team games, Xbox Live</td>
<td>Multi-player, uncertainty</td>
<td>Complex implementation</td>
</tr>
<tr>
<td>TrueSkill 2</td>
<td>68%</td>
<td>Cao</td>
<td>Cao</td>
<td>Modern gaming, multi-modal</td>
<td>State-of-the-art accuracy</td>
<td>High computational cost</td>
</tr>
<tr>
<td>Plackett-Luce</td>
<td>62-67%</td>
<td>Cao</td>
<td>Trung b&igrave;nh</td>
<td>Full rankings, sports</td>
<td>Complete ordering</td>
<td>Computationally intensive</td>
</tr>
<tr>
<td>Rank Centrality</td>
<td>65-70%</td>
<td>Rất cao</td>
<td>Thấp</td>
<td>Noisy data, research</td>
<td>Theoretical optimal</td>
<td>Not practical for real-time</td>
</tr>
<tr>
<td>PageRank</td>
<td>60-65%</td>
<td>Trung b&igrave;nh</td>
<td>Cao</td>
<td>Web search, networks</td>
<td>Versatile, proven</td>
<td>Requires link structure</td>
</tr>
<tr>
<td>Personalized PageRank</td>
<td>65-70%</td>
<td>Cao</td>
<td>Trung b&igrave;nh</td>
<td>Recommendations</td>
<td>Personalized results</td>
<td>Complex parameter tuning</td>
</tr>
</tbody>
</table>
</div>
<h2 id="heading-12-mlops" class="permalink-heading">1.2 MLOps</h2>
<img class="image--center mx-auto" src="https://cdn.hashnode.com/res/hashnode/image/upload/v1750823030569/d8e235a3-b417-4e7e-ae55-7a25910123c3.png?auto=compress,format&amp;format=webp" loading="lazy"><button type="button" aria-label="Expand image" data-rmiz-btn-zoom=""></button>
<h2 id="heading-13-llmops" class="permalink-heading">1.3 LLMOps</h2>
<img src="https://media.licdn.com/dms/image/v2/D5612AQEUuVCKsATIOA/article-inline_image-shrink_1500_2232/article-inline_image-shrink_1500_2232/0/1700832406405?e=1756339200&amp;v=beta&amp;t=H8W-pbONSnfLGCybLJZEVyDZGmJs8G_GjkwsgJF4a2Q" alt="Article content"> <button type="button" aria-label="Expand image" data-rmiz-btn-zoom=""></button>
Use cases: 1:00:15 =&gt; Dựa v&agrave;o comment dựa lại của người d&ugrave;ng, h&agrave;ng ng&agrave;y c&oacute; luồng pipelin đi v&agrave;o, collect comment ra dựa v&agrave;o AI để geẻnation: chẳng hạn summary, đ&aacute;nh gi&aacute;, summary tổng.
1:05:00 Why LLMs break MLOps [chưa xem kỹ]
1:15:00 RAG - RAG, gọi API ngon hơn Finetune./
<img class="image--center mx-auto" src="https://cdn.hashnode.com/res/hashnode/image/upload/v1750825448531/f68a96b6-71c9-4863-b305-ca672f531c8c.png?auto=compress,format&amp;format=webp" loading="lazy"><button type="button" aria-label="Expand image" data-rmiz-btn-zoom=""></button>
<img class="image--center mx-auto" src="https://cdn.hashnode.com/res/hashnode/image/upload/v1750825599160/78178a3f-e737-4b15-ba69-f338c2fafadf.png?auto=compress,format&amp;format=webp" loading="lazy"><button type="button" aria-label="Expand image" data-rmiz-btn-zoom=""></button>
C&oacute; 3 loại exteral knowledge: 1. Th&ocirc;ng tin kiến thức b&ecirc;n ngo&agrave;i 2. Th&ocirc;ng tin của user (c&aacute; nh&acirc;n ho&aacute; ) 3. Th&ocirc;ng tin của AI v&iacute; dụ: AI t&ecirc;n l&agrave; g&igrave;, t&iacute;nh c&aacute;ch ra sao, ;;;
Entity Extraction c&oacute; bao phủ triples (HippRAG2) kh&ocirc;ng?
<ul>
<li>
KH&Ocirc;NG ho&agrave;n to&agrave;n bao phủ:
<ul>
<li>
Entity extraction chỉ dừng lại ở việc nhận diện c&aacute;c thực thể (v&iacute; dụ: &ldquo;Elon Musk&rdquo;, &ldquo;Tesla&rdquo;, &ldquo;SpaceX&rdquo;).
</li>
<li>
Triples&nbsp;(như trong HippRAG2) l&agrave; (subject,predicate,object)(subject,predicate,object) &mdash; tức l&agrave; phải tr&iacute;ch xuất cả quan hệ/mối li&ecirc;n kết giữa c&aacute;c entity, v&iacute; dụ: (&ldquo;Elon Musk&rdquo;, &ldquo;founder of&rdquo;, &ldquo;SpaceX&rdquo;).
</li>
<li>
Retrieval dựa tr&ecirc;n triples cho ph&eacute;p hệ thống t&igrave;m kiếm hoặc reasoning theo quan hệ phức tạp, kh&ocirc;ng chỉ dựa tr&ecirc;n entity rời rạc.
</li>
<li>
Trong HippRAG2, retrieval c&oacute; thể theo dạng: &ldquo;T&igrave;m mọi c&ocirc;ng ty m&agrave; Elon Musk l&agrave; founder&rdquo;, điều n&agrave;y cần c&oacute; cả entity&nbsp;v&agrave;&nbsp;relation extraction.
</li>
</ul>
</li>
</ul>
Nếu bạn muốn retrieval thật sự MECE v&agrave; bao phủ cả khả năng HippRAG2 (retrieval theo triples), cần c&oacute;:
<ul>
<li>
Entity Retrieval: Truy vấn theo thực thể.
</li>
<li>
Relation/Triple Retrieval: Truy vấn theo quan hệ giữa entity (subject, predicate, object).
</li>
<li>
Embedding Retrieval: Truy vấn theo ngữ nghĩa tổng thể (vector similarity).
</li>
<li>
API/Other Retrieval: Bổ sung th&ocirc;ng tin ngo&agrave;i qua API hoặc external context.
</li>
</ul>
1:28:00 LLMs Ops tools
<img class="image--center mx-auto" src="https://cdn.hashnode.com/res/hashnode/image/upload/v1750826585563/6a7dc54a-0274-4c69-baca-b118971c9d58.png?auto=compress,format&amp;format=webp" loading="lazy"><button type="button" aria-label="Expand image" data-rmiz-btn-zoom=""></button>
1:46:40 Overall architechture
<img class="image--center mx-auto" src="https://cdn.hashnode.com/res/hashnode/image/upload/v1750826971777/57b6eab2-2724-4a1b-85ca-a107d4bf5898.png?auto=compress,format&amp;format=webp" loading="lazy">