這篇文章說明：

如何從軟體工程師/數據分析師/數據科學家轉變為AI工程師的路徑。

成為AI工程師所需的技能。

在發展這些技能時應學習的範例工具。

發展這些技能的最佳方法。

讓我們先來揭示這條路徑！

成為AI工程師的路徑 🧭

AI工程師路徑，原文由Harshit Tyagi撰寫，再加上自己的內容。

首先要明白的事情！

適合誰？

軟體開發工程師/數據分析師/數據科學家，計劃提升AI工程技能。

由於這是一項核心工程技能，因此需要具備以下前置條件：

中等程度的Python/JS編程理解。

理想情況下，您至少有開發2-3個中等複雜度應用程式的經驗，例如使用Flask或Node.js開發的自己網站。

至少能夠閱讀文件進行構建。

熟悉在VS Code中編寫代碼。

雖然git和GitHub的操作很重要，但可以在項目中學習。

分解這條路徑

我把整個AI工程路徑分成三個階段，如圖所示，您從左到右依次進行，即從初級到中級再到高級。

每個階段的代表內容如下：

初級（<= 1個月）

—— 建立基本應用以學習使用LLM API，為您的應用仔細設計提示，並與開源LLM一起工作。

中級（約2個月）

—— 深入構建更多上下文感知的高級應用，使用RAG。學習向量數據庫及其應用。學習使用LLM和工具構建代理。

高級（約3個月）

—— 精通應用構建後，學習在生產環境中部署、優化和管理LLM驅動的應用，使用LLMOps。學習微調預訓練模型，使其適應下游應用，以低成本高效運行。

初級技能如下：

理解LLM的基本原理——您只需要知道ChatGPT的高層次運作方式。

學習開發者的Prompt Engineering。如何編寫提示以改進LLM的回應。

學習從API消費數據，學習處理JSON數據。

此為我的範例：

https://github.com/chuangtc/report-cruncher

學習調用封閉和開源的LLM模型，函數調用、傳遞提示和解析回應。

學習管理對話中的上下文空間。

學習創建和自動化一系列操作——使用langchain的鏈。

使用Gradio或Streamlit進行POC和演示的基本應用開發。

此為我的範例：

https://github.com/aidatatools/LLM_Sentinel

部署您的應用以使其可訪問——在HuggingFace Space或Streamlit cloud上進行基本部署。

使用HuggingFace變壓器庫進行多模態生成——代碼、圖像、音頻。

中級項目需要：

理解向量嵌入和向量數據庫。

學習如何在應用中使用向量數據庫。

構建檢索增強生成（RAG）——與您的知識庫對話。

開發高級RAG管道，例如可以在多個數據源中查找後提供回應的子問題查詢引擎。

構建代理——完成大任務的迭代工作流。

構建多代理應用，其中多個代理協同工作以提供更好的解決方案。

使用多個代理進行自動化——Autogen和Crew AI。

評估RAG——RAGAs框架。

管理數據庫、檢索、部署完整應用、版本控制、日誌記錄和監控模型行為。

高級項目需要您：

為特定領域的知識和定制回應微調預訓練LLM，例如醫學研究、金融研究、法律分析。

策劃數據集並為模型微調設計（ETL管道）管道。

評估和基準測試模型性能。

LLMOps——建立完整的端到端管道，包括模型註冊、可觀察性和自動化測試。

構建多模態應用——文本和圖像的混合語義搜索。

構建SDK、軟體包和自定義解決方案以支持其他開發者。

使用提示破解等技術保護您的AI應用，並通過檢查漏洞和潛在風險來納入防禦措施。

如何發展這些技能？

學習資源、參考資料和項目 📚

AI領域充滿了學習資源和教程。

臉書推薦追蹤：陳南宗、張文鈿

LinkedIn 推薦追蹤：Gina Acosta Gutiérrez

有很多很好的資源來學習所有這些概念，也有很多專家在這些主題上發布了非常深入和詳細的材料。

最好的學習方式——實踐項目！

我們已經了解了我們需要做什麼，現在讓我們來談談最佳做法。

進行項目

這不僅是學習而且是真正掌握這些概念的最佳方式。這將進一步磨練您思考尖端用例的技能。

除了學習外，AI社群每天都有很多公告和新發展，許多人正在尋找有趣的用例並開發有趣的產品，這些可能會引起您的興趣。

參加短期的比賽黑客松Hackathon

如下來練功：

https://lablab.ai

https://www.nvidia.com/en-us/ai-data-science/generative-ai/developer-contest-with-langchain/

Buy Jason TC Chuang a coffee

About Jason TC Chuang

Creating Technology Tutorial and Ollama Benchmark (for Local LLMs)

轉變為AI工程師的路徑

Ollama v0.1.27 AI benchmark