轉變為AI工程師的路徑

轉變為AI工程師的路徑

Jul 10, 2024

image

這篇文章說明:

如何從軟體工程師/數據分析師/數據科學家轉變為AI工程師的路徑。

成為AI工程師所需的技能。

在發展這些技能時應學習的範例工具。

發展這些技能的最佳方法。

讓我們先來揭示這條路徑!

成為AI工程師的路徑 🧭

AI工程師路徑,原文由Harshit Tyagi撰寫,再加上自己的內容。

首先要明白的事情!

適合誰?

軟體開發工程師/數據分析師/數據科學家,計劃提升AI工程技能。

由於這是一項核心工程技能,因此需要具備以下前置條件:

中等程度的Python/JS編程理解。

理想情況下,您至少有開發2-3個中等複雜度應用程式的經驗,例如使用Flask或Node.js開發的自己網站。

至少能夠閱讀文件進行構建。

熟悉在VS Code中編寫代碼。

雖然git和GitHub的操作很重要,但可以在項目中學習。

分解這條路徑

我把整個AI工程路徑分成三個階段,如圖所示,您從左到右依次進行,即從初級到中級再到高級。

image

每個階段的代表內容如下:

初級(<= 1個月)

—— 建立基本應用以學習使用LLM API,為您的應用仔細設計提示,並與開源LLM一起工作。

中級(約2個月)

—— 深入構建更多上下文感知的高級應用,使用RAG。學習向量數據庫及其應用。學習使用LLM和工具構建代理。

高級(約3個月)

—— 精通應用構建後,學習在生產環境中部署、優化和管理LLM驅動的應用,使用LLMOps。學習微調預訓練模型,使其適應下游應用,以低成本高效運行。

初級技能如下:

理解LLM的基本原理——您只需要知道ChatGPT的高層次運作方式。

學習開發者的Prompt Engineering。如何編寫提示以改進LLM的回應。

學習從API消費數據,學習處理JSON數據。

此為我的範例:

https://github.com/chuangtc/report-cruncher

學習調用封閉和開源的LLM模型,函數調用、傳遞提示和解析回應。

學習管理對話中的上下文空間。

學習創建和自動化一系列操作——使用langchain的鏈。

使用Gradio或Streamlit進行POC和演示的基本應用開發。

此為我的範例:

https://github.com/aidatatools/LLM_Sentinel

部署您的應用以使其可訪問——在HuggingFace Space或Streamlit cloud上進行基本部署。

使用HuggingFace變壓器庫進行多模態生成——代碼、圖像、音頻。

中級項目需要:

理解向量嵌入和向量數據庫。

學習如何在應用中使用向量數據庫。

構建檢索增強生成(RAG)——與您的知識庫對話。

開發高級RAG管道,例如可以在多個數據源中查找後提供回應的子問題查詢引擎。

構建代理——完成大任務的迭代工作流。

構建多代理應用,其中多個代理協同工作以提供更好的解決方案。

使用多個代理進行自動化——Autogen和Crew AI。

評估RAG——RAGAs框架。

管理數據庫、檢索、部署完整應用、版本控制、日誌記錄和監控模型行為。

高級項目需要您:

為特定領域的知識和定制回應微調預訓練LLM,例如醫學研究、金融研究、法律分析。

策劃數據集並為模型微調設計(ETL管道)管道。

評估和基準測試模型性能。

LLMOps——建立完整的端到端管道,包括模型註冊、可觀察性和自動化測試。

構建多模態應用——文本和圖像的混合語義搜索。

構建SDK、軟體包和自定義解決方案以支持其他開發者。

使用提示破解等技術保護您的AI應用,並通過檢查漏洞和潛在風險來納入防禦措施。

如何發展這些技能?

學習資源、參考資料和項目 📚

AI領域充滿了學習資源和教程。

臉書推薦追蹤:陳南宗、張文鈿

LinkedIn 推薦追蹤:Gina Acosta Gutiérrez

有很多很好的資源來學習所有這些概念,也有很多專家在這些主題上發布了非常深入和詳細的材料。

最好的學習方式——實踐項目!

我們已經了解了我們需要做什麼,現在讓我們來談談最佳做法。

進行項目

這不僅是學習而且是真正掌握這些概念的最佳方式。這將進一步磨練您思考尖端用例的技能。

除了學習外,AI社群每天都有很多公告和新發展,許多人正在尋找有趣的用例並開發有趣的產品,這些可能會引起您的興趣。

參加短期的比賽黑客松Hackathon

如下來練功:

https://lablab.ai

https://www.nvidia.com/en-us/ai-data-science/generative-ai/developer-contest-with-langchain/

¿Te gusta esta publicación?

Comprar Jason TC Chuang un café

Más de Jason TC Chuang