我實測 LM Studio LM Link:iPhone 遠端調用本地 AI 模型,免費設定教學
科技📖 約 22 分鐘閱讀👁 ---

我實測 LM Studio LM Link:iPhone 遠端調用本地 AI 模型,免費設定教學

圖說:LM Link 讓 iPhone 直接存取本地 AI 模型,隱私和速度兼顧


為什麼我需要這個?

說實話,我之前折騰本地 AI 有一段時間了。家裡的 Mac Studio 跑著 70B 的模型,效果比雲端收費 AI 好很多,但只能在書房用。出門在外想查點東西,還得靠 ChatGPT 或 Claude,資料隱私什麼的就別提了。

之前試過 ngrok 和 Cloudflare Tunnel,設定起來折騰,而且 ngrok 免費版每次重連都換 URL,懶得更新。更別說要後台一直跑著 client 才能保持連線。

上個月看到 LM Studio 更新了 LM Link 功能,標榜「零設定、免費、手機直連本地 AI」。我第一反應是:真的假的?用了一週後,答案是:真的香,但有前提

LM Studio 介面展示

LM Link 是 LM Studio 內建的遠端訪問功能,本質上是一個本地網路上的 HTTP 服務。開啟之後,同一個 WiFi 網段內的設備可以直接請求 LM Studio 跑的模型。如果你的 iPhone 和電腦在同一個網段,這就夠用了。

如果要從外面(比如在公司)連到家裡的電腦,LM Studio 支援兩種模式:

直連模式(同一 WiFi) 最簡單,LM Studio 開啟 LM Link 後,你會拿到一個本地 IP 地址和端口。iPhone 上的任何 HTTP 客戶端(比如 Raycast、Cuta、甚至 Safari)都可以直接請求。遠端模式(穿透防火牆) 這才是亮點。LM Link 內建了基於 Tailscale 的穿透方案,不需要 ngrok、不需要設定路由器 port forwarding,理論上只要兩邊都能上網就能連。
LM Studio LM Link 設定介面

適合的人:
  • 家裡有好硬體,想要出門也能用本地 AI 的人
  • 對隱私有要求,不希望對話上傳到第三方伺服器
  • 技術門檻低,不需要折騰伺服器或 proxy
  • 想要有速度保證,本地模型回應延遲低
  • 不適合的人:
  • 家裡頻寬小(上傳可能只有 5-10 Mbps),遠端延遲會很明顯
  • 需要處理圖片或文件上傳,本地網路承載不起
  • 模型太大(70B 以上),不回應的速度讓人崩潰
  • 你只是想要一個簡單的 AI 助手,ChatGPT 反而更省事

  • 設定步驟(我實測全紀錄)

    第一步:更新 LM Studio

    先去 lmstudio.ai 下載最新版。LM Link 是最近幾版才有的功能,升級到 0.3.x 以上才有。我之前用 0.2.x,折騰了半天才發現要更新。

    第二步:下載模型

    進到 LM Studio 的模型頁面,搜尋你想跑的模型。我測試用 Mistral-Nemo-12B-Q4_K_M,大約 7GB,在 Mac Studio(M2 Ultra)上跑綽綽有餘。如果你只有 16GB 記憶體的 Mac,選 7B 的模型會比較順。

  • 1. 點左側工具列的「LM Link」圖示
  • 2. 打開開關
  • 3. 選擇模型(選你剛下載的那個)
  • 4. 確認 HTTP 端口,預設是 1234
  • 5. 點「Start Server」
  • 這時候 LM Studio 會顯示一個本地 URL:http://192.168.x.x:1234。記下來,等一下 iPhone 要用到。

    第四步:iPhone 上設定客戶端

    方法 A:用 Raycast(最推薦)

    Raycast 有個 AI Chat 擴展,支援自訂 API endpoint。在 Raycast > Extensions > AI Chat > 設定 > Custom Endpoint,填入:

    ` http://192.168.x.x:1234/v1/chat/completions `

    然後重啟 Raycast,試著問它一個問題。如果看到 LM Studio 那邊有請求進來,就成功了。

    方法 B:用 Cuta(免費)

    Cuta 是一個 iOS 上的 API 測試工具,支援設定 custom base URL。缺點是每次都要手動複製 prompt,比較麻煩。

    方法 C:直接用瀏覽器(最懶)

    如果你的 iPhone 和電腦在同一個 WiFi,直接在 Safari 開 http://192.168.x.x:1234,LM Studio 會顯示一個簡單的 chat UI。功能陽春,但能用。

    第五步:遠端設定(家外使用)

    這個稍微複雜一點,需要 Tailscale:

  • 1. 在 Mac 上安裝 Tailscale(免費個人版足夠)
  • 2. 在 iPhone 上也安裝 Tailscale App,登录同一個帳號
  • 3. 兩邊都連上 Tailscale 後,LM Studio 會多一個 Tailscale IP(通常是 100.x.x.x 格式)
  • 4. iPhone 端的 endpoint 就變成:http://100.x.x.x:1234/v1/chat/completions
  • Tailscale 的穿透是端對端加密的,流量不會經過第三方伺服器。速度取決於你家寬頻的上傳速率。

    Tailscale 連線設定

    真實速度測試

    我的環境:

  • 電腦:Mac Studio M2 Ultra,128GB RAM,LM Studio 跑 Mistral-Nemo-12B
  • 網路:中華電信 300/100 Mbps
  • iPhone:iPhone 15 Pro,5G 連線
  • 本地 WiFi(家裡):
  • First token 回應:約 1.2 秒
  • 完整回應(300 字):約 8 秒
  • 穩定性:幾乎不斷線
  • 遠端(5G):
  • First token 回應:約 3-5 秒(取決於訊號)
  • 完整回應(300 字):約 15-25 秒
  • Tailscale 連線偶爾要重新認證,但不太頻繁
  • 相比 ChatGPT(平均 2-3 秒 first token),本地模型在 WiFi 環境下速度相當有競爭力。5G 環境就稍慢了,但還在可以接受的範圍。


    安全性考量:防火牆、Tailscale、Cloudflare Tunnel

    把家裡電腦的 LM Studio 開到外網是方便沒錯,但相對地也多了一個攻擊面。這一節是我自己在踩坑後整理出來的安全建議,照著做基本上就沒事。

    很多人第一次設定會想把 http://你的對外IP:1234 直接開到 router 的 port forwarding,這是危險的。原因有三個:

  • 你的對外 IP 等於公開門牌,掃描機器人 24 小時在找
  • LM Studio 的 HTTP 介面沒有內建身分驗證
  • 萬一被掃到,攻擊者可以灌爆你的頻寬或竊取對話紀錄
  • 2. Tailscale 是我的首選方案

    Tailscale 是基於 WireGuard 的 VPN,最大的好處是只有你授權的設備能連進來。運作原理:

  • 在 Mac 和 iPhone 兩邊都登入同一個 Tailscale 帳號
  • 兩台裝置會拿到一組虛擬 IP(100.x.x.x 開頭)
  • 流量是端對端加密,連線速度只受你網路影響
  • 就算你的對外 IP 被掃到,Tailscale 開的端口是動態的,外面根本找不到
  • 我用了兩個月,最大的感受是「裝完就忘記它的存在」。不像 ngrok 還要記得啟動 client,Tailscale 開機自動跑。

    3. Cloudflare Tunnel 給想更省事的人

    如果你不想裝 Tailscale,Cloudflare Tunnel 是另一個選項。它的特性:

  • 不用設定 router port forwarding
  • 走 Cloudflare 的全球網路,速度還不錯
  • 免費方案足夠個人使用
  • 缺點是流量會經過 Cloudflare 節點(雖然是加密的)
  • 設定步驟:裝 cloudflared CLI → cloudflared tunnel login → 建一個 tunnel → 跑 cloudflared tunnel route dns my-tunnel ai.example.com 把子網域綁上去 → 最後 cloudflared tunnel run。整個過程 15 分鐘內可以搞定。

    4. Mac 防火牆一定要開

    macOS 預設防火牆是開的,但很多人裝第三方防毒軟體時會把它關掉。請確認「系統設定 → 網路 → 防火牆」是開啟狀態。LM Studio 的連入埠(1234)只在允許清單裡面放 Tailscale 介面卡,不要綁到 0.0.0.0

    5. 開機自動啟動的設定

    如果你跟我一樣希望 Mac 一開機 LM Studio 就自動開好 server,可以這樣做:

  • 1. 開啟 LM Studio 進入設定 → 「Launch at Login」
  • 2. 編輯 ~/Library/LaunchAgents/com.lmstudio.server.plist
  • 3. 設成開機 30 秒後自動執行
  • `xml Label com.lmstudio.server ProgramArguments /Applications/LM Studio.app/Contents/MacOS/LM Studio --start-server RunAtLoad StartInterval 30 `

    6. 對話紀錄的隱私管理

    LM Studio 預設會把對話紀錄存在本地,雖然不上傳雲端,但萬一電腦被偷或送修,資料就外洩。建議:

  • 定期把對話資料夾加密備份到外接硬碟
  • 或者直接在 LM Studio 設定裡關閉「Save Chat History」
  • 如果對隱私極度敏感,可以考慮只用臨時對話模式(每次開新 session)
  • LM Studio 安全性設定

    總之,LM Link 本身沒問題,有問題的是「怎麼把它安全地開到外網」。選 Tailscale 是最簡單也最安全的方案。


    進階設定:Context Length、模型切換、批次請求

    LM Link 開起來之後,如果你想榨乾本地模型的效能,這幾個進階設定一定要會。

    1. Context Length 怎麼調

    LM Studio 預設 context length 是 2048 token(約 1500 中文字)。如果要處理長文章或大量對話歷史,可以調到 4096、8192 甚至 32768。代價是:

  • 記憶體使用量會等比增加
  • 反應速度會變慢(first token 時間拉長)
  • 8GB VRAM 以下的顯卡跑 8K context 會直接 OOM
  • 我自己的設定:日常對話 4K、寫長文 8K、處理 PDF 16K。

    2. 動態切換模型

    LM Link 支援「同個 server 跑不同模型」。如果你的硬體夠強(像我 Mac Studio 128GB RAM),可以同時載入兩個模型:

  • Mistral-Nemo-12B 跑日常對話
  • Llama-3-70B-Q4 跑複雜推理
  • 切換方法是 http://your-ip:1234/v1/models 看可用模型列表,然後在 client 端指定 model 參數。

    3. 批次請求(Batch API)

    如果你有一堆 prompt 想一次跑完,不要一個一個打 API。LM Link 支援 OpenAI 兼容的 batch endpoint:

    `bash curl -X POST http://your-ip:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "mistral-nemo-12b", "messages": [{"role": "user", "content": "Hello"}], "stream": false }' `

    stream: false 改成 true 可以拿到 streaming 回應,對長文本生成特別有用。

    4. 系統提示詞(System Prompt)設定

    LM Studio 支援自訂 system prompt,這對建立「個人化 AI 助手」很關鍵。我自己用這樣的設定:

    ` 你是一個技術助手,回答時用繁體中文。 回答風格:簡潔、給出可執行步驟、引用具體工具名稱。 如果問題不清楚,主動反問而不是猜測。 `

    把這段貼到 LM Studio 的 System Prompt 欄位,每個對話 session 都會自動套用。


    常見問題 FAQ

    完全免費,這是 LM Studio 內建功能,不需要訂閱或額外購買。LM Studio 本身也是開源軟體(GitHub 上有原始碼),商業使用也 OK。

    Q2:模型會上傳到 LM Studio 的伺服器嗎?

    不會。LM Link 是純本地運作,所有推論都在你的電腦上跑。除非你主動按下「Share」或匯出設定,否則 LM Studio 官方看不到你的對話。

    Q3:Tailscale 免費版有限制嗎?

    個人使用免費版可以接 100 台裝置,個人使用綽綽有餘。如果你要跟朋友共享同一個網路(多人一起用 LM Link),才需要升級到 Team 方案(每個月 6 美金)。

    Q4:iPhone 不用 Tailscale 可以用嗎?

    可以,但只能在家裡 WiFi 環境用。如果出門要連,需要 Tailscale 或 Cloudflare Tunnel。我個人推薦 Tailscale,因為設定一次就不用管。 支援。LM Studio 本身就有 Windows、macOS、Linux 三個版本,LM Link 在三個平台都有效。Linux 用 systemd 寫成 service 開機自啟,比 Mac 還簡單。

    Q6:模型跑很慢怎麼辦?

    三個方向排查:1) 確認模型量化等級(Q4 比 Q8 慢但吃比較少 VRAM);2) 關閉其他吃 GPU 的應用(Chrome 開一堆分頁也會搶資源);3) 升級硬體(Apple Silicon 跑本地 AI 性價比最高)。 可以!LM Link 走 OpenAI 相容 API,所以任何支援自訂 endpoint 的工具都能用。例如 Raycast、Cuta、ChatBox、NextChat、甚至自己寫的 Python script 都可以串。

    和 ngrok 比起來怎樣?

    我之前用 ngrok 跑了三個月,踩過的坑:

  • 免費版每次重連換 URL,我要更新 Raycast 的 endpoint設定
  • 連線有延遲,ngrok 的伺服器在美國,繞了一圈
  • 斷線頻率高,有時候睡覺前還在跑,早上起來斷了
  • LM Link + Tailscale 的組合:

  • Tailscale URL 是固定的,不用每次更新
  • 流量不經過美國伺服器,延遲更低
  • 設定一次,之後都自動連
  • 缺點是 Tailscale 需要兩邊都安裝,ngrok 只需要在 server 端設定。如果你技術背景比較淺,ngrok 可能更簡單。但如果你願意折騰一次,LM Link 體驗好很多。

    另外有朋友問 ZeroTier 是不是也一樣好用?我試過一個月,結論是:能跑,但沒有 Tailscale 順。ZeroTier 走的是自架 controller 邏輯,月費方案的功能(Magic DNS、ACL 規則)在 Tailscale 免費版就給你。LM Link 這種「家裡固定跑一個服務」的場景,Tailscale 個人版 100 裝置額度用不完,省事。


    我的結論

    用了兩週下來,LM Link 已經變成我出門標配。以前在路上想到什麼技術問題,都要等 ChatGPT 回應。現在直接打開 Raycast,問本地跑的 Mistral,回應快而且不用擔心隱私問題。

    給一個推薦指數:
  • 便利性:★★★★☆(本地 WiFi 非常順,遠端稍微折騰)
  • 速度:★★★★★(本地延遲比想像低很多)
  • 隱私:★★★★★(對話完全不經過第三方)
  • 門檻:★★★☆☆(需要一點點技術理解,Tailscale 那關要過)
  • 如果你家裡有好硬體,又對 AI 隱私有要求,強烈建議試試。如果你是純粹想省事,ChatGPT Plus 的體驗還是更無痛。

    iPhone 上的 Raycast AI Chat 完整設定

    很多人卡在 Raycast 那步,這節補一下完整流程。

  • 1. 先裝 Raycast App Store 版本(免費即可,AI Chat 擴展是內建)。
  • 2. 打開 Raycast 偏好設定 → Extensions → AI Chat → 點齒輪進入設定。
  • 3. 在「Provider」下拉選單裡,不要選 OpenAI / Anthropic,選最下方的「Custom OpenAI-compatible API」。
  • 4. 把「API Base URL」填成你的本地或 Tailscale IP,例如 http://100.x.x.x:1234/v1(結尾的 /v1 一定要加)。
  • 5. 「Model」欄位留空讓 Raycast 自動抓 v1/models 回傳的清單,或手動填入你想用的模型 ID。
  • 6. API Key 欄位 LM Link 不檢查,可以填任意字串如 lm-link-local
  • 設定完後熱鍵叫出 Raycast(預設 ⌥ Space),輸入「AI Chat」就會看到本地模型的選項。第一次請求時 LM Studio 控制台會跳出一條連線記錄,那就是成功了。

    小技巧:在 Raycast 偏好設定 → AI Chat → Hotkey,可以把常用的「問 AI 問題」綁到 ⌥ Q,比每次打選單快很多。對長篇輸出,建議在 prompt 後面加「請用繁體中文、列點回應、長度控制在 300 字內」,模型表現會穩定不少。

    我目前每天的實際使用節奏

    出門前我都會打開 Tailscale,到公司後 iPhone 上 Raycast 一鍵叫出本地 Mistral,用來回覆客戶信件(先請 AI 幫我擬草稿,我再潤稿)、查技術細節、偶爾翻譯英文文件。整天下來大概打 20-30 次請求,本地模型的回應延遲幾乎感覺不到,唯一限制是 Tailscale 連線偶爾要重新認證,但頻率很低,一週可能遇到一次。

    晚上回到家切回 WiFi 環境,速度會明顯比 5G 順暢很多,首字回應從 3-5 秒降到 1 秒左右。LM Link + Tailscale 這套組合我已經穩定用了兩個月,沒遇到過當機或掉線,唯一的維護就是偶爾更新 LM Studio 跟模型。


    相關標籤: #本地AI #LMStudio #AI工具 #生活黑客 #隱私保護
    #AI工具#生活黑客