← 所有分類
tech

tech

工程實作、架構設計、工具介紹與踩坑紀錄。

77 篇文章
類型
篩選
排序
概念解析

RAG 五階段:從流水線到會思考的檢索,以及我站上那個 Naive RAG

RAG 這兩年從『線性流水線』演化到『循環推理』,可以用五階段梳理:Naive、Advanced、Modular、Graph、Agentic。分水嶺是控制權從管線移交給 Agent,範式從 System 1 進到 System 2。回頭看 engineer-news 這個站的實作,其實還卡在 Naive RAG 邊界——這篇順便把它的下一步應該補什麼寫清楚。

深度解析

想蓋一個能用的 RAG:InfiniFlow 2024 年度總結給我的 5 個 infra 功課

上一篇拉高看 RAG 五階段全景,這篇拉近看實際想蓋一個 RAG 要面對的 5 個 infra 功課:文件入口解析、Chunking 上下文化、三路混合搜尋、Tensor Reranker、GraphRAG 語意鴻溝。每個功課都對照 engineer-news 現況,收尾給出對個人站的優先順序清單。

深度解析

J-lens:Anthropic 從『全域工作空間』找到 Claude 內在思考的可解釋性新工具

Anthropic 提出 J-lens,一種捕捉 Transformer 內部『可語言化』表示的可解釋性工具,並用它證實 Claude 內部存在類似神經科學『全域工作空間』的特權子空間——一小組向量對外廣播、驅動推理、可被使用者調控,也在欺騙與評估感知時洩漏訊號。

Harness Engineering(二):OpenAI 百萬行實驗與五個工程答案

OpenAI 三名工程師用 Codex 五個月產出百萬行程式碼、零手寫——這場實驗真正的價值不在數字,而在它證明了『Harness 設計』是可以工程化的。拆解五個具體實踐:讓 App 對 Agent 可見、倉庫即事實來源、架構約束機械化、合併哲學重寫、後台熵管理。

Harness Engineering(三):業界共識、四大支柱與落地三階段

把 Harness Engineering 從概念和標竿案例,收斂成你今天就能開始執行的東西:Agent 的四種固定翻車姿勢、上下文的 40% 甜蜜區間、業界收斂出的四大支柱框架,以及從『下午就能做』到『兩週後全自動化』的三階段路線圖——最後點出六大業界共識和三個至今無解的難題。

深度解析

Titans:讓模型在測試時記憶(論文分析重點整理)

Google Research 的 Titans 提出一種讓模型在測試時(推論期間)記憶的架構:把很長的文本切成好幾段,用記憶把前段學到的東西帶到後段,藉此突破 transformer 的 context window 限制。想法確實不錯,但論文裡不少被稱為「memory」的東西,其實是既有做法換了名字。

概念解析

高通的端側 AI 佈局:從手機、機器人到 6G,藏在 AI 週期水面下的贏家

當前沿大模型在水面上廝殺,高通在水面下靠通訊 + 晶片 + 端側 AI 的組合,成為 Physical AI 時代邊緣裝置的核心供應商。這篇整理自高通全球副總裁徐晧在「驍友會五週年」現場的對談,拆解高通對手機、機器人、汽車、XR 眼鏡、PC 與 6G 的佈局邏輯。

清單整理

五個不該存在但真的有人做出來的開源專案(The Code Report)

一支 The Code Report 影片盤點了一批「完全沒必要、卻美得莫名其妙」的開源專案:3D 旋轉老鼠游標的終端機、跑在 Tor 上的終端機電話、把上網變成 80 年代科幻恐怖片的擋廣告器、用 Rust 寫 CUDA 的 Nvidia 官方工具,還有把任何歌曲變成 Game Boy 芝麻音的合成器。

概念解析

SpaceX 招股書解讀:Anthropic 每月 12.5 億美元算力合約、18712 枚比特幣、馬斯克 85% 投票權

SpaceX 於 5/21 向 SEC 提交 S-1,計畫募資 750 億美元、上市當天市值上看 2 兆美元。招股書最大亮點不是星鏈,而是與 Anthropic 簽下每月 12.5 億美元、三年 450 億美元的算力合約,將取代星鏈成為最大單一收入來源;文件同時揭露 18712 枚比特幣,以及馬斯克約 85% 投票權的極端治理結構。

概念解析

機器人的資料荒漠:四層資料金字塔,與真機資料為什麼這麼貴

機器人的瓶頸不在模型而在資料,因為動作資料網路上不存在、必須人工採集。業界用『遙操 / 仿真 / 動捕 / 影片』四層金字塔混搭,各有品質與規模的取捨;本文以《硅谷101》走訪上海數採工廠與多家機器人公司的內容,拆解每一層的技術現況與難題。

研究筆記

AI 影片的動作為什麼總是怪怪的?答案不是更多資料,而是更少

用 optical flow 把『動作』從『外觀』中分離,並把它套在 AI 的內部學習訊號上,就能反查某個動作是從哪些訓練影片學來的;再用 Johnson–Lindenstrauss 投影把十億級參數壓到 512 維讓比對變得可行。最後剔除教壞模型的爛資料、用乾淨資料微調,動作品質在使用者研究中拿下 74.1% 勝率。

概念解析

Sakana AI 的神經細胞自動機:當你扮演神,規則決定誰生誰死

Sakana AI(東京)做了一個讓你扮演神的數位生態模擬器:一個會學習、會攻防的神經細胞自動機格子世界。你不控制單一生物,只調整環境規則,就能決定整個生態系是滅絕、是脆弱繁榮、還是穩定共存——展示了規則如何徹底形塑系統命運。