簡(jiǎn)介本資源是一套基于C# Socket實(shí)現(xiàn)TCP大文件傳輸并支持?jǐn)帱c(diǎn)續(xù)傳的完整工程實(shí)踐方案面向.NET開發(fā)初學(xué)者及網(wǎng)絡(luò)編程進(jìn)階者解決大文件可靠傳輸、異?；謴?fù)與連接穩(wěn)定性等實(shí)際工程痛點(diǎn)。壓縮包共73個(gè)文件含27個(gè)核心C#源碼文件涵蓋服務(wù)端/客戶端通信邏輯、分塊讀寫、進(jìn)度記錄與重試機(jī)制、6個(gè)可執(zhí)行exe程序、6個(gè)配置文件用于端口、路徑、超時(shí)參數(shù)定制、4個(gè)文本說明文檔及若干編譯產(chǎn)物pdb、resources、resx等整體僅190KB輕量易部署。已有965人學(xué)習(xí)下載代碼結(jié)構(gòu)清晰包含F(xiàn)ileTransferServer與FileTransferClient雙項(xiàng)目支持異步通信、SSL加密擴(kuò)展與心跳?；钤O(shè)計(jì)讀者可直接運(yùn)行調(diào)試、理解斷點(diǎn)續(xù)傳狀態(tài)管理原理并基于現(xiàn)有框架快速集成至企業(yè)級(jí)文件同步系統(tǒng)或內(nèi)網(wǎng)傳輸工具中。1. C# Socket TCP 大文件傳輸為什么斷點(diǎn)續(xù)傳不是“加個(gè) offset 就完事”你手頭有個(gè) 2.3GB 的工業(yè)相機(jī)原始圖像包要從上位機(jī)推送到邊緣網(wǎng)關(guān)或者產(chǎn)線 PLC 日志歸檔文件動(dòng)輒幾百 MB網(wǎng)絡(luò)偶爾抖動(dòng)、交換機(jī)端口重置、USB 轉(zhuǎn)以太網(wǎng)適配器熱插拔——這時(shí)候用FileStream.Read()NetworkStream.Write()一把梭十次傳輸八次失敗重傳就得從頭再來。這不是性能問題是工程可靠性塌方。這個(gè)資源不是教你怎么寫第一個(gè)TcpClient的 Hello World而是把「C# Socket TCP 大文件傳輸 斷點(diǎn)續(xù)傳」拆成可落地的黑盒它用原生Socket非TcpClient封裝直控連接生命周期用文件塊哈希校驗(yàn)偏移量原子記錄實(shí)現(xiàn)斷點(diǎn)狀態(tài)持久化支持 4GB 文件繞過int偏移上限且在 Windows Server 2016/2019 實(shí)際產(chǎn)線環(huán)境跑滿千兆內(nèi)網(wǎng)帶寬實(shí)測(cè)穩(wěn)定 92MB/s。適合做上位機(jī)、設(shè)備數(shù)據(jù)采集、工控協(xié)議橋接的 C# 工程師——尤其當(dāng)你被 QA 抓著問“斷電重啟后怎么保證日志不丟”時(shí)這份代碼就是你的后悔藥。2. 斷點(diǎn)續(xù)傳核心機(jī)制狀態(tài)持久化、塊校驗(yàn)與偏移同步三件套2.1 為什么不用 TcpClientSocket 層級(jí)控制才是斷點(diǎn)續(xù)傳的命門TcpClient封裝了底層Socket但代價(jià)是丟失對(duì)連接異常的細(xì)粒度感知能力。比如SocketError.ConnectionReset和SocketError.TimedOut在TcpClient.GetStream()中會(huì)被吞掉轉(zhuǎn)成泛化的IOException你根本分不清是對(duì)方主動(dòng)斷連還是中間網(wǎng)絡(luò)設(shè)備靜默丟包。而斷點(diǎn)續(xù)傳的第一步就是精準(zhǔn)判斷“這次失敗能不能續(xù)”不能續(xù)的必須清狀態(tài)重來。// ? 正確做法用 raw Socket 捕獲具體錯(cuò)誤碼 try { int sent socket.Send(buffer, 0, length, SocketFlags.None); } catch (SocketException ex) when (ex.SocketErrorCode SocketError.ConnectionReset) { // 對(duì)方已關(guān)閉連接 → 可安全續(xù)傳 Log.Warn(Remote closed connection, resuming from offset {0}, currentOffset); ResumeTransfer(); } catch (SocketException ex) when (ex.SocketErrorCode SocketError.TimedOut) { // 本端超時(shí) → 網(wǎng)絡(luò)不穩(wěn)定需重試當(dāng)前塊不更新offset Log.Error(Send timeout at offset {0}, retrying block, currentOffset); RetryCurrentBlock(); }提示SocketFlags.None是關(guān)鍵。不要用SocketFlags.Partial—— 它會(huì)讓Send()返回實(shí)際發(fā)送字節(jié)數(shù)小于請(qǐng)求長(zhǎng)度時(shí)仍不拋異常導(dǎo)致你誤判塊已發(fā)完后續(xù)校驗(yàn)必然失敗。2.2 斷點(diǎn)狀態(tài)文件設(shè)計(jì)JSON 原子寫入拒絕 .tmp 后綴玄學(xué)狀態(tài)文件不是簡(jiǎn)單存?zhèn)€long offset。它必須包含文件唯一標(biāo)識(shí)SHA256 文件頭、已傳輸塊列表含每塊 MD5、最后成功偏移、時(shí)間戳、傳輸會(huì)話 ID。否則多客戶端并發(fā)上傳同名文件時(shí)狀態(tài)會(huì)互相覆蓋。{ fileId: a1b2c3d4e5f67890..., fileName: PLC_LOG_20240520.bin, totalSize: 2415919104, blocks: [ { offset: 0, size: 65536, hash: e3b0c442... }, { offset: 65536, size: 65536, hash: 9e107d9d... } ], lastOffset: 131072, sessionId: 20240520-1423-abcde, updatedAt: 2024-05-20T14:23:45Z }狀態(tài)寫入必須原子先寫到state.json.tmp再File.Move()覆蓋原文件。Windows 下Move是原子操作Linux 需用File.Replace()。血淚經(jīng)驗(yàn)曾因直接File.WriteAllText()導(dǎo)致狀態(tài)文件寫到一半進(jìn)程崩潰下次啟動(dòng)讀到半截 JSON 直接JsonException整個(gè)傳輸卡死。2.3 分塊策略64KB 是黃金尺寸別碰 1MB 以上大塊塊大小直接影響內(nèi)存占用、網(wǎng)絡(luò)重傳粒度和磁盤 I/O 效率。測(cè)試數(shù)據(jù)千兆內(nèi)網(wǎng)Win10 x64SSD塊大小單塊傳輸耗時(shí)內(nèi)存峰值斷點(diǎn)恢復(fù)速度重傳損失8KB0.8ms12MB100ms極小64KB1.2ms15MB80ms最優(yōu)平衡1MB15.3ms128MB500ms一次丟 1MB注意64KB 不是拍腦袋定的。TCP MSSMaximum Segment Size在局域網(wǎng)通常為 1448 字節(jié)64KB ≈ 44 個(gè)滿載 TCP 包剛好填滿典型網(wǎng)卡發(fā)送隊(duì)列避免頻繁中斷。超過 1MB 會(huì)導(dǎo)致Socket.Send()阻塞時(shí)間不可控且單塊校驗(yàn)失敗就得重傳全部。3. 客戶端傳輸引擎三次握手后立即協(xié)商斷點(diǎn)拒絕盲傳3.1 握手協(xié)議設(shè)計(jì)4 字節(jié) magic 16 字節(jié) fileId 8 字節(jié) lastOffsetTCP 連接建立后客戶端第一幀不發(fā)文件數(shù)據(jù)而是發(fā)協(xié)商報(bào)文// 協(xié)商報(bào)文結(jié)構(gòu)Big Endian // [4B magic: 0x43534654] [16B fileId] [8B lastOffset] [1B resumeFlag] byte[] handshake new byte[29]; BitConverter.GetBytes(0x43534654).CopyTo(handshake, 0); // CSFT ASCII Encoding.UTF8.GetBytes(fileId.Substring(0, 16)).CopyTo(handshake, 4); BitConverter.GetBytes(IPAddress.HostToNetworkOrder(lastOffset)).CopyTo(handshake, 20); handshake[28] (byte)(canResume ? 1 : 0); socket.Send(handshake);服務(wù)端收到后查本地狀態(tài)文件若fileId匹配且lastOffset 0→ 回復(fù)ACK并跳轉(zhuǎn)到lastOffset若fileId不匹配或lastOffset 0→ 回復(fù)NACK強(qiáng)制從頭傳。關(guān)鍵邏輯IPAddress.HostToNetworkOrder()必須顯式調(diào)用x64 Windows 默認(rèn) Little Endian服務(wù)端若用BitConverter.ToInt64()直接讀64KB 偏移會(huì)被解析成0x0000000000010000→ 65536而實(shí)際是0x0000000000000001→ 1偏移錯(cuò)位直接導(dǎo)致文件損壞。3.2 發(fā)送循環(huán)異步 Send 同步校驗(yàn)雙保險(xiǎn)防粘包private async Taskbool SendBlockAsync(long offset, int blockSize) { // 1. 讀取文件塊 byte[] block new byte[blockSize]; using (var fs new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, FileOptions.SequentialScan)) { await fs.ReadAsync(block, 0, blockSize, cancellationToken); } // 2. 計(jì)算塊哈希MD5輕量 string blockHash ComputeMd5(block); // 3. 發(fā)送4B size 32B hash data byte[] header new byte[36]; BitConverter.GetBytes(IPAddress.HostToNetworkOrder(block.Length)).CopyTo(header, 0); Encoding.UTF8.GetBytes(blockHash).CopyTo(header, 4); var sendBuffer new byte[header.Length block.Length]; header.CopyTo(sendBuffer, 0); block.CopyTo(sendBuffer, header.Length); try { await socket.SendAsync(new ArraySegmentbyte(sendBuffer), SocketFlags.None, cancellationToken); // 4. 等待服務(wù)端 ACK超時(shí) 5s if (!await WaitForAckAsync(cancellationToken)) return false; // 5. 更新本地狀態(tài)原子寫 UpdateStateFile(offset blockSize, blockHash, offset); return true; } catch (OperationCanceledException) { throw; } catch (Exception ex) { Log.Error(ex, Send block failed at offset {0}, offset); return false; } }參數(shù)說明FileOptions.SequentialScan告訴 Windows 內(nèi)核這是順序讀禁用預(yù)讀緩存避免大文件讀取時(shí)吃光內(nèi)存WaitForAckAsync()用Socket.ReceiveAsync()非阻塞等待 1 字節(jié) ACK比Receive()更可控。4. 服務(wù)端接收引擎邊收邊驗(yàn)、落盤即校驗(yàn)、狀態(tài)實(shí)時(shí)刷盤4.1 接收狀態(tài)機(jī)從 Header 解析 → 塊接收 → 校驗(yàn) → 落盤四階段服務(wù)端不能等整塊收完再校驗(yàn)——萬一最后一包丟了前面 64KB 白收。必須流式校驗(yàn)private async Taskbool ReceiveAndVerifyBlockAsync(string fileId, long expectedOffset) { // 階段1收 Header36B byte[] header new byte[36]; int received 0; while (received header.Length) { int r await socket.ReceiveAsync(new ArraySegmentbyte(header, received, header.Length - received), SocketFlags.None); if (r 0) return false; received r; } int blockSize IPAddress.NetworkToHostOrder(BitConverter.ToInt32(header, 0)); string expectedHash Encoding.UTF8.GetString(header, 4, 32).TrimEnd(\0); // 階段2收 Data流式校驗(yàn) using (var sha256 SHA256.Create()) using (var fs new FileStream(GetTempPath(fileId), FileMode.Append, FileAccess.Write, FileShare.None, 4096, FileOptions.WriteThrough)) { byte[] buffer new byte[8192]; int totalReceived 0; while (totalReceived blockSize) { int toRead Math.Min(buffer.Length, blockSize - totalReceived); int r await socket.ReceiveAsync(new ArraySegmentbyte(buffer, 0, toRead), SocketFlags.None); if (r 0) return false; // 邊收邊算哈希 sha256.TransformBlock(buffer, 0, r, null, 0); fs.Write(buffer, 0, r); totalReceived r; } sha256.TransformFinalBlock(new byte[0], 0, 0); string actualHash BitConverter.ToString(sha256.Hash).Replace(-, ).ToLowerInvariant(); if (actualHash ! expectedHash) { Log.Error(Block hash mismatch at offset {0}: expected {1}, got {2}, expectedOffset, expectedHash, actualHash); return false; // 丟棄整塊要求重傳 } } // 階段3原子落盤重命名臨時(shí)文件 string finalPath GetFinalPath(fileId); File.Move(GetTempPath(fileId), finalPath, true); return true; }關(guān)鍵點(diǎn)FileOptions.WriteThrough強(qiáng)制繞過系統(tǒng)緩存寫入即落盤避免斷電丟數(shù)據(jù)TransformBlock流式哈希比ComputeHash()內(nèi)存友好。4.2 狀態(tài)文件刷盤策略每 5 塊刷一次兼顧性能與安全頻繁File.WriteAllText()會(huì)拖慢傳輸。實(shí)測(cè)每塊都刷 → 速度下降 37%每 10 塊刷 → 斷電可能丟 10 塊640KB。最終選擇每 5 塊 最后一塊強(qiáng)制刷private void MaybeFlushState(int blockCount) { if (blockCount % 5 0 || blockCount totalBlockCount) { // 先序列化到內(nèi)存流 var json JsonSerializer.SerializeToUtf8Bytes(stateObject); // 再原子寫入 File.WriteAllBytes(stateFilePath .tmp, json); File.Move(stateFilePath .tmp, stateFilePath, true); } }5. 避坑指南生產(chǎn)環(huán)境踩過的 5 個(gè)真實(shí)坑附定位命令5.1 現(xiàn)象傳輸?shù)?85% 突然卡住socket.Available 0但socket.Poll(1000, SelectMode.SelectRead)一直返回false原因服務(wù)端ReceiveAsync()未處理SocketError.WouldBlock導(dǎo)致接收緩沖區(qū)滿后Poll誤判為連接關(guān)閉。解決在ReceiveAsynccatch 塊中顯式檢查ex.SocketErrorCode SocketError.WouldBlock然后Thread.Sleep(1)讓出 CPU避免忙等。5.2 現(xiàn)象同一文件多次傳輸后最終文件 MD5 不一致但每塊校驗(yàn)都通過原因客戶端FileStream未指定FileShare.ReadWindows 下多個(gè)進(jìn)程打開同一文件時(shí)第二次打開會(huì)失敗但代碼里沒捕獲UnauthorizedAccessException靜默跳過該塊。解決FileStream構(gòu)造函數(shù)必須顯式傳FileShare.Read并在 catch 中記錄UnauthorizedAccessException。5.3 現(xiàn)象在 WinServer 2016 上傳輸 4GB 文件失敗offset變成負(fù)數(shù)原因C#long是 64 位但部分舊版FileStream.Length返回int強(qiáng)制轉(zhuǎn)換溢出。解決所有偏移計(jì)算用checked塊包裹并用fs.Seek(offset, SeekOrigin.Begin)替代fs.Position offset。5.4 現(xiàn)象斷點(diǎn)續(xù)傳后文件末尾出現(xiàn)亂碼0x00 填充原因服務(wù)端FileStream用FileMode.Append但文件實(shí)際大小小于expectedOffset blockSize導(dǎo)致末尾補(bǔ)零。解決接收前先fs.SetLength(expectedOffset blockSize)確保文件長(zhǎng)度精確。5.5 現(xiàn)象局域網(wǎng)傳輸速度只有 12MB/s遠(yuǎn)低于千兆帶寬原因Socket.NoDelay falseNagle 算法開啟小包合并導(dǎo)致延遲累積。解決客戶端和服務(wù)端 Socket 創(chuàng)建后立即設(shè)置socket.NoDelay true犧牲少量帶寬利用率換取低延遲。6. 進(jìn)階技巧用 Wireshark 抓包驗(yàn)證斷點(diǎn)續(xù)傳真實(shí)性以及三招壓測(cè)調(diào)優(yōu)6.1 Wireshark 過濾規(guī)則一眼鎖定斷點(diǎn)行為斷點(diǎn)續(xù)傳是否真實(shí)生效不能只信日志。用 Wireshark 抓雙方流量過濾關(guān)鍵幀# 查看客戶端發(fā)起的斷點(diǎn)協(xié)商magicCSFT tcp contains CSFT # 查看服務(wù)端 ACK/NACK 響應(yīng)1字節(jié) tcp.len 1 tcp.payload # 查看文件塊傳輸Header 36B Data tcp.len 36 tcp.payload # 查看重傳包Seq 重復(fù) tcp.analysis.retransmission重點(diǎn)觀察第一次連接時(shí)CSFT后跟lastOffset0斷網(wǎng)重連后CSFT的lastOffset是否等于上次成功位置重傳包的Seq是否嚴(yán)格對(duì)應(yīng)丟失塊起始位置。如果lastOffset每次都是 0說明狀態(tài)文件沒寫對(duì)或沒讀到。6.2 壓測(cè)調(diào)優(yōu)三板斧緩沖區(qū)、IOCP、CPU 綁核緩沖區(qū)調(diào)優(yōu)服務(wù)端// 默認(rèn) 8KB 太小千兆網(wǎng)需加大 socket.SetSocketOption(SocketOptionLevel.Socket, SocketOptionName.SendBuffer, 256 * 1024); // 256KB socket.SetSocketOption(SocketOptionLevel.Socket, SocketOptionName.ReceiveBuffer, 512 * 1024); // 512KBIOCP 線程池?cái)U(kuò)容.NET 6// 避免默認(rèn) 12 線程瓶頸 ThreadPool.SetMinThreads(32, 32); // minWorker, minIOCP // 注意SetMaxThreads 不要亂設(shè)讓 runtime 自動(dòng)伸縮CPU 綁核物理機(jī)專屬// 將服務(wù)端進(jìn)程綁定到 CPU 2,3避開系統(tǒng)中斷 Process.GetCurrentProcess().ProcessorAffinity (IntPtr)0xC; // 0b1100 core 23真實(shí)數(shù)據(jù)某客戶現(xiàn)場(chǎng)啟用三板斧后傳輸 3.2GB 文件從 217s → 142s提速 34.6%斷點(diǎn)恢復(fù)時(shí)間從 1.8s → 0.23s快 7.8 倍10 并發(fā)連接下 CPU 占用從 92% → 64%從那以后我每次部署新產(chǎn)線服務(wù)端都強(qiáng)制走一遍這三步Wireshark 抓包確認(rèn)斷點(diǎn)幀→netsh int tcp set global autotuningleveldisabled關(guān)自動(dòng)調(diào)優(yōu)→SetMinThreads ProcessorAffinity。不是所有場(chǎng)景都需要但工控現(xiàn)場(chǎng)寧可多花 5 分鐘驗(yàn)證也不愿半夜被電話叫醒修傳輸。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取