DeepSeek ka publikuar si kod të hapur DeepInfer, kuadrin me performancë të lartë për inferencë që mbështet shërbimet e tij në prodhim në shkallë të gjerë. Ky publikim ofron inferencë offline dhe veçoritë bazë për shërbim në shkallë të gjerë, por nuk përfshin të gjithë përbërësit e nevojshëm për një shërbim të plotë inference.
Përpara kompilimit të DeepInfer kërkohet krijimi dhe aktivizimi i një mjedisi bosh Python 3.12. Modeli i parazgjedhur, deepseek-ai/DeepSeek-V4.1-Flash-1017, shkarkohet në memorien cache të Hugging Face gjatë ekzekutimit të parë. Për të përdorur një kopje lokale, duhet vendosur DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017.
Matjet e performancës janë kryer me 4 GPU SM100 për fazën prefill dhe 64 për fazën decode, në secilin rast brenda një domeni të vetëm scale-up. Për riprodhimin e testeve të performancës, dokumentacioni i referohet skedarit run_sweep.sh.
DeepInfer publikohet nën licencën Apache License 2.0, me hollësitë në skedarin LICENSE. Projekti është ndërtuar fillimisht kryesisht mbi vLLM, me frymëzim shtesë nga SGLang dhe TensorRT-LLM.
Burimi: Hacker News — lexoni artikullin e plotë në anglisht.
