大厂县城乡建设局网站,wordpress加载进度条,深圳网上申请个人营业执照,办公室图片笔者使用 Quadro M4000 显卡用于 LLM 相关任务#xff0c;但奈何该卡发布的年代过于久远#xff0c;以至于 LLM 相关任务只能使用例如#xff1a;Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型#xff0c;且速度不堪理想#xff0c;也经常因为显卡过热降…笔者使用 Quadro M4000 显卡用于 LLM 相关任务但奈何该卡发布的年代过于久远以至于 LLM 相关任务只能使用例如Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型且速度不堪理想也经常因为显卡过热降频导致对话效率低下。
对于家用而言不会去考虑那些特别新的 Tesla 计算卡而会考虑一些旧的大显存平台最好是大于10 GB 的显存这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关推理相关的更应注重FP16的计算能力如果有微调需求同时也应注重FP32的计算能力。
最近总想着置办一张计算卡用于 Homelab 的 LLM 应用但是市面上的计算卡/显卡种类太多了有的时候不晓得要看哪一张显卡故从TechPowerUp 网站摘录下表以供参考。
显卡型号ChipReleasedVRAMBandwidthBF16FP16FP32FP64TDP (W)Quadro M4000 (现役)GM204Jun 29th, 20158 GB GDDR5192.3 GB/sNanNan2.573 TFlops80.39 GFlops120Tesla P4GP104Sep 13th, 20168GB GDDR5192.3GB/sNan89.12 GFlops5.704 TFlops178.2 GFlops75Tesla P40GP102Sep 13th, 201624GB GDDR5347.1 GB/sNan183.7 GFlops11.76 TFlops367.4 GFlops250Tesla P100 PCIEGP100Jun 20th, 201616GB HBM2732.2 GB/sNan19.05 TFlops9.526 TFlops4.763 TFlops250Tesla P100 SXM2GP100Apr 5th, 201616GB HBM2732.2 GB/sNan21.22 TFlops10.61 TFlops5.304 TFlops300GTX 1080GP104May 27th, 20168GB GDDR5X320.3 GB/sNan138.6 GFlops8.873 TFlops277.3 GFlops180RTX 2080 TiTU102Sep 20th, 201811GB GDDR6616.0 GB/sNan26.9 TFlops13.45 TFlops420.2 GFlops250Tesla V100 PCIeGV100Jun 21st, 201716 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops300Tesla V100 PCIeGV100Mar 27th, 201832 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops250Tesla T4TU104Sep 13th, 201816 GB GDDR6320.0 GB/sNan65.13 TFlops8.141 TFlops254.4 GFlops70RTX3060GA104Sep 1st, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170RTX3060GA106Jan 12th, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170RTX3060 TiGA104Dec 1st, 20208GB GDDR6448.0 GB/sUnknow16.2 TFlops16.2 TFlops253.1 GFlops200RTX 3080 TiGA102Jan 202220GB GDDR6X760.3 GB/sUnknow34.1 TFlops34.1 TFlops532.8 GFlops350RTX 3090GA102Sep 1st, 202024 GB GDDR6X936.2 GB/sUnknow35.58 TFlops35.58 TFlops556.0 GFlops350RTX 3090 TiGA102Jan 27th, 202224GB GDDR6X1.01 TB/sUnknow40 TFlops40 TFlops625.0 GFlops450A100 PCIeGA100Jun 22nd, 202040 GB HBM2e1.56 TB/s311.84 TFlops77.97 TFlops19.49 TFlops9.746 TFlops250RTX 4060AD107May 18th, 20238 GB GDDR6272.0 GB/sUnknow15.11 TFlops15.11 TFlops236.2 GFlops115RTX 4060 TiAD106May 18th, 202316 GB GDDR6288.0 GB/sUnknow22.06 TFlops22.06 TFlops344.8 GFlops165RTX 4070 SUPERAD104Jan 8th, 202412 GB GDDR6X504.2 GB/sUnknow35.48 TFlops35.48 TFlops554.4 GFlops220RTX 4070 Ti SUPERAD103Jan 8th, 202416 GB GDDR6X672.3 GB/sUnknow44.10 TFlops44.10 TFlops689.0 GFlops285RTX 4080AD103Sep 20th, 202216 GB GDDR6X716.8 GB/sUnknow48.74 TFlops48.74 TFlops761.5 GFlops320RTX 4080 SUPERAD103Jan 8th, 202416 GB GDDR6X736.3 GB/sUnknow52.22 TFlops52.22 TFlops816.0 GFlops320RTX 4090AD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow82.58 TFlops82.58 TFlops1,290 GFlops450RTX 4090 DAD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow73.54 TFlops73.54 TFlops1,149 GFlops450
