Which GPU is better for Deep Learning?

Network TF Build MobileNet-V2 Inception-V3 Inception-V4 Inc-ResNet-V2 ResNet-V2-50 ResNet-V2-152 VGG-16 SRCNN 9-5-5 VGG-19 Super-Res ResNet-SRGAN ResNet-DPED U-Net Nvidia-SPADE ICNet PSPNet DeepLab Pixel-RNN LSTM GNMT AI-Score
Resolution / Input Size 224 224 346 346 346 346 346 346 346 346 256 256 224 224 512 1536 512 256 1024 224 512 1536 512 256 1024 128 512 1024 256 128 128 1024 1024 720 512 512 384 64 64 1024 1024 20
Batch Size 50 50 20 20 10 10 10 8 10 10 10 10 20 3 10 1 10 10 1 10 10 1 5 10 1 15 4 1 4 5 1 5 10 5 1 2 1 50 10 100 10 1
Model inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
inf,
ms
train,
ms
inf,
ms
inf,
ms
train,
ms
inf,
ms
inf,
ms
train,
ms
inf,
ms
inf,
ms
train,
ms
inf,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
train,
ms
inf,
ms
Tesla V100 SXM2 32Gb2.1.026184421354114555157267933113558251491396296166665810463118107122122127669990272256110748759019774911133153 35791
Tesla V100 SXM2 16Gb2.1.0311844613743147571582779341135374545215760931626459101621191031181181236597123401248100748559122115321215181 35086
Tesla V100 PCIE 32Gb2.1.03419447148461586016931843511861816256163631031757263109661331081281291317010315350027210678883971139517629103 34394
Tesla V100 PCIE 16Gb2.1.0392034915248157601672881351175775736016663991747364110651311071231231276910015752126610377874091231437677107 34347
NVIDIA Quadro GV1001.14.0292044616746188622093098381555683615415272108180726511079147138146147178711109322829912283110312861382528103 33880
NVIDIA TITAN V2.1.029208451544616461178299236129661036155157731101937466115801501291491491537611710130730411785963931022408560120 33406
NVIDIA TITAN RTX2.1.035176451444215055158299138133701156151171811282368372119831461441541541606910610531928211081903861006349553119 33339
GeForce RTX 2080 Ti2.1.03318245148421545516829933913775127605117283132242847212385150150159159167721131012892911158296352933352586113 32870
NVIDIA Quadro RTX 80002.1.0441806216453163641743810045145801179164199871342539183132871551511651651677411212256830612087998741943526949238 27651
NVIDIA Quadro GP1002.0.0392345920964230842344012454183791028778219121193294100851471101911611931911931061551383883921641231393851118403559109 25700
NVIDIA TITAN Xp2.1.04021662209582117622737124511759716774782179614924897891481041821711921922051021711685254231601111305271168533643218 24870
GeForce GTX 1080 Ti2.1.0482336221961226812423913551184104192767922711015827310295157119198189211207226107189141414441170116138372925430639141 24386
GeForce RTX 2080 SUPER2.1.0482087120059202772194412752180961608876243108175293113105164111194188210208214911591484123771521071245391244557837151 24247
GeForce RTX 2070 SUPER2.1.06717962210602207723038126501791051747673256121196320112103168122207205235235235102167135388430167120133312923511654148 24182
GeForce RTX 20802.1.07618566204582117722341128521821011648679255117189314118106169119204203229228232991631514484321651181323941063479690134 23827
NVIDIA Tesla P1002.1.047257752417626197266461416220286104808923011618427811310216511020216720720720611416214138342817613515579419956181040158 22466
NVIDIA Quadro RTX 50002.0.04621862209582107823542133531989816388752531512444031151061731302472142282272409917813637941217111713656114086541072198 22366
NVIDIA Quadro P60001.14.04427570277682858729745170592621081949585258107161273103951631251961962192172571162031524264782151241735371253457669194 21674
GeForce RTX 20702.1.046224762416925488259471476221410916692962941432353561351231861352282132722712551211801774855281991431525971418579777160 20723
NVIDIA TITAN Xp CE1.12.0473457031365322823514521355292101170877426798145242119941621321901812121902201001762679324262581122388431944818848183 20103
NVIDIA TITAN X Pascal2.1.0592788025174257962804915862220114189979927311317428712211318412621720422722524812420517151749219513416270018648071080209 20089
GeForce RTX 2060 SUPER2.1.050239812617226592274491536422811918195973051432354331361242071362312372722712681241981484265382041431695691339626918159 19944
AMD Radeon VII2.1.03941056512967093883660431606121116127852473857713218380711507312012816216321713821215640541439311019062215687351332337 19367
NVIDIA Quadro RTX 40002.0.05423677264732729628551160692381241849510332118630447014513020614224223029529627613120115444059021815617449512595861001204 19066
GeForce RTX 20602.1.05525280285772951003095418370259143237100102366170273489149136233168279291327327329141235160440615235167189360888459781133 18392
NVIDIA Tesla P401.14.09735679338793631004005420868332108183133922861101742851191091901472422342392372801202122689205232431412296531648626813171 18006
GeForce RTX 2070 SUPER Laptop2.1.06725094266792581043195516067246117179118107320170274431155141209148280230258257266115205228630473204139177963222110701758355 17412
GeForce GTX 10802.1.062308852988430911033055188672481482751201113281582193691491382291792782693052983241412632075916182421651845211311593914198 17383
GeForce RTX 2080 Max-Q2.1.0622688727974281983045317265237162306107102340175278469161140229151258254303300298131247184531585227154176710158812541278218 17210
GeForce GTX 1080 Laptop2.1.069287843128833511135254191702561623061101153311672344031491382291722892753213103321512752015846412451681904391135590828192 17134
GeForce RTX 2070 Max-Q2.1.0622869731587322112335581907726916530511011637718129345816414924015927325733533331715025417650767226717519464713757601067188 16479
NVIDIA Quadro RTX 5000 Max-Q2.1.0622989131081305107323541877225717230010612735617327947320216024916730229435035533315127618554469425219419566914307071086198 16243
NVIDIA Quadro P50002.0.0613318832486340114352572077127615929712010933620930350014713723218529727532031033215129417649163926316921360714377511022218 16238
GeForce GTX 980 Ti2.1.08141490334943541223726020281282163270112132361161259411165144251177309291343343346174291237690699265189213433979611865156 16038
GeForce GTX 1070 Ti2.1.072334993379635012836763211842921512431311333741682604051711522531873253153753703681642632176477342701912054561124607918192 15865
GeForce GTX TITAN X2.1.064444943469636312938363211852961682711151313661632734311591452551813193003593633671832852115817522902082235791316679971225 15351
GeForce RTX 2070 Laptop2.1.0863031143249840812838570205853161261791361313821562563851791642381513162352953032951462292747995942591702181058335511531706370 14925
GeForce RTX 2060 Laptop2.1.06729810235396363123383632168730916524812013544320232557018616828418831432138738737416926918750978129320323262113648081156209 14924
GeForce GTX 10702.1.074351101357100371132388682268931715924912614340518028245217615827419933833538438640017629522059880729221323056512747061005221 14830
NVIDIA Tesla T42.1.0733239735098364130382632118228915623011912543520733953520717328120234033541741639717725819755790929222022780720196621155203 14558
GeForce GTX 1660 Ti Laptop2.0.0573099736797379123386632158831417728314313048626542470718917030922244535042040939318230720757580830321423339710358641037305 14183
GeForce GTX 1070 Max-Q2.1.06837910740511042814243473246100349178258126160425249395632190171311216369360453448432205317197483926331248265459982694921243 13764
NVIDIA Quadro P40002.0.097372116405112421145424762479834417425617515848125340263119217330023040535742442441820631629286888632323726370016217261028221 12924
GeForce GTX 1080 Max-Q2.0.010638113240011542314844180251913591783151731614032072864682101942772043273413463304021523323479856722971822681426420518222804427 12175
GeForce GTX 1660 SUPER2.1.066301106364101375127388672188932117126012513647421133955819217430619232730839539337217927819454677029720223470724943170151149205 12017
GeForce GTX 10602.1.08642212947813451517852588300114413220344160194525248391632235211369274466456537533546251401266691108039228931155912458211249254 11399
NVIDIA Tesla P42.1.09047013348013450118053187306108410229394170170509235365567228210359276462457522518545237405245670106139427330398020298501528292 11083
GeForce GTX 1060 Laptop2.0.085444141548152599186587100345128482236366225204626306486772266216399356561489607582601286440253622121444232237762112338161196262 10312
GeForce GTX 9702.1.092575141535148569193574963261344652413641712015692674376992502264072975104946286296043014492867581266449334355735107810731370297 10228
NVIDIA Quadro P32002.0.09246814353414056218558095332127468233353215193592342547854255224401314550488591592578281432269678120845331536273815619751401312 10112
GeForce GTX 1060 Max-Q2.1.0984931535751595972045991033491354812473511782276002874577412692434232955064895975975882844382907541235456333365931217211381622317 9721
NVIDIA Tesla M602.1.0111656157578149581204619107370136509246380199201602282436677275247430335558552679670667288454312816124946631937256215978101516314 9644
GeForce GTX TITAN BLACK2.0.0844291706031736192176361093441525262503442532776824587919933433235573466934047548236133174022846661521498352411827164612671918265 8950
GeForce GTX 980M1.12.012470818465817970322569812139816958626739227924178930849380434925849145065759174967569335153838810631443552396447857116411701367332 8423
NVIDIA Quadro P20002.1.01225991997011947222447311254281665962944192262807453545639073333005263716416187597657453635363498931514557408446924153111271733350 8145
AMD Radeon RX 4802.1.01154082154128519811502039131063911515426631325116929782093199062121695242373374944744796714578043308111252914309437829119510613202610 8090
AMD Radeon RX 4702.1.0105412117013391961178211101012048617661165213061149810192023429262071784742333694575155247534778753237421394942388513936125911193350650 7704
NVIDIA Quadro M40002.0.01098652097592168142697851354481936613515063663199004567331198333301549421756629748745729422607464126315826054645151031201413911583312 7196
GeForce GTX 1050 Ti1.15.0130653206801213849270834142501197700356533355322972417665107438734560748587374790389888745169040910461808678492540112298712491721408 7010
GeForce GTX 1050 Ti Laptop2.1.0136664218806224856290850146509203706364542254349898434686112240936562846178276492091190844568943911551815672499519872118013841866388 6924
NVIDIA Tesla K802.1.01225552378392428633199391584902187433214164574351105527842112943439564648373561010011002849458588407106520536575135841103221115452620333 6582
NVIDIA Tesla K40c2.0.01025682378672488973139631545102178233414583803679666721169137147046269751510105611073111487347159634980921347174906301080178515402563317 6464
GeForce GTX 9602.1.0162864248878229910313920157545213777394626272328911457729115043738468453287087310771060106148777445411832009741523566924147813322226448 6308
GeForce GTX 1050 Laptop2.0.01507542339272449923109641605652207894176024283921151601965154842738668254297581310151010957535763459115520737585616191053129414711803399 6093
NVIDIA Quadro P42001.14.01237392711012292110835910631795942599003734174524071407489903167552845886963311449641164113511727638456121463275410428389141694124019751710311 5422
NVIDIA Quadro M22002.1.017510902841071282111237111331906682599575088003354331176534853161251146180958910041031122112071205565864503124924658856277021482204818722957558 5173
NVIDIA Quadro P10002.0.017889627311122821181375117119070026297250982545141212637441172184054648982768611951055128512771268596951525130424679416747671160115115122335539 5090
NVIDIA Tegra Xavier2.0.016355825498427010643421037182613262912430911265433392121368013331828474438777563131285810881124994602855389165423358256256742085456719922328494 4625
Intel Xeon Gold 61482.1.013376026915562811586258165515710092431680240119725622874783775896038720678288063310413171115212612489334658699217418521558636129113051219305929452691 4190
NVIDIA Quadro M2000M (1)1.14.01961277379147839115784761528255892348129957680257453816388571363210770463710948661279125516731666152182411366881695336511958719881350120520092427567 4093
NVIDIA Quadro M2000M (2)1.15.02051313370146637715424711471243895332128658083760354416688511355217971864410978671555134816891650152781211506601566327912078689871639169121822888566 3996
NVIDIA Quadro M2000M (3)1.14.020113203861527395160748115292619303541342581810598542166484713542189712640110286715541258168416511545811114665215423325122987710141622174021312832558 3966
GeForce GTX 960M2.1.02131301388147939015395001505255910335129058581745858715639141456225777770511478201361129917501726157480711367101708331512078539711560218323462889587 3928
AMD Threadripper 3970X2.1.01337473041817380173438616822191309295201228514322722505059501773537577971327658491299307115241595248539974084523742448168588614691176756275333791110 3829
Intel Xeon Gold 61302.1.0133745327173933317143221816178115428218373071141332297786550179465608638103096696122535151272142725374296861032279722191656721136913121279306733222165 3698
Intel Xeon Gold 61262.0.014974227717422941717338182820011503081869355176641337672335859235829879817288179714153246139015472470475787917258824951650779144513881324293738932474 3514
Intel Core i9-7940X1.141838862811788292158827614322261397268204539592044239765736931133683495387431471080178535851897198827574887911036278825351444692102314841374170034921749 3468
Intel Core i9-9940X1.15.0227104630418823151626318144425412603101611443984527473713189813977017101192028561159184833951918200226135398221056276031171609761102815181061183340602398 3262
NVIDIA Quadro K50002.1.024510545261967561204864019943101078421161569588041189320711119308927419231094174987121811237249525311970996136875918774394155398212851326214620986172344 3210
Intel Core i9-9960X2.1.0224918365192435717423311520243135426721283991089445401658172611247101100490932691082172837931894198228615529231028280630571689837139118301735197240342142 3176
Intel Xeon W-21952.1.0215906385199437017933191635238150328723764271232481435718978112207532105996935801096175541371987214430455218681167300532411830884147217811535207033762984 3032
Intel Xeon E5-2698 v41.1417310603432099323203830818972091579274219435113143443118464623976720017131550397610221716394819442107307946385813743652354223941058162016981350285837862553 3000
Intel Core i9-7900X2.1.02429633542048352176436915482651329338175449310325715157104925146872751096100032801221200637202109218628196018411076281834121774897114518611667218143922407 2994
Intel Xeon Gold 62481.15.0268121343019743891688270148323514372381891308142731829310123722108684471130100840261081183045872027224133953597471415388529392063953157321231712334442833055 2978
AMD Ryzen 9 3950X2.1.0223111838123123822134450206427814624182221542144750545668188661352612910099122943145022053604256425783166721106772819713716179092814181324845295637501100 2973
AMD Ryzen 9 3900X2.1.019611074052418408219046820152961480411210159714585775207141967149264111126100730101464231537682701272931518071159930236142441896113114521387854227141671046 2832
GeForce GT 10301.12.03090510049506340348049008700822705010041553011398590137820550244522370113208640431101157018080235708022750 1
AMD EPYC 75021.14.01631174337253442422354452222257188031228503041869303270933859885896452129192951879431456493516971792374337683416614183379125372193221018271318386251191939 2723
AMD EPYC 73021.14.019092137622303782038430195327115873972523572176349745085689331481759217731610445311361812432022562352320970375514123565461621312006173414291127277946321508 2665
Intel Xeon E5-2620 v4 x 2 (1)1.14-Conda214648476147150916136911774359104754216368125398567712421990171825681660150325072232330123163141314025871113109013363238650325331791185427451543955015872995 2569
GeForce GTX 950M2.1.03791881530211756222337502299377139951019678941225714100129461360227733651317111918241446240222233268308228821237171311053116590919251401147318552107273953641129 2512
Intel Core i7-9800X1.14.028514373882534401226443618943271635404212857611586515858766101215988092169615404137145223534465250625953316766116512393249440422131220147117271485238049172207 2508
Intel Core i9-9820X2.0.026210524182366447211147318643411537441196867011737576848520125919888175141112573655159026004295268127823227841103911833131450221371165137418821668256943642509 2498
Intel Core i7-9700K1.14-Conda31996248317065101830779206836512255481828835695911804263693615613755193716322904428667403550495845733616124312961047273856501898151512662023237029676200947 2480
Intel Xeon Gold 61341.15.030412454352477433220544518603361533442210570611607997168941133221028283137012463836154324824300262227263279862102312963331454721471086138216511329247745182398 2477
Intel Core i9-9900K1.1423713044532734469258155422743631656510231080011787837048603126320076626187016933581182228164341328232753510107013551029261254042334131716471243791215359541175 2402
Intel Core i7-7820X2.1.028714384542582423237945821563251637390221264711856976298022121219128956140612954515154725254674269128353736817146212973573442825491127158723371611292148672688 2354
Intel Xeon W-21351.14.03201497423262144524215112128374175250424567281106761698813712602047784618081631399016062639410928402935337393011921283337151672433137716641490993295376571919 2321
Intel Core i7-9700KF1.1425815264603014474282257925283811850518268077811858077278865125320156818187316983640188429254478332333183605104714371021268152242333129717201311835234867201273 2303
AMD Ryzen 7 3800X2.1.024915444913087501291457225843841831523247478318867827038870121619409028152513504062204431335140357535814155105615691072267855422408137117551575895342569171009 2206
AMD EPYC 76012.1.026912725313285557317761633873532531594423473318496135537919121919177880135812095201140423145441288929694330915105610783081493332831581271321401624453851442218 2113
Intel Core i7-8700 (1)1.14-Conda3341009602219166423549282469453153768922861196831119710673481146224464246228720513481342753373481575953924293175015811257321095483084222919362126289033636696995 2025
Intel Core i7-8086K1.14.0312160755932425733117701281246120576452925100412679768789313161525797740224620254197213033324781390839194110133116291197294666992850159920011438890263574761197 2001
Intel Core i7-9700F1.15.0432202959135316103284713294850520677063034106413091086986968117812880805417861626376724213775503543354324429914351632971250069282798158419931397837299673011544 1928
AMD Ryzen 5 36001.14.02911463579327060032167052874456203163828611031178097087310974158225239535249723104967220034605562405840694529134916511159283968602858177819531613981283010335984 1905
AMD Threadripper 1920X2.1.023811996373219684299679029254442091715346411471653985882103611783283186501808164444682005319846293981406044941435133613293400749230342051227718051315400852411814 1896
AMD Ryzen 7 3700X1.14.029415925433518552332468730514642205659318087935708517671137813672160107972081187250332176339460713949395647971183172811882903612828341701210018321089422485391262 1883
Intel Core i7-8700 (2)1.1431316006473395662324877228565022132707305012291314115010479546197031878449237521554432232536894895441244364386158416351271322979383105178420991406892292371701208 1859
Intel Xeon E5-2620 v4 x 2 (2)1.14.036616025933099519287756826244082221553295184617668527541169513952188117402774245660871778296956833364373748161056147721985456730334021681211819871413308746224055 1841
AMD EPYC 74512.0.028213556123581740343687036054502739757420291519967556871049614522294108611802165557671649269758083381345547431200136614873509617631482210318124081696638079592457 1769
Intel Xeon D-2183IT1.14.0339151358934096293329700314648224616714171101314829078331076114742390103332390217555851889309956893722379944581311156714513699708431841940258723231951333074682435 1769
Intel Xeon W-21232.1.041018706553456662320975028654652117629308311001352125811361058520523274100651889175043532440387351914124416045791331173613953934679830401649210616129893893132742497 1761
AMD Ryzen 5 3500X2.1.129617516603968672365777334084592445656361211591736113310191065819243051111691875167449342427394459124500455549721431170911873128738332141775227915809373468107721155 1760
Intel Core i7-6850K2.1.0321153273934887383250819286749421386983089134314021266114099532336373410817216519514788247937695164461546834729163115601535391083213213184821071508979353373242719 1732
Intel Core i5-84001.14.03711975680390768436448283304548241276035921192139312161097103302041327588582585233946762556409153344593467946911527184913933681776132451833230517291011317881281307 1706
GeForce 940MX1.14.05072639923364994539061173383464623138883311154222011333123737432052318548141790162227052087361030774588457941661930313915223705790331382097243629782481372266701346 1672
Intel Core i7-5930K1.14.038518267213665743337380129115412458766333413101398123411081008321903507106432697243654372441372353464524454747031628159816534251863234962014234917821274341371082437 1652
Intel Xeon E5-2650 v42.0.048320796893748714362278533945682405788371012081582139612591255220803314107022059186751362503375759514078417645491613155813683648745232441745244816211351348573063076 1644
Intel Core i9-9980HK2.1.0383219668139087853661111636106262737112437781141158299193094761672282688412571237248782610382956474626458351701469169213172985731334391897276918661706426584581557 1633
Intel Core i7-7700K1.14.03962049817422078740839473588626262788639031496144513611223105982343375991682812254349642732429254225154517651601856204014353511936337432172257617071006347183271272 1568
Intel Core i7-9750H1.14.035618608294177844400297834986282620893369915501461142712821077924763963101832795252252342720430056135273530651571965185813933457982537642211256015661027360677691190 1567
IBM POWER92.1.0196132678264348006616780640946055676767805109732408537591342816762518115841752163550491418276356455202374385961383110812503093678862611669445113761884427182194322 1563
Intel Core i7-8850H2.1.03391724844405886941011041358659326308763664162314861514135699992613420610295244222274798287145615486549755185314202119551399347099283777219024981509933388688411392 1558
AMD Ryzen 7 2700X2.0.03061561879410590639181078356262925949623820166617381420128211420259041241351824802230597027174304648255355552568620881871140433701054039052509265516111114513778371397 1499
Intel Core i7-8750H2.2.0360182986443039034210104437056152623919387117121572158014381136727764514111512605237951983034482559195928596057132161207015243826107714077233327021531922403689201376 1476
Intel Core i9-9880H1.14.0372231669148927244583878408058428447983836123217941233108114769183131121147423382124526332434991784256675607610818142763141135548452388920482683231213393427119131797 1471
Intel Core i7-6700K (1)1.14-Conda439143393732839683499152139046952321108236221644116216231371479119583204609432572668533850067386517882447580630924822296157139911088037972811249729733307402282131779 1448
Intel Core i7-6700K (2)2.1.03832097902466790344611105412266228299574211170816741596143111190269843181048427582493511432094950613559475934591921442207161839891037040252396278817491053403199651743 1413
NVIDIA Tegra X22.0.0572247093637489593918116437456112147818304622613837157315474567243342066016171015432506200837832838400039363504218831341708590380102981206822734070125178549568451336 1412
Intel Core i7-4790K1.14-Conda5061514987331110263530146437766922256106534521652116221441776567219313127657233102840501150908044538585277991642524462371167643451136537303019245631173460458293631419 1400
Intel Core i7-6700K (3)1.14.0460238689148208944586119842687603072104545291680175215771424120452633421610388317328495572327149996429603859605992218323181624401610705422124852949199011443872103321592 1354
Intel Xeon E5-2650 v21.14.033118029244637972476111264752651463810467306179518941273114215431252240881357035253064785225404082773855795681642421812175215353891187451992720516720151466497364012996 1256
Intel Xeon E5-2695 v22.1.03191442113946721201466913154221749309711725028218619181684151714152331552891349031612815616031174826637467186750646427422209194949281372652452922308517831536538167893002 1255
Intel Xeon E5-2620 v31.14.0719321491851419444775108942967803256110346771678201916621495146862700433212623262423795690430158097820708667396664220723281341343610634446725022993246014544305112542369 1254
Intel Core i7-6700K (4)2.0.046121651066515410804984129445888043133117147212011181720351835132513341537611637314428325685385659817127676167236493257125081805438312238451828323131189511494704104211593 1241
Intel XeonSilver 42081.14.05032247105751281079483712324203790325311524790193618191693153413755285945481469834033079738729464761706160026093645523632107204449211268849203077323022631687546974722298 1232
AMD Ryzen 7 27002.1.03801855104748631077464912874286750309911324618198022931704153314306304451551882634412879731535045550793567636803695724782235169141031270847142989317020251357619993861741 1226
AMD Ryzen 7 1700X1.14.038118971027505510624806129242907443110110945821896208916761501152882894460416549371033038114334552668255655366447003241023071685412112769497532623355225713616775101831737 1214
Intel XeonSilver 41101.14.05072296111450931146481512674204808328411864859209017671838166513004312249831402336333268721631555094667864396578648125152143211052711360651333177330724211811590972392279 1197
Intel Core i5-74001.14.060427951065557410725275125947398553414120852261974169619251732128893355539812710353732026461367158596830679868916653244526201817458912532492928213369247413275152100101330 1189
Intel Xeon E3-1231 v32.2.048025791028564410995468129751277443422110552982093191118361663132933069530113436297627056617407757647988756376197280286226341640409813822502430253406228612495043125071956 1175
Intel Core i7-8569U1.15.05812624123556321258539313654996913333112715031221417911770162712384338254691136730442797544935925975629673197403695027702657169642061398254343028355930202175536572301784 1168
AMD Ryzen 7 17001.14.042120211209538711545181142647118233367126649012092247218101628152643216511616874313228387479357456218282706870507221261723721764422713177491031653329216414456341103121709 1164
Intel Core i7-4770K1.14.052326891046579510655553128349398283539116953711921190918541671148783110499712564364532696726373958707668685868727025249128261920459312649521429173544237714874911130211814 1152
Intel Core i5-65001.15.059428241106589611105580131450498833469124953582009178120201817146963492560313778315528636397380261177585694070437087251428661837445712597496628583460242212405306118571523 1151
Intel Xeon E3-1505M v5 (1)1.14-Conda44414601180405413374496170245178402734139742352699143723652141681034825687939142323699641664541015961621060110069791236482879206449411738355453844324133684053607990441806 1125
AMD Ryzen 5 26001.14.040318921196539812645538154149028453393126252862330210720131814150793608577917429442637498536381259858297789076207505295823941786425014720529735143573207813885507127751581 1108
Intel Core i5-64001.14.062931131148612611555760135351349253731129956842126182920811871143093611578514056382434667184399563827573735574637273261428841964514213468533030563663276014705454115331452 1091
Intel Core i7-6700K (5)2.0.0-Intel4403873115863361323624219645672100659831321620317591557159614225420196732317974341228506794424062716746916487288742298627841956446611446516640483438341547678600112762096 1091
Intel Core i5-9300H1.14.049625861201587111345595134949468823556127252952175197220551857165913576579313706396135137166402063568403772777168084286331351838442614796557031363842243814444908152391438 1087
Intel Core i5-8279U1.14.063331291328620313086082149855961008383013935776241319581955181915977355857631203332282938570637296141651375877594726929062890176942821454257233097367731292334565178451670 1085
Intel Core i3-81001.14.059232291082663811056295136756239003984125358581896207819261734166183110500414258371533637262414166398924738674777926247633151867489312316539629623866290216065305154131877 1062
Intel Xeon E5-1620 v32.0.052824761306582413425691147349739353562136854572421190024772222160534230676214345367433156813434866758075770078067555309028212340583414470559832603607204113116018101953005 1054
AMD Ryzen 5 16002.1.045021611298587313545693157654308953590137554722397221421171902138243761602816192357132057707426667228145826183187902297926181923465114904553534673713239827349129139131745 1050
Intel Xeon E5-2623 v41.14.058130501066652011376232123254398474050122262401968201719091763164553328528617977461241589262362159438681684271507753250528652516640813036582829744054335626535915130992842 1012
Intel Core i7-7700HQ1.15.0600278213246298141862891625552210363806154057582786202225272265152674685752115341409037017512443470687787875489218122360032892269518317362638637424054224913325952112741624 993
Intel Core i5-1035G11.14.0490237914996794155666181800592610273955158460592898196224972276167194268686417030431238948282451671408655924492438560362932162061496418241656540554231235212807770113931328 970
Intel Core i7-7820HQ 1.14.0760388313776960127863941664636410964695147368442309217418611729141673675609313612387332816899431568318040883690728667327133071994484015562652034204320370125395370131631653 969
Intel Core i7-8565U2.1.0487262315796647161364541782577910053841152860423077204227092467150095063822516200427138197669476276767866967296048604377232492143522818684651739504134219611847198122202054 958
Intel Xeon E3-1505M v5 (2)1.14.055127371436663715386438172955961108401416356044305720822661242415866494080071633643163886756352127717816910060101418730387932742242552819011671539624147242613296272104301551 950
Intel Core i7-3930K1.14.05112286233366553143125633617584612296738191768483348200324392224150814891784415233476542797919414664167205944594498587404231762228544421062750743554328189613449078126041513 882
Intel Core i7-8550U1.14.057932501767785217947811196865321255466518727039341924232910268417149551388611778452554769901754208621906311157110349760427736302567607721613769345194807264714617424128441839 834
Intel Core i7-4870HQ2.0.0791359617457827174574852121727612954816181774262904248827332498161244809782215099430839097786532484439060963198409503373038782440575017217705241355005375935387609206281666 822
NVIDIA Carmel (ARMv8.2-A)2.0.05392481165565751671638018976049112343371744766632415352317928481677849298146194454424398083524204709381678904891990793879297923398334186027121394546352827249810074238295653 819
Intel Core i3-71001.14.0805387516668140169778881929687912714883182575983156225029292637191205716839018266507845009627536085329651104621046410007392640392307566719701780643045117336817377549157011326 815
Intel Core i7-6700K (6)1.12.08203486194270091893673621986091132050811807737234382220400635941523069391114117254565250897990728010286931911291103729662453337122608621419817668046984398580528327748126011641 790
Intel Core i7-4870HQ2.0.07853436204381101948801922567598138850192050796435512391336831211817460489863187835087462091846220102159608116001162310688464841632622619221369827047615468380330588294149711987 750
Intel Core i7-6700K (7)1.13.1-Intel86051831255730113537080207565221247684314068372163517682263170458651966310211513389233728256595413204843778828549393392588549164140251756991171963194096472649165468691299881592 711
Intel Core i7-38201.14.067529872502947226039540286283051670578726099278503726173698332721020743211903220916144554010652623297411024014366143421296361504871301270393133711351639263592568154210626180752385 665
Intel Core i7-7500U2.1.083337702461993925129806271984891531555223038830475526664229379820003775512443235246170555810846709311380108911444814455129685731506529397037283319915591066553070157310331143011444 664
Intel Core i7-4850HQ2.0.010744578235697782366945626878965164159362343936740632996393035602116268601088521052578851691031569771153811566129271303812227506748103247795723657938253686327523346639970206902399 629
Intel Core i5-7300U1.14.09414752210511039242510419258491051644628723699630419029303858350423564702810996244016353579511552798911503130411429913990132905292525328516962260401022657266693470121519849213852024 623
Intel Core i7-3770K1.14-Conda1278373630689383302098823483915417815812262197374614309540273603241025334830022013620352541252079211273213199153301496012995633452542801730929760890868236147421349948821135372039 612
Intel Xeon E3-1505M v5 (3)1.14.078584801802114721946112232262981913877841206511757341125282976269817235529985741793490437972133947145111451127713829137381202144385225288264352063510825481674064973965917296240961627 612 5
Intel Core i5-7360U1.15.01201572523811024421839504229689332163563224949752509927834322308025073625411331223057532562111027771211520103951542512791125735465695138758066288341245860979392433732029044136331442 608
Intel Core i5-8250U2.0.07684296205111254211691872617815314916090252889694034309342454202358808862164542616870266397130471240013863132751462815329136815828526542791050123901837255067854421723029852217473794 583
Intel Core i7-3720QM2.1.07793797286311352321511747348110349195767932997109056272309540943807209228564136772314769726379115487133114411255818144171051485173955796318772453663312941735976123491293713117170532014 569
Intel Core i7-3635QM2.1.0718364829191104830421109433939854186066042946107055809391542813872247598551136532481972216457142357199113601167616578165921503271615851329185783678712912736475102586168712226205572547 568
Intel Core i7-2600K1.14.0804362927051098728231105832369862188667812971107505824323640294151256848215136592591074537239126638264120561293417197173471590670085751331375763661813453741274463081188411429232802438 566
Intel Core i7-2700K1.14-Conda132539373196101453149107843631969518436194269095574470342142583773290135600868723589652255191652997051390317927172751634016041681556642961806531637957871516436438551659180136041885 566
Intel Xeon E3-1505M v5 (4)2.0.0-Conda63531002570676226016946382776682078505135778286806727126947672815864103691616218593143291303117371180332878713748261182652016518414335104641115474399410986999562094203379712152138281301 564 5
Intel Xeon E3-1505M v5 (5)1.14.07793616222910247293612087340812560235971802720127164297273943333933195216590105392077494308458141648512133531232015669157311358754105793336377022647699026336687151371290377766610541616 518 5
Intel Core i7-5500U2.1.01153502227541168730051112630339553171663622721102305404325948874476260489366153393237782026692140079776144421462619390199521725896317773365198624644214485890572693637199717099191542096 517
AMD Ryzen 3 12001.14.09646472212312054220012847256511504169695952620161633530111183216314020857569891592197892308282149437676123441193715660150651755244546109290573282408014394573011942541713714142801191141469 502 5
Intel Core i7-6700K (8)1.5.02280584341421192840481165642811000627818463411712503626631296892621620001115601862127274903681651257711582179291319720569201171586782655603365583744110112234960878026436353911536133241801 486
GeForce GT 7101.12.01178027380268603351017830254504138043083973078361417806157564207217128060148501365020650503692023558060320644801167602368470 1
Intel Core i7-4510U2.1.010565503390815555402915480430413356239184863655134897487397565145844306821196419174366159396843716874108441738916842220542224819746909079474340101444476115811932895184341236416378222012102 434
Intel Core i5-6200U2.2.011945782312213881310316221380014125228188123371132785513367350924566368789315148313915487108387194701290719182216622179821803207156754752747971179135717141047244877169681336323807343211741 414 5
Intel Core i5-4258U2.1.01446812437321954637461679840421487622871009954721684976125233639550103871798011518835396714574511656610851159831960720506211462117068469319420410566356512568211812117646842831516118364962683 382
Intel Xeon E3-1505M v5 (6)1.13.11129114683529184863948166764216145382362126173392176026385340411358101843177715758253953314115187130681876214113225601581122002220911738274267006497411649355941600175901042554691030515882256821646 378 5
AMD FX-83002.2.012665835466317827492517996555716048318611175486317200927263306883617433752131232082642845114571033020628120451933120314276432785324749112979277525713135582172002712647119565337292626948362645407 346
Intel Core i7-950 (1)1.14-Conda191752045751171625737183036593165663655102315253163081057851198836830940259142032443942401138511238223882155502492822506326453343025032146809001560213605731791940715849108855690678117073211482335 328
Intel Core i7-950 (2)1.5.0431210808696020022666219188683016283460612911667419184925645041239511185363601968231495444721504613555209062064332106235553251031825252361243488986199137336189518565149801230114423701519004223792891 293
Intel Core i7-9301.5.0405497227099202766881197067253171034680130486910198021019150321354510797411101949931207459031496813485214721912530016231793304932569262501324392696301142676696719655159471281711211634619462234673071 288
Zhaoxin KaiXian KX-U6780A1.14.01741753670022524972032662585582443558501846195283379916369929911441102715379621752345797103019936179673539419440310783166644001439763916919452136719225207421072513994525860241075777357355536354223994 220
Intel Core i3-3110M2.2.021258232913431816944035208103264174385542504789813311618831863216611119276031425387405997632522653186813588924020391703526351463520514394820389174801001822251106031387322334724233111181628746825648315963 180 5

1  -  The final AI Score for this device was estimated based on its inference score

2  -  The final AI Score for this device was estimated based on its training score

3  -  This device might be using unofficial / prototype hardware or drivers

4  -  These are the results of an early prototype. The results of the commercial device might be different

5  -  Due to multithreading issues, the performance of TensorFlow Windows builds can degrade by up to 2 times