Ма е роден в Ханджоу, град с 2,4 млн. жители в близост до Шанхай. Родителите му са били актьори в традиционен китайски музикален театър, наречен Пинтан. По време на икономическия бум през 1980 г. той става пълнолетен и научава английски като неплатен екскурзовод на туристи.
Два пъти той се е провалял в изпита за влизане в китайските университети, преди да бъде приет от Института за обучение на учители в Ханджоу. Докато икономиката продължава да се ускорява през 90-те години, той си търси работа, която няма нищо общо с учителската професия. Той казва, че безуспешно е кандидатствал за много работни места. Междувременно е бил отхвърлен като мениджър на ресторантите Kentucky Fried Chicken.
Когато през 1995 г. е пътувал като преводач с търговска делегация в Сиатъл, Ma се е запознал с интернет. Когато вижда колко малко информация има там за Китай, той решава да стартира своя собствена компания. През същата година Ма стартира China Pages - онлайн регистър на китайските предприятия. Alibaba той основава през 1999 година.
Колегите му казват, че Ma, който е женен и има две деца, изпитва истинска страст на сцената. Наред с другите неща, той се е появявал на сцената по време на конференции на неговата компания и с бившия президент на САЩ Бил Клинтън, с баскетболната звезда Кобе Брайънт и актьора Арнолд Шварценегер.
Ма умее да убеди всеки в стая с 600 човека, че говори лично за него, казва Дънкан Кларк, дългогодишен приятел на предприемача и технологичен консултант в Пекин.
Необичайните представления на Ма и способността му да мотивира голямата тълпа, са направили много от служителите му негови истински фенове. В централата на концерна Ма вече е благословил стотици младоженци - служители на Alibaba, които в своите сватбени рокли стават част от годишен ритуал.
Решителното му поведение и готовността му да поема рискове са помогнали на компанията да преодолее предизвикателствата, казват колегите му.
Както Ebay искаше да завладее китайския пазар през 2002 г., като създаде компания с местен сайт за пазаруване, Ma разработи Taobao, за да влезе в директна надпревара с американската компания. "Джак каза, че най-добрата защита е атаката", казва Джо Цаи, изпълнителен заместник-председател на Alibaba.
Ma реши също, че търговците в Taobao не трябва да плащат никакви такси, въпреки че Alibaba.com едва е на печалба. С това Taobao успя бързо да привлече търговците и да надмине китайския бизнес на Ebay. По-късно Taobao разработи модели за извличане на приходи от реклама.
Когато световната икономическа криза през 2009 г. удари и малките китайски търговци, които използват Alibaba.com, за да намерят купувачи в чужбина, мениджърите на компанията, включително Дейвид Уей, изпълнителен директор на Alibaba.com, предлагат намаляване на таксите с 50 процента.
„Джак каза, че няма да има Alibaba, ако търговците изчезнат", припомня си Уей. „Джак не се поколеба и за миг".
С намаляването на таксите Alibaba.com успя да оцелее през финансова криза и в същото време да привлече още повече потребители. Нетната печалба през 2010 г. е нараснала с 45 на сто спрямо предходната година.