Основни типови визуализације података¶

У овој радној свесци ћемо увести (или обновити) неке основне типове визуализације података (линијске, стубичасте и секторске дијаграме) на примеру припремљених података о студентима и дипломцима преузетих са сајта Републичког завода за статистику. Уз обнављање већ познатих опција које ови дијаграми нуде, искористићемо и увести и неке нове (ознаке на линијама, тип линије, наслагање стубића и измештање стубића) у складу са подацима који су нам на располагању.

Иако се учитавање библиотеке може одиграти на било ком месту у радној свесци, "бонтон" је да се све библиотеке увезу на почетку, чиме читалац одмах на почетку има представу које све додатне функције се користе у анализи у наставку. Користићемо библиотеке pandas (у овој свесци само за учитавање и преглед табеларних података) и matplotlib (за цртање дијаграма) које ћемо учитати и преименовати у њихове типичне скраћенице.

Наша највећа мотивација за коришћење pandas библиотеке је у једноставности учитавања, манипулације и чувања табеларних података. Стога ћемо и у наставку почети са учитавањем read_csv и прегледањем head фајла republika_srbija_visoko_2009_2017.csv:

Ова табела настала је комбиновањем више извештаја које издаје Републички завод за статистику (Општине и региони у Републици Србији), а у којима се налазе информације о броју уписаних студената у току одговарајуће школске године на нивоу државе, али и појединачних региона и општина. Како се формат тих табела пар пута мењао у протеклих 10 година, у учитаној табели су само сумирани подаци на нивоу целе Србије, а у некој наредној радној свесци ћемо додатно анализирати и једну конкретну годину.

Како табела садржи велики број колона па их не сагледавамо лепо прегледом првих пар редова, све колоне можемо излистати функцијом columns:

Међутим поред назива колона, уз помоћ функција info можемо сазнати и тип података који се крије у свакој од колона:

Корисно је што поред типа података (int64 или float64) сазнајемо и колико има уноса у којој колони, види нпр. "Ukupno diplomiranih zene: 6 non-null float64" где сазнајемо да само за 6 од 9 година имамо информације о броју жена које су дипломирале (то је једна од поменутих измена која се дешавала у публикацију РСЗ-а, тек у неком каснијем моменту кренули су да прикупљају и бележе одвојене податке за жене, што је направило измене у формату у коме се чувају подаци).

Ова табелица као што видимо, не садржи тако пуно података и одабрана је намерно да буде тако мала и сагледива, али ћемо и даље приметити разне начине да ове податке визуелно представимо и тако сагледамо информације које нам нису видљиве у табеларном облику.

За почетак ћемо представити укупан број студената на факултетима линијским дијаграмом. У наставку је најосновнији облик фунцкије plot са само једним аргументом. Ако је функцији прослеђена само 1 листа, вредности из листе коришћене су за координате на у оси, а на х оси су бројеви редом од 0:

Да прикажемо нацртани график, користимо и функцију show, пробајте шта се дешава без ње.

Међутим, ми у табели имамо и године којима одговарају ови бројеви студената, па можемо и то проследити функцији plot тако да координате на х-оси постану смисленије:

У претходном блоку кода додали смо имена х и у осе (користећи функције xlabel и ylabel), али смо додали и пар линија које су коментарисане (више различитих опција линијских дијаграма за исте податке), истражите разлике!

У табели имамо и број студената у вишим школама, али и број студената који су дипломирали и слично. Ако желимо да представимо више различитих линија на дијаграмима, то можемо видети на следећи начин. У наставку смо и одступили од стандардних боја, бирајући неке од именованих боја које можете наћи на овој листи. Додали смо такође имена овим линијама labels и уз помоћ њих можемо лако додати легенду графику користећи функцију legend.

Међутим, када се вредности у два различита низа оволико разликују, није лако више увидети шта се дешава на појединачним линијама. Обратите пажњу, на претходном дијаграму где смо посматрали само укупан број студената на факултетима, видели смо и неке успоне и падове у броју студената током година, док је овде та линија практично равна. Ово је последица "зумираности" дијаграма зато што је раније посматрани опсег на у оси био између 180 000 и 220 000 студената, док на последњем дијаграму гледамо цео распон у осе од 0 до 220 000 студената (ово смо контролисани користећи функцију ylim). Слично можемо погледати у каквом су односу бројеви студената на факултетима и вишим школама:

У овом случају је још теже уочити да ли постоје неке везе међу овим бројевима зато што је укупан број студената на вишим школама далеко мањи. Међутим, ако смо заинтересовани да ли дати бројеви студената варирају и колико, уместо да пратимо апсолутни број студената из године у годину, можемо истражити како се број студената мења у односу на прву посматрану годину:

Упозорење у вези са повезаним линијским дијаграмима: Покушајте да прво сортирате табелу по колони коју желите да нацртате па тек онда да нацртате одговарајући дијаграм.

Како је колона која садржи информације о укупном броју студената (и на факултетима и на вишим школама) непотпуна, у наставку ћемо је допунити:

Иако на х оси ових наших дијаграма имамо време, које је често довољан разлог да се одлучимо за линијски дијаграм, чињеница да број студената као измерена вредност има смисла само у дискретним временским тренуцима, позива да ипак можда ове податке представимо стубичастим дијаграмом (функција bar). Основни формат ове функције:

За разлику од функције plot, bar функцији је потребно проследити и х координате, тј. није могуће проследити само висине барова. Као и у функцији plot могуће је доделити одређену боју стубићима, као и означити одређен сет података за касније коришћење у легенди:

Ако нам је циљ да сагледамо укупан број студената који се школује у датом тренутку (без обзира на институцију у којој се школује), претходни дијаграм захтева од нас да у глави сабирамо висине стубића две различите боје, и када су међу њима разлике овако мале, са овог дијаграма није једноставно рећи да ли је укупно више студената било у 2013 или 2014 години. Постоје бар два начин да превазиђемо овај проблем у визуализацијама. Први је да уместо веће колоне (у овом случају броја студената на факултетима) цртамо стубиће укупног броја студената (и факултети и више школе), а затим преко нацртамо стубиће који одговарају колони са мањим вредностима:

На овај начин су делови розе дијаграма прекривени и само они видљиви делови одговарају броју студената на факултетима. Овако са у осе директно очитавамо укупан број студената и број студената на вишим школама, док је број студената на факултетима разлика ова два броја (приметимо, добили смо олакшицу у представљању једног податка, али сада други податак захтева рачун у глави). Други начин да се разреши иста ситуација, је коришћење опције bottom у оквиру bar функције. Ова опција дозвољава да се стубићи настављају један на други тиме што се висина једног слоја стубића користи као почетна тачка за висине нових стубића. Ово је посебно погодно кад имате више од 2 категорије стубића које бисте надовезивали.

На последња два дијаграма смо обрнули редослед стубића да бисмо оставили могућност да се и број студената на факултету директно очитава са у осе. Поправите претходне редове кода да добијете идентичан график претходном!

Коначно, код оваквих, надовезујућих графика, једна од идеја је и да се на једноставан начин осмотри како се однос међу категоријама мења током времена, па онда уместо да гледамо апсолутне вредности на у оси можемо посматрати проценте. Погледајмо исте податке и на тај начин:

И на овај начин видимо да из године у годину више студената студира на факултетима, углавном преко 80%, да бисмо ово лакше уочили, на последњи график додали смо и хоризонталне линије на сваких 20%, функцијом grid.

Слично визуелно истраживање можемо извести и поредећи буџетских и самофинансирајуће студената на факултетима и(ли) вишим школама, пробајте сами једну од претходних визуализација и упредите ове две колоне:

У наставку ћемо испробати још једну изузетно корисну функцију subplot којојм олакшавамо преглед више графика одједном тиме што креирамо поддијаграме:

Ова два графика, на два начина приказују податке из исте две колоне и на тај начин нам можемо да схватимо више информација које подаци из тих колона садрже. На пример, график са леве стране приказује како се мењао проценат буџетских студената на факултетима у посматраном временском периоду. Видимо да је у току последње 2 године проценат буџетских студената опао за 3-4% у односу на почетне године за које имамо податке. Како разматрамо проценте, разлог за овај уочени пад може бити смањење државног буџета, па самим тим и укупан број студената на буџету. А може бити и да је укупан број буџетских студената исти, али да се број самофинансирајућих студената повећао. Како би разоткрили узрок, на десној страни цртамо укупан број буџетских и самофинансирајућих студената. Примећујемо да је број буџетских студената доста сличан током година, чак у последњих пар година има више студената на буџету у односу на почетне године. Са друге стране, број студената који се самофинансирају је порастао за више од 20 000 што објашњава пад процента буџетских студената који смо опазили на левом графику.

У наставку ћемо једним примером демонстрирати различите начине да прикажемо упоредне вредности уз помоћ стубичастих дијаграма. Наиме, у табели постоје и подаци о укупном броју студената и студенткиња, па њих можемо из године у годину приказати на 2 дијаграма:

Функција bar уколико се другачије не нагласи подешава опсег у осе тако да увек креће од 0, док је максимум такав да и највиши стубић стаје са мало празног простора изнад. Када гледамо само један дијаграм, то нам је углавном у реду, али ако као сада, хоћемо да упоредимо два типа информација, уколико не обратимо пажњу на чињеницу да су распони у оса различити може нам се учинити да не постоји родна разлика.

Сада већ видимо да постоји родна разлика, међутим ово није оптималан начин представљања података ако је циљ да се истакне разлика која постоји из године у годину. Ови појединачни дијаграми су ок ако је циљ да уочавамо потенцијалне трендове по групама, мада у том случају је боље исте податке сагледати као линијске дијаграме (проверите!).

Коначно, погледајмо ове исте податке када се налазе на једном заједничком дијаграму, тако да су позиције стубића смакнуте (не преклапају се) да би поређење било олакшано:

Да бисмо ово постигли, функцији bar проследили смо још један опциони аргумент а који се тиче ширине стубића (приметите да су стубићи сада ужи, овај аргумент можете додати и на претходним дијаграмима!). Али само увођење ширине не би померило стубиће лево и десно, то смо урадили мењајући х координате позиција стубића, где смо податке о студенткињама померили у лево у односу на године, а студенте у десно (одузимањем и додавањем половине ширине стубића). Испробајте пар различитих верзија за ширину, али и позиције стубића и додајте имена оса и легенду.

Коначно, додајте овом дијаграму десни дијаграм на коме ће на исти начин бити представљени и упоређени бројеви студената и студенткиња који су дипломирали:

Претходне информације можемо сумирати у један дијаграм поредећи процентуалну заступљеност студенткиња међу уписаним и дипломираним студентима:

Са употребом секторских дијаграма (pie charts) треба бити пажљив (иако су доста доминантни у јавној комуникацији) пре свега зато што људи нису претерано добри у процени и поређењу углова/лукова. Но ако поредите само пар величина или вам је циљ да само демонстрирате да је једна од групација доминантна, питице су изузетне због нашег свакодневног искуства са питама-пицама-тортама :)

Стога ћемо у наставку приказати један део ових података који је погодан за секторски дијаграм, као и кад је секторски дијаграм непогодан и потребно је вратити се стубићима или линијама.

Фокусираћемо се на број дипломираних по различитим степенима факултетског образовања који су дати колонама Диплома I,II,III степен.

Ако је циљ наше визуализације само да демонстрира да је највише дипломаца 2017 године са дипломом првог степена и то више од пола, док су дипломе другог и трећег степена ређе, ово је идеална визуализација. Међутим, ако очекујемо да се са овог дијаграма оцени у ком су односу дипломци првог и другог степена (дал' је ових првих дупло више од других или тако нешто), то је изузетно тешко на овом дијаграму. Слично, визуализација у наставку је један од лошијих избора, иако често присутна:

Опет, ако је циљ само проценити да се нешто десило између 2014 и 2015. године и тачни бројеви и односи међу бројевима нас не занимају, ова илустрација служи сврси. Међутим ако гледамо неке податке упоредно, из године у годину, обично је циљ да проверимо да ли постоје неки трендови а са поређење исечака није јендоставно, стога су у наставку два боља начина да се исти подаци представе стубићима и линијама:

Често ћемо желети да лепе дијаграме које правимо и сачувамо, ван радне свеске, за то нам је од користи функција savefig, видите локални фолдер у њему се сада налази фајл са направљеним дијаграмима.

Неочекивани скок у броју студената који су дипломирали на студијама I степена у 2015. години (испраћен истим наглим падом оних који су дипломирали са II степеном) је последица промене у методологији и дефиницијама I и II степена. Да видимо да ли се укупан број дипломаца мењао, можемо погледати број студената који су дипломирали на студијама првог и другог степена сумарно:

У претходном смо опет пар линија коментарисали, проверите шта оне раде. Понекад, када су сви стубићи високи као на овом графику, и када су њихове међусобне разлике мале у односу на укупну висину, може бити корисно да промените опсег у осе. Али, будите опрезни са скраћивањем у осе, размишљајте о читаоцу ваше визуализације, који неће увек испратити да сте променили опсег што може довести до погрешних интерпретација, видите нпр. овај пример.

Циљ ове радне свеске био је да се упознамо (или подсетимо) са основним типовима визуализација података - линијским, стубичастим и секторским дијаграмима. Све ове визуализације направили смо користећи пајтон и библиотеку matplotlib тако да смо спремни да наставимо са обимнијим сетовима података.

У наставку ћемо се често бавити и већим и неуреднијим сетовима података, где ће први део анализе бити чишћење и издвајању интересантних делова из табеле, тј. конструисање малог сета података који ће затим сличним начинима бити представљан на дијаграмима.

За даље читање:¶

Coloring for Colorblindness

Why scientists need to be better at data visualization