Analiza razpoloženja

Iz Wikipedije, proste enciklopedije

Analiza razpoloženja (znana tudi kot pridobivanje mnenj ali čustvena umetna inteligenca) pomeni uporabo naravnega jezika, analize besedil, računalniške lingvistike in biometrije za sistematično prepoznavanje, ekstrahiranje, kvantificiranje in proučevanje afektivnih stanj in subjektivnih informacij. Analiza razpoloženja se pogosto uporablja za gradiva s povratnimi informacijami uporabnikov, kot so ocene in anketni odgovori, spletna in družbena omrežja ter zdravstvena gradiva za namene, ki segajo od trženja do storitev za stranke in klinične medicine.

Zgledi[uredi | uredi kodo]

Cilj in izzive analize razpoloženja lahko prikažemo z nekaj preprostimi zgledi.

Preprosti primeri[uredi | uredi kodo]

  • Coronet ima najboljše linije za celodnevno križarjenje.
  • Bertram ima globok V trup in z lahkoto pluje po morjih.
  • Pastelne floridske križarke iz osemdesetih so grde.
  • Ne maram starih kabinskih križark.

Zahtevnejši zgledi[uredi | uredi kodo]

  • Ne maram kabinskih križark. (ravnanje z zanikanji)
  • Ne marati plovil v resnici ni moja stvar. (zanikanje, obrnjen besedni red)
  • Včasih resnično sovražim RIB. (na izraženo razpoloženje vpliva prislov)
  • Prav zares bi šla rada ven v tem vremenu! (morda sarkastično)
  • Chris Craft je videti lepše kot Limestone. (Dve blagovni znamki, določitev stališča je težka).
  • Chris Craft je videti lepše kot Limestone, vendar Limestone izraža plovnost in zanesljivost. (Dve stališči, dve blagovni znamki).
  • Film preseneča z obilico vznemirljivih zapletov. (Negativen izraz, ki se na nekaterih področjih uporablja v pozitivnem smislu).
  • Morali bi videti njihov dekadentni meni s sladicami. (Polarnost izraza stališča se je na nekaterih področjih pred kratkim spremenila).
  • Obožujem svoj mobilni telefon, vendar ga ne bi priporočil nobenemu kolegu. (Upravičeno pozitivno mnenje, ki ga je težko kategorizirati).
  • Koncert naslednji teden bo pravi koide9! (»Quoi de neuf?«; fr.: »Kaj je novega?«. Nove skovanke lahko jasno izražajo stališče, vendar so spremenljive polarnosti in pogosto zunaj znanega besedišča.)

Vrste[uredi | uredi kodo]

Osnovna naloga pri analizi razpoloženja je opredelitev polarnosti danega besedila na ravni dokumenta, povedi ali značilnosti/vidika – ali so izraženo mnenje v dokumentu, poved ali značilnost/vidik subjekta pozitivni, negativni ali nevtralni. Napredna klasifikacija razpoloženja, ki presega polarnost, je na primer namenjena čustvenim stanjem, kot so »jezen«, »žalosten« in »vesel«.

Predhodniki analize razpoloženja vključujejo program General Inquirer,[1] ki se je uporabljal za lažjo kvantifikacijo vzorcev v besedilu, in, ločeno, psihološke raziskave, pri katerih so z analizo besednega vedenja proučevali človekovo duševno stanje.[2]

Pozneje sta Volcani in Fogel razvila metodo za natančno proučevanje čustev in v besedilu prepoznavala posamezne besede in besedne zveze z vidika različnih čustvenih lestvic. Trenutni sistem, ki temelji na njunem delu, imenovan EffectCheck, predstavlja sopomenke, s katerimi je mogoče na vsaki lestvici povečati ali zmanjšati raven vzbujenih čustev.

Številna druga poznejša prizadevanja so bila manj sofisticirana in so uporabljala zgolj polarni pogled na razpoloženje – od pozitivnega do negativnega, na primer delo Turneyja[3] in Panga,[4] ki sta z različnimi postopki zaznavala polarnost ocen izdelkov in pregledov filmov. To delo je bilo opravljeno na ravni dokumentov. Polarnost dokumenta lahko razvrstimo tudi z uporabo večsmerne lestvice, kar sta med drugimi poskušala Pang[5] in Snyder:[6] Pang in Lee sta osnovno nalogo razvrstitve filmskega pregleda kot pozitivnega ali negativnega razširila na napovedovanje zvezdic na lestvici s 3 ali 4 zvezdicami, Snyder pa je opravil poglobljeno analizo pregledov restavracij in napovedoval ocene različnih vidikov izbranih restavracij, npr. hrano in vzdušje (na lestvici s petimi zvezdicami).

Prvi koraki k združevanju različnih pristopov – učenja, leksike, znanja idr. – so bili opravljeni na spomladanskem simpoziju AAAI 2004, na katerem so jezikoslovci, računalničarji in drugi zainteresirani raziskovalci prvič uskladili interese ter predlagali skupne naloge in primerjalne nize podatkov za sistematične računske raziskave o afektu, privlačnosti, subjektivnosti in razpoloženju v besedilu.[7]

Čeprav se pri večini statističnih metod klasifikacije nevtralna skupina prezre zaradi predpostavke, da so nevtralna besedila blizu meje binarnega klasifikatorja, več raziskovalcev meni, da je treba, tako kot pri vsakem problemu polarnosti, razlikovati tri kategorije. Poleg tega je mogoče dokazati, da je lahko pri posebnih klasifikatorjih, kot sta Max Entropy[8] in SVM,[9] uvedba nevtralne skupine koristna, saj izboljša splošno natančnost klasifikacije. Načeloma je mogoče nevtralno skupino uporabljati na dva načina. Algoritem bodisi najprej prepozna nevtralni jezik, ga izloči in nato glede na pozitivne in negativne občutke oceni preostanek ali pa v enem koraku opravi trismerno klasifikacijo.[10] Ta drugi pristop pogosto vključuje oceno porazdelitve verjetnosti po vseh kategorijah (npr. naivne Bayesove klasifikatorje, kot jih uporablja orodje NLTK). Uporaba in način uporabe nevtralne skupine sta odvisna od narave podatkov: Če so podatki jasno združeni v nevtralni, negativni in pozitivni jezik, je nevtralni jezik smiselno filtrirati in se osredotočiti na polarnost pozitivnih in negativnih mnenj. Če bi bili nasprotno podatki večinoma nevtralni in bi bila odstopanja v pozitivno ali negativno smer majhna, bi ta strategija otežila jasno razlikovanje med obema poloma.

Drugačna metoda za ugotavljanje razpoloženja je uporaba lestvičnega sistema, pri katerem se besedam, ki so običajno povezane z negativnim, nevtralnim ali pozitivnim razpoloženjem, pripiše številka na lestvici od −10 do +10 (od najbolj negativne do najbolj pozitivne) ali preprosto od 0 do pozitivne zgornje meje, npr. +4. To omogoča prilagoditev razpoloženja danega izraza glede na njegovo okolje (običajno na ravni povedi). Kadar se del nestrukturiranega besedila analizira z uporabo naravne obdelave jezika, prejme vsak koncept v določenem okolju oceno, ki temelji na načinu, kako se besede razpoloženja povezujejo s konceptom in z njim povezano oceno.[11][12][13] To omogoča premik h globljemu razumevanju razpoloženja, saj je zdaj vrednost razpoloženja mogoče prilagoditi konceptu glede na modifikatorje, ki bi ga lahko obdajali. Na oceno koncepta lahko na primer vplivajo besede, ki okrepijo, sprostijo ali izničijo razpoloženje. Druga možnost je, da se besedilu dodeli pozitivna ali negativna ocena moči razpoloženja, kar se uporablja za določanje razpoloženja v besedilu namesto splošne polarnosti in moči besedila.[14]

Obstajajo tudi različne druge vrste analize razpoloženja, kot so analiza razpoloženja na podlagi vidika, gradirana analiza razpoloženja (pozitivna, negativna, nevtralna), večjezična analiza razpoloženja in zaznavanje čustev.

Prepoznavanje subjektivnosti/objektivnosti[uredi | uredi kodo]

To nalogo običajno opredelimo kot uvrstitev določenega besedila (običajno povedi) v eno od dveh skupin: objektivno ali subjektivno.[15] Ta problem je lahko težji od klasifikacije polarnosti.[16] Subjektivnost besed in besednih zvez je lahko odvisna od njihovega konteksta, objektiven dokument pa lahko vsebuje subjektivne povedi (npr. članek v novicah, ki vključuje mnenja ljudi). Poleg tega so, kot omenja Su,[17] rezultati zelo odvisni od opredelitve subjektivnosti, ki se uporablja pri označevanju besedil. Vendar je Pang[18] pokazal, da je učinkovitost mogoče izboljšati z odstranitvijo objektivnih povedi iz dokumenta pred klasificiranjem.

Subjektivna in objektivna identifikacija, nastajajoča podopravila analize razpoloženja za uporabo skladenjskih, semantičnih značilnosti in znanja o strojnem učenju za prepoznavanje povedi ali dokumenta so prepoznavanje dejstev in mnenj. To ni nova zamisel, saj jo je morda kot prvi predstavil že Carbonell na univerzi Yale leta 1979.

Izraz cilj se nanaša na dogodek, ki vsebuje dejanske informacije.[19]

  • Primer objektivne povedi: »Da je lahko kandidat izvoljen za predsednika ZDA, mora biti star najmanj petintrideset let.«

Subjektiven opis dogodka pomeni, da opis vsebuje nedejstvene informacije v različnih oblikah, kot so osebna mnenja, presoja in napovedi. To je znano tudi kot »zasebna stanja«, o katerih so pisali Quirk in sod.[20] V spodnjem primeru odraža zasebno državo besedna zveza »Mi, Američani«. Poleg tega ima lahko ciljni subjekt, na katerega se nanašajo mnenja, več različnih oblik, od oprijemljivega izdelka do neoprijemljivih tem. kar je obravnaval Lui (2010).[21] Liu (2010) je poleg tega opredelil tri vrste stališč: 1.) pozitivna mnenja, 2.) nevtralna mnenja in 3.) negativna mnenja.

  • Primer subjektivne povedi: »Mi, Američani, moramo izbrati zrelega predsednika, sposobnega modrih odločitev.«

Ta analiza je klasifikacijski problem.[22] Zbirke besed ali kazalnikov faz vsakega razreda so opredeljene tako, da najdejo uporabne vzorce na neopaženem besedilu. Za subjektivno izražanje je bil ustvarjen drugačen seznam besed. Seznami subjektivnih kazalcev v besedah ali besednih zvezah so razvili več raziskovalcev na področju jezikoslovja in obdelave naravnega jezika v Riloff in sod. (2003).[23] Za merjenje danih izrazov je treba izdelati slovar pravil ekstrakcije. V preteklih letih je pri subjektivnem zaznavanju napredovanje ekstrakcije funkcij potekalo od ročnega kuriranja funkcij leta 1999 do avtomatiziranega učenja funkcij leta 2005.[24] Trenutno se avtomatizirane učne metode lahko nadalje ločijo na nadzorovano in nenadzorovano strojno učenje. Akademski raziskovalci so v veliki meri raziskovali vzorce, ki so bili označeni s procesom strojnega učenja, označenim in brez komentarjev.

Raziskovalci so pri razvoju fiksnega nabora pravil za izraze naleteli na več izzivov. Zahtevnost priprave pravil v precejšnji meri izhaja iz narave besedilnih informacij. Prepoznali so šest izzivov: 1.) metaforične izraze, 2.) neskladja v zapisih, 3.) kontekstno občutljivost, 4.) prisotnost besed, ki se manj uporabljajo, 5.) časovno občutljivost in 6.) vedno večji obseg.

  1. Metaforični izrazi. Na uspešnost ekstrakcije lahko vplivajo metaforični izrazi, ki jih vsebuje besedilo.[25] Poleg tega so k povečanemu zaznavanju morda prispevale različne oblike metafor.
  2. Neskladja v zapisih. Pri besedilih, pridobljenih z interneta, vključujejo razlike v slogu pisanja ciljnih besedilnih različne zvrsti in sloge pisanja.
  3. Kontekstna občutljivost. Na opredelitev lahko vpliva subjektivnost ali objektivnost prejšnjih in naslednjih povedi.[22]
  4. Časovna občutljivost. Nalogo otežuje časovna občutljivost nekaterih besedilnih podatkov. Če želi skupina raziskovalcev potrditi dejstvo v novici, potrebuje daljši čas za navzkrižno potrditev in novica zastari.
  5. Manj uporabljane iztočnice.
  6. Vedno večji obseg. Nalogo otežuje tudi velik obseg besedilnih podatkov. Zaradi vse večjega nabora besedilnih podatkov raziskovalci izjemno težko opravijo nalogo pravočasno.

V preteklosti so se raziskave osredinjale predvsem na opredelitev ravni dokumentov. Vendar je opredelitev ravni dokumentov manj natančna, saj lahko članek vsebuje različne vrste izrazov. Raziskava gradiva na primer pokaže, da v naboru novic prevladuje objektivno izražanje, rezultati analize pa pokažejo, da več kot 40 odstotkov vsebine zajema subjektvno izražanje.[19]

Raziskovalci, ki se spoprijemajo s temi izzivi, so ugotovili, da je učinkovitost klasifikatorja odvisna od natančnosti učenja vzorcev. Učni program, ki je obdelal veliko količino označenih učnih podatkov, je presegel programe, ki so obdelali subjektivne lastnosti manj celovito. Vendar je ena od glavnih ovir za izvajanje tovrstnega dela ročno ustvarjanje velikega nabora označenih povedi. Metoda ročnega označevanja je bila manj priljubljena kot samodejno učenje iz treh razlogov:

  1. Razlike v razumevanju. Pri opravilu ročnega označevanja se lahko med označevalci pojavijo razhajanja, ali je posamezno mesto subjektivno ali objektivno.
  2. Človeške napake. Naloga ročnega označevanja je natančna naloga, za opravljanje katere je potrebna močna koncentracija.
  3. Zamudnost. Naloga ročnega označevanja je zahtevno delo. Riloff (1996) je pokazal, da potrebuje en označevalec za označenje 160 besedil 8 ur.[26]

Na uspešnost subjektivne in objektivne razvrstitve lahko vplivajo vsi omenjeni dejavniki. Skladno s tem sta bili zasnovani dve metodi samovzorčenja za učenje jezikovnih vzorcev iz neoznačenih besedilnih podatkov. Obe metodi se začneta z nekaj začetnimi besedami in neoznačenimi besedilnimi podatki.

  1. Tehnika Meta-Bootstrapping avtorjev Riloffa in Jonesa iz leta 1999.[27] Prva stopnja: Na podlagi vnaprej določenih pravil ustvarite ekstrakcijske vzorce in ekstrahirane vzorce glede na število začetnih besed, ki jih ima vsak vzorec. Druga raven: Označite prvih 5 besed in jih dodajte v slovar. Ponovite.
  2. Basilisk (Bootstrapping Approach to SemantIc Lexicon Induction using Semantic Knowledge) avtorjev Thelena in Riloffa.[28] Prvi korak: Ustvarite ekstrakcijske vzorce. Drugi korak: Najboljše vzorce premaknite iz zaloge vzorcev v zalogo kandidatnih besed. Tretji korak: Vrhnjih 10 besed bo označenih in dodanih v slovar. Ponovite.

Na splošno ti algoritmi poudarjajo potrebo po samodejnem prepoznavanju in ekstrakciji vzorcev pri subjektivnem in objektivnem opravilu.

Predhodno obdelavo naravnega jezika lahko izboljšata subjektivni in objektivni klasifikator. Ena glavnih prednosti klasifikatorja je, da je v različnih panogah populariziral prakso procesov podatkovnega odločanja. Po besedah Liua se subjektivna in objektivna identifikacija izvajata v poslovanju, oglaševanju, športu in družboslovju.[29]

  • Spletna klasifikacija ocen: Klasifikator pomaga podjetju, da bolje razume povratne informacije o izdelku in razloge za oceno.
  • Napovedovanje cen delnic: V finančni industriji klasifikator izboljša napovedni model z obdelavo pomožnih informacij iz družbenih omrežij in drugih besedilnih informacij s spleta. Prejšnje študije cen japonskih delnic, ki so jih opravili Dong in sod. kažejo, da lahko model s subjektivnim in objektivnim modulom deluje bolje kot modeli brez te komponente.[30]
  • Analiza družbenih omrežij.
  • Povzemanje dokumentov: Klasifikator lahko ekstrahira ciljno določene komentarje in zbira mnenja posameznega subjekta.
  • Odgovarjanje na zapletena vprašanja. Klasifikator lahko zapletena vprašanja razčleni tako, da opredeli subjet ali objektivni in fokusirani cilj. V raziskavi Yu in sod. (2003) je raziskovalec zasnoval stavek in dokumentiral raven združitve identitetnih delov mnenj.[31]
  • Področju lastni nameni uporabe.
  • Analiza e-pošte: Subjektivni in objektivni klasifikator zaznata neželeno pošto s sledenjem jezikovnim vzorcem s ciljnimi besedami.

Na podlagi značilnosti/vidika[uredi | uredi kodo]

Nanaša se na ugotavljanje mnenj ali občutkov, izraženih o različnih značilnostih ali vidikih entitet, npr. mobilnega telefona, digitalnega fotoaparata ali banke.[32] Značilnost ali vidik je atribut ali komponenta entitete, npr. zaslon mobilnega telefona, storitev v restavraciji ali kakovost slike fotoaparata. Prednost analize razpoloženja je možnost zajemanja odtenkov o predmetih zanimanja. Različne značilnosti lahko ustvarijo različne odzive razpoloženja; hotel ima na primer lahko priročno lego, vendar povprečno hrano.[33] Ta problem vključuje več podproblemov, npr. prepoznavanje ustreznih entitet, ekstrahiranje njihovih značilnosti/vidikov in ugotavljanje, ali je mnenje, izraženo o posamezni značilnosti/vidiku, pozitivno, negativno ali nevtralno.[34] Samodejno prepoznavanje lastnosti lahko izvedete s skladenjskimi metodami, modeliranjem tem[35][36] ali globokim učenjem.[37][38] Podrobnejše razprave o tej ravni analize razpoloženja so obravnavane v Liejuevem delu.[21]

Obstoječe pristope k analizi sentimenta lahko razdelimo v tri glavne kategorije: tehnike, ki temeljijo na znanju, statistične metode in hibridni pristopi.[39] Tehnike, ki temeljijo na znanju, razvrščajo besedilo po kategorijah afektov na podlagi prisotnosti nedvoumnih besed afekta, kot so vesel, žalosten, prestrašen in dolgčas.[40] Nekatere baze znanja ne le navajajo očitne vplivne besede, temveč tudi poljubnim besedam dodelijo verjetno "afiniteto" do določenih čustev.[41] Statistične metode izkoriščajo elemente strojnega učenja, kot so latentna semantična analiza, podporni vektorski stroji, " vreča besed ", " Točkovno medsebojne informacije " za semantično orientacijo [3] in globoko učenje. Prefinjenejše metode poskušajo zaznati imetnika sentimenta (tj. Osebo, ki ohranja to afektivno stanje) in tarčo (tj. Entiteto, na katero se čuti afekt).[42] Za pridobivanje mnenja v kontekstu in pridobitev lastnosti, o kateri je govornik izrazil stališče, se uporabljajo slovnična razmerja besed. Smerniške odvisne relacije dobimo z globokim razčlenjevanjem besedila.[43] Hibridni pristopi izkoriščajo tako strojno učenje kot tudi elemente iz predstavitve znanja, kot so ontologije in semantična omrežja, da bi odkrili semantiko, ki je izražena na subtilen način, npr. Z analizo konceptov, ki eksplicitno ne posredujejo ustreznih informacij, vendar so implicitno povezani drugim konceptom, ki to počnejo.[44]

Odprtokodna programska orodja in vrsta brezplačnih in plačljivih orodij za analizo razpoloženja uvajajo strojno učenje, statistiko in tehnike obdelave naravnega jezika za avtomatizacijo analize razpoloženja velikih zbirk besedil, vključno s spletnimi stranmi, spletnimi novicami, spletnimi diskusijskimi skupinami, spletnimi ocenami, spletnimi blogi in družbenimi omrežji.[45] Sistemi na podlagi znanja pa pridobivanjo semantične in afektivne informacije, povezane s koncepti naravnega jezika, iz javno dostopnih virov. Sistem lahko olajša zdravorazumsko afektivno sklepanje.[46] Analizo razpoloženja je mogoče opraviti tudi na vizualni vsebini, tj. slikah in videoposnetkih (multimodalna analiza razpoloženja). Eden od prvih pristopov v tej smeri je SentiBank,[47] ki za prikaz vizualne vsebine uporablja reprezentacijo s pari pridevnika in samostalnika. Poleg tega velika večina pristopov za opredelitev razpoloženja uporablja model vreče besed, ki zanemari kontekst, slovnico in celo besedni red. Boljše rezultate so dali pristopi, ki analizirajo razpoloženje na podlagi tega, kako besede sestavijo pomen daljših povedi,[48] vendar zahtevajo dodatno označevanje.

Pri analizi razpoloženja je potrebno sodelovanje človeka, saj avtomatizirani sistemi ne morejo analizirati zgodovinskih tendenc posameznega komentatorja ali platforme in izražena razpoloženja pogosto opredelijo napačno. Avtomatizacija napačno razvrsti približno 23 % komentarjev, ki jih ljudje razvrstijo pravilno.[49] Vendar se ljudje pogosto ne strinjamo in nekateri trdijo, da je medosebno soglasje zgornja meja, ki jo bodo avtomatizirani klasifikatorji razpoloženja sčasoma dosegli.[50]

Včasih je struktura čustev in tem precej zapletena. Problem analize razpoloženja je nemonoton tudi z vidika podaljševanja povedi in zamenjevanja stop besed (primerjajte trditvi NE dovolijo, da bi moj pes bival v tem hotelu in Ne bi pustil, da bi moj pes bival v tem hotelu). Za reševanje tega vprašanja so bili pri analizi razpoloženja uporabljeni številni pristopi, ki temeljijo na pravilih in na argumentiranju, vključno s programiranjem z uklonljivo logiko.[51] Prav tako obstajajo številna pravila za prehod drevesa, ki se uporabljajo za drevo razčlenjevanja skladnje, da bi ekstrahirali aktualnost razpoloženja v situacijah odprtega področja.[52][53]

Ocenjevanje[uredi | uredi kodo]

Natančnost sistema za analizo razpoloženja je načeloma to, kako dobro se ujema s človeškimi presojami. To se običajno meri z različnimi merili, ki temeljijo na natančnosti in priklicu v dveh ciljnih kategorijah negativnih in pozitivnih besedil. Vendar se po raziskavah človeški ocenjevalci običajno strinjajo le približno 80 %[54] časa (glejte medocenjevalna zanesljivost). Tako je program, ki dosega 70-odstotno natančnost pri razvrščanju razpoloženja, skoraj enako uspešen kot ljudje, čeprav takšna natančnost morda ne zveni impresivno. Če bi bil program »točen« 100 % časa, se ljudje še vedno ne bi strinjali z njim približno 20 % časa, saj se tako pogosto ne strinjajo glede vsakršnega odgovora.[55]

Po drugi strani bodo računalniški sistemi naredili zelo drugačne napake kot človeški ocenjevalci, zato številke niso popolnoma primerljive. Računalniški sistem bo imel na primer težave z zanikanji, pretiravanji, šalami ali sarkazmom, ki jih človeški bralec običajno zlahka obvlada; nekatere napake, ki jih naredi računalniški sistem, se zdijo človeku preveč naivne. Na splošno je bila uporabnost analize razpoloženja, kot je opredeljena v akademskih raziskavah, za praktične komercialne naloge vprašljiva, in sicer predvsem zato, ker preprost enodimenzionalni model razpoloženja, ki sega od negativnega do pozitivnega, uporabniku, ki ga skrbi učinek javnega govora na blagovno znamko ali ugled podjetja, da zelo malo informacij o ustreznem ravnanju.[56][57][58]

Da bi bolje ustrezalo potrebam trga, se je ocenjevanje analize razpoloženja preusmerilo k bolj opravilno naravnanim merilom, oblikovanim v sodelovanju s predstavniki agencij za odnose z javnostmi in strokovnjaki za trženjske raziskave. V naboru ocenjevalnih podatkov RepLab je na primer manjši poudarek na vsebini obravnavanega besedila, bolj poudarjen pa je vpliv obravnavanega besedila na ugled blagovne znamke.[59][60][61]

Ker je ocenjevanje analize razpoloženja vse bolj opravilno usmerjeno, je za vsako izvedbo potreben ločen model učenja, da se za dani nabor podatkov pridobi natančnejši prikaz razpoloženja.

Splet 2.0[uredi | uredi kodo]

Porast družbenih medijev, kot so blogi in družbena omrežja, je spodbudil zanimanje za analizo razpoloženja. S širjenjem mnenj, ocen, priporočil in drugih oblik spletnega izražanja se je spletno mnenje spremenilo v nekakšno virtualno valuto za podjetja, ki želijo tržiti svoje izdelke, prepoznavati nove priložnosti in upravljati svoj ugled. Ker si podjetja prizadevajo avtomatizirati postopek filtriranja šuma, razumevanja pogovorov, prepoznavanja ustrezne vsebine in ustreznega ukrepanja, zdaj področje analize razpoloženja raziskujejo številna podjetja.[62] Zadevo dodatno otežuje vzpon anonimnih platform družbenih omrežij, kot sta 4chan in Reddit.[63] Če je bil splet 2.0 namenjen demokratizaciji objavljanja, naslednja stopnja spleta morda temelji na demokratizaciji podatkovnega rudarjenja vse vsebine, ki se objavlja.[64]

En korak k temu cilju je v raziskavah že dosežen. Številne raziskovalne skupine na univerzah po vsem svetu se trenutno osredinjajo na razumevanje dinamike razpoloženja v e-skupnostih z analizo razpoloženja.[65] Projekt CyberEmotions je na primer pred kratkim osvetlil vlogo negativnih čustev pri spodbujanju pogovorov na družbenih omrežjih.[66]

Težava je v tem, da večina algoritmov za analizo razpoloženja uporablja preproste izraze za izražanje občutja o izdelku ali storitvi. Vendar je zaradi kulturnih dejavnikov, jezikovnih odtenkov in različnih kontekstov vrsto pisnega besedila izjemno težko spremeniti v preprosto naklonjenost ali nenaklonjenost.[62] Dejstvo, da se ljudje pogosto ne strinjamo o razpoloženju, ki ga izraža besedilo, kaže, kako zahtevno je zagotoviti pravilno računalniško ocenjevanje razpoloženja. Čim krajše je besedilo, tem težje je.

Čeprav so kratki besedilni nizi morda problematični, je analiza razpoloženja mikroblogov pokazala, da lahko Twitter vidimo kot veljaven spletni kazalnik političnega razpoloženja. Politično razpoloženje tvitov kaže na tesno ujemanje s političnimi stališči strank in politikov, kar dokazuje, da vsebina sporočil na Twitterju verodostojno odraža nespletno politično krajino.[67] Poleg tega se je izkazalo, da analiza razpoloženja na Twitterju zajame tudi svetovno javno razpoloženje[68] in druge dejavnike, pomembne za javno zdravje, kot so na primer neželeni učinki zdravil.[69]

Uporaba v priporočilnih sistemih[uredi | uredi kodo]

Za priporočilne sisteme se je analiza razpoloženja izkazala kot dragocena tehnika. Cilj priporočilnega sistema je predvideti preferirani artikel ciljnega uporabnika. Splošni priporočilni sistemi delujejo na podlagi eksplicitnega nabora podatkov. Sodelovalno filtriranje na primer deluje na podlagi ocenjevalne matrice, vsebinsko filtriranje pa na podlagi metapodatkov artiklov.

V številnih storitvah za družbeno mreženje ali na spletnih mestih za e-trgovino lahko uporabniki artiklom dodajo besedilno oceno, komentar ali povratno informacijo. To uporabniško ustvarjeno besedilo ponuja bogat vir mnenj uporabnikov o številnih izdelkih in artiklih. Takšno besedilo lahko za artikel po možnosti razkrije tako povezano značilnost/vidike artikla kot tudi razpoloženje uporabnikov glede posamezne značilnosti.[70] Značilnost/vidiki artikla, opisani v besedilu, igrajo enako vlogo kot metapodatki pri filtriranju na podlagi vsebine, vendar so za priporočilne sisteme precej primernejši. Ker uporabniki v svojih ocenah značilnosti pogosto omenjajo, jih lahko obravnavamo kot najpomembnejše lastnosti, ki lahko bistveno vplivajo na uporabnikovo izkušnjo z izdelkom, medtem ko lahko metapodatki o izdelku (običajno jih namesto potrošnikov navedejo proizvajalci) prezrejo značilnosti, ki so pomembne za uporabnike. Uporabnik lahko poda različne ocene za različne artikle s skupnimi lastnostmi. Poleg tega lahko je lahko značilnost istega artikla deležna različnih mnenj različnih uporabnikov. Občutje uporabnikov glede lastnosti lahko obravnavamo kot večdimenzionalno oceno, ki odraža njihovo prednost glede artiklov.

Na podlagi značilnosti/vidikov in občutkov, pridobljenih iz uporabniško ustvarjenega besedila, je mogoče zgraditi hibridni priporočilni sistem.[71] Priporočanje artiklov uporabnikom temelji na dveh lastnostih. Prva lastnost je, da ima predlagani artikel številne skupne lastnosti z uporabnikovimi preferiranimi artikii,[72] druga lastnost pa je, da je kandidatni artikel dobro ocenjen glede svojih lastnosti. Smiselno je predpostaviti, da bodo imeli artikli z enakimi lastnostmi kot preferirani izdelek podobno funkcijo ali uporabnost. Torej bo uporabnik verjetno preferiral tudi te artikle. Po drugi strani pa lahko drugi uporabniki skupno značilnost pri enem kandidatnem artiklu ocenijo pozitivno, pri drugem pa negativno. Jasno je, da je treba uporabniku priporočiti artikel z visoko oceno. Na podlagi teh dveh lastnosti lahko za vsak kandidatni artikel sestavimo kombinirano oceno podobnosti in oceno razpoloženja.

Razen težavnosti same analize razpoloženja se uporaba analize razpoloženja pregledov ali povratnih informacij sooča tudi z izzivom neželene pošte in pristranskih pregledov. Delo se zato usmerja tudi na oceno koristnosti vsakega pregleda.[73] Slabo napisane ocene ali povratne informacije težko pomagajo priporočilnemu sistemu. Poleg tega je lahko pregled zasnovan tako, da ovira prodajo ciljnega izdelka, zato priporočilnemu sistemu škoduje, čeprav je dobro napisan.

Raziskovalci so ugotovili tudi, da je treba dolge in kratke oblike uporabniško ustvarjenega besedila obravnavati drugače. Zanimiv rezultat kaže, da so kratke ocene včasih koristnejše kot dolge,[74] ker je v kratkem besedilu lažje filtrirati šum. Dolžina besedila ne pomeni vedno sorazmernega povečanja števila značilnosti ali občutij v besedilu.

Lamba in Madhusudhan[75] sta predstavila inovativen način za izpolnjevanje potreb po informacijah današnjih uporabnikov knjižnic s ponovnim zapakiranjem rezultatov analize razpoloženja na platformah družbenih omrežij, kot je Twitter, in njihovim zagotavljanjem kot konsolidiranih časovno zasnovanih storitev v različnih oblikah. Poleg tega knjižnicam predlagata nov način trženja z uporabo rudarjenja v družbenih omrežjih in analizo razpoloženja.

Glej tudi[uredi | uredi kodo]

Sklici[uredi | uredi kodo]

  1. Stone, Philip J., Dexter C. Dunphy, and Marshall S. Smith. "The general inquirer: A computer approach to content analysis." MIT Press, Cambridge, MA (1966).
  2. Gottschalk, Louis August, and Goldine C. Gleser. The measurement of psychological states through the content analysis of verbal behavior. Univ of California Press, 1969.
  3. 3,0 3,1 Turney, Peter (2002). Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews. str. 417–424. arXiv:cs.LG/0212032.
  4. Pang, Bo; Lee, Lillian; Vaithyanathan, Shivakumar (2002). Thumbs up? Sentiment Classification using Machine Learning Techniques. str. 79–86.
  5. Pang, Bo; Lee, Lillian (2005). Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales. str. 115–124.
  6. Snyder, Benjamin; Barzilay, Regina (2007). Multiple Aspect Ranking using the Good Grief Algorithm. str. 300–307. Arhivirano iz prvotnega spletišča dne 2016-08-06. Pridobljeno dne 2021-01-26.
  7. Qu, Yan, James Shanahan, and Janyce Wiebe. "Exploring attitude and affect in text: Theories and applications." In AAAI Spring Symposium) Technical report SS-04-07. AAAI Press, Menlo Park, CA. 2004.
  8. Vryniotis, Vasilis (2013). The importance of Neutral Class in Sentiment Analysis.
  9. Koppel, Moshe; Schler, Jonathan (2006). The Importance of Neutral Examples for Learning Sentiment. str. 100–109.
  10. Ribeiro, Filipe Nunes; Araujo, Matheus (2010). "A Benchmark Comparison of State-of-the-Practice Sentiment Analysis Methods". Transactions on Embedded Computing Systems. 9 (4).
  11. Taboada, Maite; Brooke, Julian (2011). "Lexicon-based methods for sentiment analysis". Computational Linguistics. 37 (2): 272–274. CiteSeerX 10.1.1.188.5517. doi:10.1162/coli_a_00049.
  12. Augustyniak, Łukasz; Szymański, Piotr; Kajdanowicz, Tomasz; Tuligłowicz, Włodzimierz (2015-12-25). "Comprehensive Study on Lexicon-based Ensemble Classification Sentiment Analysis". Entropy (angleščina). 18 (1): 4. Bibcode:2015Entrp..18....4A. doi:10.3390/e18010004.
  13. Mehmood, Yasir; Balakrishnan, Vimala (2020-01-01). "An enhanced lexicon-based approach for sentiment analysis: a case study on illegal immigration". Online Information Review. 44 (5): 1097–1117. doi:10.1108/OIR-10-2018-0295. ISSN 1468-4527.
  14. Thelwall, Mike; Buckley, Kevan; Paltoglou, Georgios; Cai, Di; Kappas, Arvid (2010). "Sentiment strength detection in short informal text". Journal of the American Society for Information Science and Technology. 61 (12): 2544–2558. CiteSeerX 10.1.1.278.3863. doi:10.1002/asi.21416.
  15. Pang, Bo; Lee, Lillian (2008). "4.1.2 Subjectivity Detection and Opinion Identification". Opinion Mining and Sentiment Analysis. Now Publishers Inc.
  16. Mihalcea, Rada; Banea, Carmen; Wiebe, Janyce (2007). Learning Multilingual Subjective Language via Cross-Lingual Projections (PDF). str. 976–983. Arhivirano iz prvotnega spletišča (PDF) dne 2010-07-08.
  17. Su, Fangzhong; Markert, Katja (2008). From Words to Senses: a Case Study in Subjectivity Recognition (PDF). Arhivirano iz prvotnega spletišča (PDF) dne 2017-02-15. Pridobljeno dne 2021-01-26.
  18. Pang, Bo; Lee, Lillian (2004). A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts. str. 271–278.
  19. 19,0 19,1 Wiebe, Janyce; Riloff, Ellen (2005). Gelbukh, Alexander (ur.). "Creating Subjective and Objective Sentence Classifiers from Unannotated Texts". Computational Linguistics and Intelligent Text Processing. Lecture Notes in Computer Science (angleščina). Berlin, Heidelberg: Springer. 3406: 486–497. doi:10.1007/978-3-540-30586-6_53. ISBN 978-3-540-30586-6.
  20. Quirk, Randolph; Greenbaum, Sidney; Geoffrey, Leech; Jan, Svartvik (1985). A Comprehensive Grammar of the English Language (General Grammar). Longman. str. 175–239. ISBN 1933108312.
  21. 21,0 21,1 Liu, Bing (2010). Sentiment Analysis and Subjectivity (PDF).
  22. 22,0 22,1 Pang, Bo; Lee, Lillian (2008-07-06). "Opinion Mining and Sentiment Analysis". Foundations and Trends in Information Retrieval (angleščina). 2 (1–2): 1–135. doi:10.1561/1500000011. ISSN 1554-0669.
  23. Riloff, Ellen; Wiebe, Janyce (2003-07-11). "Learning extraction patterns for subjective expressions". Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing. EMNLP '03. USA: Association for Computational Linguistics. 10: 105–112. doi:10.3115/1119355.1119369.
  24. Chaturvedi, Iti; Cambria, Erik; Welsch, Roy E.; Herrera, Francisco (November 2018). "Distinguishing between facts and opinions for sentiment analysis: Survey and challenges" (PDF). Information Fusion. 44: 65–77. doi:10.1016/j.inffus.2017.12.006 – via Elsevier Science Direct.
  25. Wiebe, Janyce; Riloff, Ellen (July 2011). "Finding Mutual Benefit between Subjectivity Analysis and Information Extraction". IEEE Transactions on Affective Computing. 2 (4): 175–191. doi:10.1109/T-AFFC.2011.19. ISSN 1949-3045.
  26. Riloff, Ellen (1996-08-01). "An empirical study of automated dictionary construction for information extraction in three domains". Artificial Intelligence (angleščina). 85 (1): 101–134. doi:10.1016/0004-3702(95)00123-9. ISSN 0004-3702.
  27. Riloff, Ellen; Jones, Rosie (July 1999). "Learning dictionaries for information extraction by multi-level bootstrapping" (PDF). AAAI '99/IAAI '99: Proceedings of the Sixteenth National Conference on Artificial Intelligence and the Eleventh Innovative Applications of Artificial Intelligence Conference Innovative Applications of Artificial Intelligence: 474–479.
  28. Thelen, Michael; Riloff, Ellen (2002-07-06). "A bootstrapping method for learning semantic lexicons using extraction pattern contexts". Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing - Volume 10. EMNLP '02. USA: Association for Computational Linguistics. 10: 214–221. doi:10.3115/1118693.1118721.
  29. Liu, Bing (2012-05-23). "Sentiment Analysis and Opinion Mining". Synthesis Lectures on Human Language Technologies. 5 (1): 1–167. doi:10.2200/S00416ED1V01Y201204HLT016. ISSN 1947-4040.
  30. Deng, Shangkun; Mitsubuchi, Takashi; Shioda, Kei; Shimada, Tatsuro; Sakurai, Akito (December 2011). "Combining Technical Analysis with Sentiment Analysis for Stock Price Prediction". 2011 IEEE Ninth International Conference on Dependable, Autonomic and Secure Computing. IEEE: 800–807. doi:10.1109/dasc.2011.138. ISBN 978-1-4673-0006-3.
  31. Yu, Hong; Hatzivassiloglou, Vasileios (2003-07-11). "Towards answering opinion questions: separating facts from opinions and identifying the polarity of opinion sentences". Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing. EMNLP '03. USA: Association for Computational Linguistics: 129–136. doi:10.3115/1119355.1119372.
  32. Hu, Minqing; Liu, Bing (2004). Mining and Summarizing Customer Reviews.
  33. Cataldi, Mario; Ballatore, Andrea; Tiddi, Ilaria; Aufaure, Marie-Aude (2013-06-22). "Good location, terrible food: detecting feature sentiment in user-generated reviews". Social Network Analysis and Mining. 3 (4): 1149–1163. CiteSeerX 10.1.1.396.9313. doi:10.1007/s13278-013-0119-7. ISSN 1869-5450.
  34. Liu, Bing; Hu, Minqing; Cheng, Junsheng (2005). Opinion Observer: Analyzing and Comparing Opinions on the Web.
  35. Zhai, Zhongwu; Liu, Bing; Xu, Hua; Jia, Peifa (2011-01-01). Huang, Joshua Zhexue (ur.). Constrained LDA for Grouping Product Features in Opinion Mining. Lecture Notes in Computer Science. Springer Berlin Heidelberg. str. 448–459. doi:10.1007/978-3-642-20841-6_37. ISBN 978-3-642-20840-9.
  36. Titov, Ivan; McDonald, Ryan (2008-01-01). Modeling Online Reviews with Multi-grain Topic Models. Proceedings of the 17th International Conference on World Wide Web. WWW '08. New York, NY, USA: ACM. str. 111–120. arXiv:0801.1063. doi:10.1145/1367497.1367513. ISBN 978-1-60558-085-2.
  37. Poria, Soujanya; et al. (2016). "Aspect extraction for opinion mining with a deep convolutional neural network". Knowledge-Based Systems. 108: 42–49. doi:10.1016/j.knosys.2016.06.009.
  38. Ma, Yukun; et al. (2018). Targeted aspect-based sentiment analysis via embedding commonsense knowledge into an attentive LSTM. str. 5876–5883.
  39. Cambria, E; Schuller, B; Xia, Y; Havasi, C (2013). "New avenues in opinion mining and sentiment analysis". IEEE Intelligent Systems. 28 (2): 15–21. CiteSeerX 10.1.1.688.1384. doi:10.1109/MIS.2013.30.
  40. Ortony, Andrew; Clore, G; Collins, A (1988). The Cognitive Structure of Emotions (PDF). Cambridge Univ. Press. Arhivirano iz prvotnega spletišča (PDF) dne 2015-11-23.
  41. Stevenson, Ryan; Mikels, Joseph; James, Thomas (2007). "Characterization of the Affective Norms for English Words by Discrete Emotional Categories" (PDF). Behavior Research Methods. 39 (4): 1020–1024. doi:10.3758/bf03192999. PMID 18183921. Arhivirano iz prvotnega spletišča (PDF) dne 2016-03-04. Pridobljeno dne 2021-01-26.
  42. Kim, S. M.; Hovy, E. H. (2006). Identifying and Analyzing Judgment Opinions (PDF). Arhivirano iz prvotnega spletišča (PDF) dne 2011-06-29.
  43. Dey, Lipika; Haque, S. K. Mirajul (2008). Opinion Mining from Noisy Text Data.
  44. Cambria, E; Hussain, A (2015). Sentic Computing: A Common-Sense-Based Framework for Concept-Level Sentiment Analysis. Springer. ISBN 9783319236544.
  45. Akcora, Cuneyt Gurcan; Bayir, Murat Ali; Demirbas, Murat; Ferhatosmanoglu, Hakan (2010). Identifying breakpoints in public opinion.
  46. Sasikala, P.; Mary Immaculate Sheela, L. (December 2020). "Sentiment analysis of online product reviews using DLMNN and future prediction of online product using IANFIS". Journal of Big Data (angleščina). 7 (1): 33. doi:10.1186/s40537-020-00308-7. ISSN 2196-1115.
  47. Borth, Damian; Ji, Rongrong; Chen, Tao; Breuel, Thomas; Chang, Shih-Fu (2013). Large-scale Visual Sentiment Ontology and Detectors Using Adjective Noun Pairs. str. 223–232. Arhivirano iz prvotnega spletišča dne 2021-04-15. Pridobljeno dne 2021-01-26.
  48. Socher, Richard; Perelygin, Alex; Wu, Jean Y.; Chuang, Jason; Manning, Christopher D.; Ng, Andrew Y.; Potts, Christopher (2013). "Recursive deep models for semantic compositionality over a sentiment treebank". In Proceedings of EMNLP: 1631–1642. CiteSeerX 10.1.1.593.7427.
  49. "Case Study: Advanced Sentiment Analysis". Pridobljeno dne 18 October 2013.
  50. Mozetič, Igor; Grčar, Miha; Smailović, Jasmina (2016-05-05). "Multilingual Twitter Sentiment Classification: The Role of Human Annotators". PLOS ONE. 11 (5): e0155036. arXiv:1602.07563. Bibcode:2016PLoSO..1155036M. doi:10.1371/journal.pone.0155036. ISSN 1932-6203. PMC 4858191. PMID 27149621.
  51. Galitsky, Boris; McKenna, Eugene William. "Sentiment Extraction from Consumer Reviews for Providing Product Recommendations". Pridobljeno dne 18 November 2013.
  52. Galitsky, Boris; Dobrocsi, Gabor; de la Rosa, Josep Lluís (2010). "Inverting Semantic Structure Under Open Domain Opinion Mining". FLAIRS Conference.
  53. Galitsky, Boris; Chen, Huanjin; Du, Shaobin (2009). "Inversion of Forum Content Based on Authors' Sentiments on Product Usability". AAAI Spring Symposium: Social Semantic Web: Where Web 2.0 Meets Web 3.0: 33–38.
  54. Ogneva, M. "How Companies Can Use Sentiment Analysis to Improve Their Business". Mashable. Pridobljeno dne 2012-12-13.
  55. Roebuck, K. (2012-10-24). Sentiment Analysis: High-impact Strategies - What You Need to Know: Definitions, Adoptions, Impact, Benefits, Maturity, Vendors. ISBN 9781743049457. od dne januar 2023[slepa povezava]
  56. Karlgren, Jussi, Magnus Sahlgren, Fredrik Olsson, Fredrik Espinoza, and Ola Hamfors. "Usefulness of sentiment analysis." In European Conference on Information Retrieval, pp. 426-435. Springer Berlin Heidelberg, 2012.
  57. Karlgren, Jussi. "The relation between author mood and affect to sentiment in text and text genre." In Proceedings of the fourth workshop on Exploiting semantic annotations in information retrieval, pp. 9-10. ACM, 2011.
  58. Karlgren, Jussi. "Affect, appeal, and sentiment as factors influencing interaction with multimedia information." In Proceedings of Theseus/ImageCLEF workshop on visual information retrieval evaluation, pp. 8-11. 2009.
  59. Amigó, Enrique, Adolfo Corujo, Julio Gonzalo, Edgar Meij, and Maarten de Rijke. "Overview of RepLab 2012: Evaluating Online Reputation Management Systems." In CLEF (Online Working Notes/Labs/Workshop). 2012.
  60. Amigó, Enrique, Jorge Carrillo De Albornoz, Irina Chugur, Adolfo Corujo, Julio Gonzalo, Tamara Martín, Edgar Meij, Maarten de Rijke, and Damiano Spina. "Overview of replab 2013: Evaluating online reputation monitoring systems." In International Conference of the Cross-Language Evaluation Forum for European Languages, pp. 333-352. Springer Berlin Heidelberg, 2013.
  61. Amigó, Enrique, Jorge Carrillo-de-Albornoz, Irina Chugur, Adolfo Corujo, Julio Gonzalo, Edgar Meij, Maarten de Rijke, and Damiano Spina. "Overview of replab 2014: author profiling and reputation dimensions for online reputation management." In International Conference of the Cross-Language Evaluation Forum for European Languages, pp. 307-322. Springer International Publishing, 2014.
  62. 62,0 62,1 Wright, Alex. "Mining the Web for Feelings, Not Facts", New York Times, 2009-08-23. Retrieved on 2009-10-01.
  63. "Sentiment Analysis on Reddit". 2014-09-30. Pridobljeno dne 10 October 2014.
  64. Kirkpatrick, Marshall. ", ReadWriteWeb, 2009-04-15. Retrieved on 2009-10-01.
  65. CORDIS. "Collective emotions in cyberspace (CYBEREMOTIONS)", European Commission, 2009-02-03. Retrieved on 2010-12-13.
  66. Condliffe, Jamie. "Flaming drives online social networks ", New Scientist, 2010-12-07. Retrieved on 2010-12-13.
  67. Tumasjan, Andranik; O.Sprenger, Timm; G.Sandner, Philipp; M.Welpe, Isabell (2010). "Predicting Elections with Twitter: What 140 Characters Reveal about Political Sentiment". "Proceedings of the Fourth International AAAI Conference on Weblogs and Social Media"
  68. Wood, Ian B.; Varela, Pedro L.; Bollen, Johan; Rocha, Luis M.; Gonçalves-Sá, Joana (2017). "Human Sexual Cycles are Driven by Culture and Match Collective Moods". Scientific Reports. 7 (1): 17973. arXiv:1707.03959. Bibcode:2017NatSR...717973W. doi:10.1038/s41598-017-18262-5. PMC 5740080. PMID 29269945.
  69. Korkontzelos, Ioannis; Nikfarjam, Azadeh; Shardlow, Matthew; Sarker, Abeed; Ananiadou, Sophia; Gonzalez, Graciela H. (2016). "Analysis of the effect of sentiment analysis on extracting adverse drug reactions from tweets and forum posts". Journal of Biomedical Informatics. 62: 148–158. doi:10.1016/j.jbi.2016.06.007. PMC 4981644. PMID 27363901.
  70. Tang, Huifeng; Tan, Songbo; Cheng, Xueqi (2009). "A survey on sentiment detection of reviews" (PDF). Expert Systems with Applications. 36 (7): 10760–10773. doi:10.1016/j.eswa.2009.02.063.
  71. Jakob, Niklas, et al. "Beyond the stars: exploiting free-text user reviews to improve the accuracy of movie recommendations." Proceedings of the 1st international CIKM workshop on Topic-sentiment analysis for mass opinion. ACM, 2009.
  72. Minqing, Hu; Liu, Bing (2004). "Mining opinion features in customer reviews" (PDF). AAAI. 4 (4).
  73. Liu, Yang; Huang, Xiangji; An, Aijun; Yu, Xiaohui (2008). "Modeling and predicting the helpfulness of online reviews" (PDF). ICDM'08. Eighth IEEE international conference on Data mining. IEEE. str. 443–452. doi:10.1109/ICDM.2008.94. ISBN 978-0-7695-3502-9.
  74. Bermingham, Adam; Smeaton, Alan F. (2010). Classifying sentiment in microblogs: is brevity an advantage? (PDF). Proceedings of the 19th ACM International Conference on Information and Knowledge Management. str. 1833. doi:10.1145/1871437.1871741. ISBN 9781450300995.
  75. Lamba, Manika; Madhusudhan, Margam (2018). "Application of sentiment analysis in libraries to provide temporal information service: a case study on various facets of productivity". Social Network Analysis and Mining. 8 (1): 1–12. doi:10.1007/s13278-018-0541-y.