Twitter’dan Veri Çekmek

Merhaba.

Geçen hafta, konferansa hazırladığım çalışmamız için Twitter’den veri toplamam gerekiyordu. Birden fazla paket ve yöntem denedim ve sonunda en pratiğini buldum.

Tüm süreci, hem Türkçe bir kaynak olması açısından hem de karşılaşabileceğiniz sorunları çözebilmeniz açısından sizinle paylaşıyorum.

Öncelikle, veri çekebilmek için Twitter’ın vereceği APİ keylere ihtiyacımız var. Bunun için de Twitter Developer Account başvurunda bulunmamız gerekiyor. Yeni bir hesap açmanız gerek yok, mevcut hesabınıza telefon numaranızı ekleyerek başvuruda bulunabilirsiniz.

Kullanım amacınıza ve üreteceğiniz içeriğe göre soruları doldurmanız gerekiyor. Bu aşamaları tamamlayıp onayladıktan sonra mail adresimi onaylamam için şöyle bir mail geldi.

Twitter Developer Account confirm mail.

Aynı gün içerisinde, detayları içeren bir case maili geldi.

Sonraki gün, başvuru ekranındaki soruların olduğu bir mail daha geldi. Bu maili de yanıtladıktan sonra daha fazla detay istediklerini belirten bir mail daha geldi. Kullanım amacının iş (business) amaçlı ya da hükümete sunum içerip içermediğini, öğrenciysem projenin detaylarını, kullanacağım metod ve ve programları, içeriklerin direkt olarak görüntülenip görüntülenmeyeceğinin bilgisini istediler.

Bu maile cevap verdikten sonra hesabımın onaylandığına dair yanıt aldım. Bu işlemlerin tamamı üç gün sürdü.

Developer Portal’a girip projeyi oluşturduktan sonra APİ keyler ve Bearer key önümüze gelecek. Onları bir yere kopyalamamız gerekiyor çünkü birazdan kullanacağız.

Kodları yazmaya başlamadan önce kimlik doğrulaması yapmamız gerekiyor. Ayarlar kısmından “User authentication settings” bölümüne gidip kimlik doğrulamasını aktifleştiriyoruz. Bu adımı yapmazsak auth hatası alabiliriz.

Burada kendi çalışmanız için doğru olan OAuth tokenini seçmeniz gerekiyor. İnternet siteniz ya da uygulamanıza ait bir bağlantı henüz yoksa Github linkini ekleyebilirsiniz. Ben öyle yaptım ve bir sorun olmadı.

Şimdi kodlarımızı yazmaya başlayabiliriz.

RStudio’yu açıp birkaç paket yükleyeceğiz.

install.packages(“rtweet”)
install.packages(“twitteR”)
install.packages(“tidytext”)
library(rtweet)
library(twitteR)
library(tidytext)

daha sonrasında şu kodu kullanacğız.

if (!requireNamespace(“remotes”, quietly = TRUE)) {
install.packages(“remotes”)
}

Ve şimdi de Github üzerinden bir paketi çağıracağız.

remotes::install_github(“ropensci/rtweet”)

Burada onaylayıp devam edeceğiz. İşimize yarayacak paketleri edinmiş olduk.

rtweet_app()

Bu kodu çalıştırdığımızda aşağıdaki ekran açılacak ve buraya talep edilen token’ı yapıştıracağız. Konsola <Twitter bearer token> yazısı düşecek.

Bearer Token logging section.

Bu noktada önemli bir şeyi paylaşmam gerekiyor. Ben bir sonraki adımı yapmadan da verilere ulaşabilmiştim. 🙂 Nedenini henüz çözemedim.

api_key <- “APİ keyinizi buraya girin”
api_secret_key <- “APİ ley secretinizi buraya girin”

token <- create_token(
app = “emotionalchangofmds”,
consumer_key = api_key,
consumer_secret = api_secret_key)
auth_get()

Artık istediğimiz veriyi çekebiliriz.

Ben örnek olarak şu anda gündemde olan Aslan Yeniayıyla alakalı bir çalışma yapacağım. Bunu herhangi bir kelime, hashtag ile de yapabilirsiniz.

leo <- search_tweets(“new moon in leo”, n = 1000, include_rts = FALSE)

View(leo)

n ile veri sayısını, include_rts ile retweetlerin dahil olup olmayacağını belirledik. View fonksiyonu ile verilerimize erişebiliriz.

Verilerimiz bu şekilde gözükecek.

Head, tail gibi fonksiyonlarla ilk ve son kısımları, summary ve str gibi fonksiyonlarla kabaca dağılımını inceleyebilirsiniz.

Bu verileri data frame haline getirip Excel’e çekebilir ya da Studio’da ggplot ya da hist gibi paketlerle araştırmalarınızı yapabilirsiniz.

Aslında verileri toplamak bu kadar kolay. Buradan çektiğiniz verileri birkaç basit fonksiyon ile sentiment analysise hazır hale getirebilirsiniz.

Aşağıda bu çalışmayı aldığım makalenin linkini, kendi kodlarımın da Github sayfasını ekliyor olacağım.

Geri dönüşlerinizi bekliyorum. Keyifli çalışamalar!

How to Get Twitter Data using Rtwitter veri kazımatwitter veri kazıma

This article was first published on R – Predictive Hacks , and kindly contributed to R-bloggers]. (You can report issue…

www.r-bloggers.com

 

GitHub – seymanuryasa/twitterdan-kolayca-veri-toplamak: This repo contains some example codes for…

You can’t perform that action at this time. You signed in with another tab or window. You signed out in another tab or…

github.com