Analyse des avis récupérés sur monavislerendsgratuit.com pour le produit San Pellegrino Limone + Tea ou Pesca + Tea¶
Le jeu de données a été extrait du site monavislerendsgratuit à l'aide du framework scrapy. Le code permettant l'extraction peut être trouvé ici : https://github.com/Mg30/ScrapyCrawlerConsumerReviews
Aperçu du jeu de données¶
df.head()
df.info()
Le jeu de données a un volume de 620 observations et 7 variables, on peut voir également que toutes les variables sont de types object, ce qui suggère qu'un travail de nettoyage va devoir être réalisé
Nettoyage du fichier¶
L'objectif de cette étape est de rendre le jeu de données plus propre en vue de son analyse
Traitement de la variable user_info¶
df["user_info"].head()
On peut voir que la variable user_info regroupe plusieurs informations dans une structure de données de type list, l'objectif est de séparer les différentes informations dans des variables séparées
Récupération des informations relatives à la présence d'enfant ou non¶
Les personnes s'enregistrant sur le site peuvent renseigner un champ "avec enfant(s)", on considérera que les personnes n'ayant pas renseigné ce champ n'ont pas d'enfants. Cette aproche peut être biaisée car certaines personnes ayant des enfants peuvent ne pas avoir renseigné le champ.
def parse_enfant_from(user_info):
if len(user_info) == 2:
return 1
else:
return 0
df["enfant"] = df["user_info"].apply(parse_enfant_from)
Récupération des informations relatives à l'age¶
def parse_age_from(user_info):
if user_info:
age = user_info[0].split(',')[-1]
age = int(age[:3])
return age
df["age"] = df["user_info"].apply(parse_age_from)
Récupération du lieu d'habitation¶
def parse_loc_from(user_info):
if user_info:
loc = user_info[0].split(',')[0].replace('\t', '').replace('\n', '')
return loc
df["localisation"] = df["user_info"].apply(parse_loc_from)
Traitement de la variable consummer_rate¶
La varibale consumer_rate représente la note attribuée au produit par le consommateur, dans le dataframe elle est de type d'object alors qu'elle devrait être de type float. Il faut donc la convertir
df["consummer_rate"] = df["consummer_rate"].astype(float)
Traitement de la varibale date¶
def parse_date(date):
import locale
locale.setlocale(locale.LC_ALL, 'fr_FR')
date_splited = date.split(' ')
day = date_splited[0]
year = date_splited[-1]
month = date_splited[-2]
if len(day) == 1:
day = f'0{day}'
return f"{day} {month} {year}"
df["date"] = df["date"].apply(parse_date)
df["date"] = pd.to_datetime(df["date"], format="%d %B %Y")
df["day_week_number"] = df["date"].apply(lambda date: pendulum.instance(date).day_of_week)
df["date"] = df["date"].dt.date
Traitement du username¶
def reformat(username):
if username:
return username[:-2]
df["username"] = df["username"].apply(reformat)
Suppression des variables inutiles¶
Désormais, il est possible de supprimer les variables suivantes :
- product_name, car la variable n'apporte pas de plus value
- user_info car la variable a été traitée et les informations qu'elle contient on été divisées
df = df.drop(columns=["user_info", "product_name"])
Résultat de la transformation¶
df.head()
Enrichissement du jeu de données¶
L'objectif de cette étape est de voir à partir des variables présentent dans le jeu de données quelles autres informations il est possible d'extraire à partir du jeu de données ou en faisant appel à des services externes
Ajout d'une variable indiquant la taille de chaque commentaire¶
Il est intéréssant d'avoir la taille des commentaires, puisqu'il est possible que la taille d'un commentaire soit corrélée à la note attribuée. La taille d'un commentaire sera ici considérée comme le nombre de mots qui le compose.
df["len_comment"] = df["comment"].apply(lambda x: len(x.split(" ")))
Ajout region à partir de la ville¶
Pour obtenir la région à partir de la ville présente dans la variable localisation, il a été utilisé l'api https://api.gouv.fr/api/api-geo.
df_region.head()
df = df.merge(df_region,left_on='localisation',right_on='commune').drop(columns=['localisation'])
Ajout genre à partir des noms¶
Pour déterminer le genre à partir du nom, il a été utilisé le site https://gender-api.com
df = df.merge(df_genre,left_on="username", right_on="Nom")
df.head()
Ajout d'une variable indiquant si le commentaire est positif¶
On considérera que tous les commentaires qui sont en dessous de 3 sont négatifs et les autres possitifs
def is_positiv(consummer_rate):
if consummer_rate < 3:
return 0
else:
return 1
df["is_positiv"] = df["consummer_rate"].apply(is_positiv)
Analyses univariées¶
Analyse de la variable enfant¶
sns.countplot(x="enfant",data=df)
Comme on peut le voir la majorité des personnes ayant commentées ont déclaré avoir un ou plusieurs enfants
Analyse de l'age¶
Analyse de la distribution¶
sns.boxplot(df["age"])
La majorité des personnes se situent entre 35 et 52 ans, avec une moyenne de 43 ans. On note que l'ecart en min et max est élévé avec des valeurs allant de 19 ans à 88 ans. Toutefois comme le suggère le diagramme de boite à moustache, les valeurs au dessus de 75 ans parraissent anormales.
Analyse des outliers¶
df[df["age"] > 72]
Il aurait été possible de suspecter pour ces outliers, des personnes renseignant une date de naissance fictive. Toutefois le détails des outliers montrent qu'il ne s'agit pas de données aberrantes.
Analyse de la variable date¶
Analyse de la distribution¶
groupby_date = df.groupby(by='date').describe()['age'].reset_index()
chart = sns.catplot(x='date',y='count',data= groupby_date, aspect=1.5, kind="bar", color="b")
chart.set_xticklabels(rotation=90)
On peut observer une certaine saisonnalité dans la distribution des données, on peut voir que il y a des jours qui sont priviligés pour commenter qui peut correspondre au jour où les personnes ont fait leur courses. Analysons maintenant les données par position du jour dans la semaine.
groupby_date = df.groupby(by='day_week_number').describe()['age'].reset_index()
chart = sns.catplot(x='day_week_number',y='count',data= groupby_date, aspect=1.5, kind="bar", color="b")
chart.set_xticklabels(rotation=90)
On peut voir que les personnes ont plus commenté le Lundi et que le nombre de commentaires decroient tout au long de la semaine jusqu'au vendredi au le nombres de commentaires augmentent. On peut en déduire que les personnes ont plus tendance à faire leur course en début de semaine.
Analyse de la variable consummer_rate¶
sns.boxplot(df["consummer_rate"])
On peut voir qu'il y a des outliers, il convient d'analyser les données en dessous de 3.0
Analyse des outliers¶
outliers = df["comment"][df["consummer_rate"] < 3]
outliers
On peut voir que les outliers ne représentent pas des données abérantes, elles seront donc gardées dans l'analyse postérieure
Analyse de la longueur des commentaires¶
df["len_comment"].describe()
sns.boxplot(df["len_comment"])
sns.barplot(x='consummer_rate', y='len_comment',data=df)
sns.scatterplot(x='len_comment', y='age', hue='ga_gender',size='is_positiv',data=df)
On peut constater que la majorité des commentaires sont assez courts et ce peu importe la note attribué par l'utilisateur ou son age.
Analyse de la localisation¶
chart = sns.catplot(x='region',data= df, kind="count", color="b")
chart.set_xticklabels(rotation=90)
On peut voir que la majorité des commentaires viennent de personnes habitant dans les régions Hauts-de-France suivi par la région Auvergne Rhones Alpes puis l'île de france.
Analyse des genres¶
sns.countplot(df["ga_gender"])
g = sns.catplot(x="ga_gender", hue="is_positiv",
data=df, kind="count",
height=4, aspect=.7);
On constate que la majorité des personnes qui ont commenté sont de sexe feminin. Toutefois on peut voir que le sexe de la personne ne semble pas influencer la note du produit.
Analyse des commentaires négatif¶
text = " ".join(
review for review in df.comment[df["is_positiv"]==0])
Génération d'un nuage de mots¶
wordcloud = WordCloud(
stopwords=stopwords, background_color="white", max_words=30).generate(text)
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()
Le nuage de mots ne renseigne pas sur les éventuels problèmes que peut avoir le produit. Bien que ce dernier ait une note de 4.1 en moyenne ce qui est élévée. Pour en savoir d'avantage, un nuage de mots bigrammes pourrait permettre d'en apprendre d'avantage sur les possibles améliorations à apporter au produit.
Génération d'un nuage de mots bigramms¶
wordcloud_bigrams = WordCloud( stopwords=stopwords,background_color="white", max_words=30)
wordcloud_bigrams.generate_from_frequencies(frequencies=freq)
plt.imshow(wordcloud_bigrams, interpolation="bilinear")
plt.axis("off")
plt.show()
On peut voir que le nuage fait ressortir des choses plutôt possitive. Toutefois on peut noter que la boisson est considérée comme sucrée. Enfin on note également que le goût citron peut être trop prononcé.
Analyse bivariées¶
Identification des variables qui sont corrélées¶
sns.heatmap(df.corr())
On peut voir que la seule correlation, entre consummer_rate et is_possitiv n'est pas significative car il s'agit d'une corrélation qui a été crée dans une des étapes précédentes.
Conclusion¶
L'objectif de cette analyse était d'explorer les commentaires d'un produit récupérés via le web scrapping afin de déterminer quel type de personnes commentent (même si l'échantillon n'est pas représentatif de l'ensemble du site).
L'autre objectif était d'éventuellement identifié des améliorations possibles en explorant les commentaires négatifs.
En ce qui concerne le type de personnes qui commentent, sur ce jeu de données il s'agit de femmes avec enfants ayant en moyenne 43 ans vivant dans les hauts de seine.
En revanche, l'analyse des commentaires plutôt négatifs n'a pas permis de dégager des pistes d'amélioration.