Big Data & Cloud

Bonjour

J'ai pas bien saisie la différence entre les 2

The cloud est un service qui permet d'utiliser des applications et de stoker des données..

tandis que Big Data permet d'analyser une masse énorme de données..

C'est'y ben ça  

Blondie

blondie a écrit:

Bonjour

J'ai pas bien saisie la différence entre les 2

The cloud est un service qui permet d'utiliser des applications et de stoker des données..

tandis que Big Data permet d'analyser une masse énorme de données..

C'est'y ben ça  

Blondie

Oui.

Big data ou la manipulation d'un nombre tellement important de données que ca en donne la nausée.
Pour réduire la masse d'informations à quelque chose que le cerveau humain puisse apréhender, il faut la manipuler, faire des assertions et des traitements statistiques. Et toutes ces manipulation sont sujettes à des erreurs.
Quand on sait qu'on peut faire dire tout et son contraire avec des stats, ca donne une idée du résultat d'un traitement à cette échelle.
J'espère qu'on ne prendra pas cette histoire trop au sérieux.

Le Cloud ou informatique dans les nuages signifie l'externalisation des infrastructures à des prestataires hors de l'entreprise.
La plupart des offres "cloud" sont définies par des acronymes à 4 lettres finissant souvent par "aaS" pour "as a Service", ce qui est censé signifier que l'offre X est un service pour lequel vous payez ce que vous consommez.
En stockage aaS, au lieu d'acheter une ferme de serveurs dont seul un pourcentage réduit sera réellement utilisé (on achète "trop" de capacité pour ne pas être pris au dépourvu en cas d'accroissement rapide du besoin de stockage), on loue un certain espace chez un prestataire. S'il faut augmenter la capacité, cela peut être réalisé en quelques heures. A l'inverse, s'il faut réduire l'espace disponible, cela est également très rapide. En tout cas bien plus rapide que s'il faut acheter ou vendre des disques durs...
Idem en cas d'achat de puissance de calcul. Il est désormais aussi possible d'acheter de l'usage de logiciel aaS comme dans l'offre Microsoft Office 365.

L'avantage est qu'on achète exactement ce dont on a besoin au moment ou on en a besoin. Le défaut est qu'on doit payer chaque mois pour ces besoins. Par exemple, dans le cas d'un logiciel, on va payer chaque mois un montant X pour utiliser un traitement de texte. Il n'est plus possible d'acheter Office XYZ et s'en servir 10 ou 15 ans si on se contente de rédiger des lettres simples. Le prestataire va toujours mettre à disposition la dernière version et toutes ses mises à jour, qu'on utilise ou pas certaines fonctions particulières.

Un autre défaut important est la localisation réelle des serveurs. On peut acheter du stockage à une firme française qui elle-même sous-loue son stockage chez XYZ aux USA. Au final, toutes les données seront soumises aux lois du lieu de stockage réel, avec tous les risques que cela comporte (lecture par les services gouvernementaux US, par exemple). Mais il y a aussi les risques liés à la banqueroute: si votre service de stockage se voit couper son accès internet ou son alimentation électrique, toutes vos données peuvent être irrémédiablement perdues. Dans un tel cas, il y a de fortes chances que votre entreprise n'y résiste pas non plus...

Pour ce qui est du Big Data, c'est, comme le décrit Steph, l'exploitation  la manipulation de volumes très importants de données sans lien directement évident entre elles. Mon opinion personnelle face au Big Data est mitigée. Très souvent, un progrès est l'expression d'une réponse à un besoin, c'est-à-dire qu'il y a un besoin qui apparait comme une occasion intéressante et, ensuite, diverses personnes proposent de répondre à ce besoin avec des stratégies nouvelles. Si la réponse est bien corrélée au besoin, c'est un progrès et son adoption est rapide.

Dans le cas du Big Data, je ne vois pas de besoin clairement établi, donc je me méfie d'une réponse floue qui ne correspond à aucune question précise, surtout si cette réponse promet le beurre, l'argent du beurre, les fromages, les yogourts et les faveurs de la crémière dans un seul multipack...

Bonjour

Merci à vous deux

Le Big Data propose d'extraire dans une masse de données énorme
des rapports significatifs (correlations?) à partir des quels on peut établir
une stratégie (par exemple) et bien d'autres choses...

C'est bien ça?

J'ai entendu qu'Obama en avait tenu compte pour ses élections..;

Blondie

Ce qu'on en fait dépend du but recherché.
Le Big data des commerciaux n'a probablement pas le même objectif que pour les géneticiens.
Comme le dit LGDA, on adapte les outils aux besoins. Même si parfois les outils vont un peu trop loin.
Probablement comme dans toutes les nouvelles technologies, on en attend peut-être trop et l'expérience mettra un frein à l'enthousiasme collectif. Ceux qui ne freineront pas risqueront fort de se gourrer.

Rien que la définition de "significatif" vaut le coups d'oeil.

Steph a écrit:

Rien que la définition de "significatif" vaut le coups d'oeil.

Bonjour

"En statistique , un résultat est dit statistiquement significatif lorsqu'il est improbable qu'il puisse être obtenu par un simple hasard ...

En probabilité  et en statistique s, étudier la corrélation entre deux ou plusieurs variables aléatoires ou statistiques numériques, ..."


Euh..C'est significatif lorsqu'une correlation se dégage de variables aléatoires  

Blondie

C'est beeeaucoup plus compliqué que ça!
D'abord il n'y a pas un seul moyen d'analyser des données, il y en a des tas. Et je te le donne en mille: tous donnent des résultats différents. Ensuite chaque méthode a ses critères d'utilisation, critères dont on ne tient pas toujours compte à bon escient.

En biologie par exemple le test super classique c’est le T de Student.
Bon rien que pour ce test il y a des variations mais je passe les détails.
Ce test pose une hypothèse (appelée hypothèse nulle) et on va chercher à la confirmer ou à l’infirmer en manipulant les données.
Cette hypothèse stipule qu’il n’y a pas de relations entre 2 groupes de données, autrement dit que si relation il y a (par exemple moyennes identiques ou proches), elle est due au hasard.

J’espère que tu suis jusque-là parce que ça va se compliquer.

Le problème c’est que rien n’est jamais identique à 100%, donc tu dois fixer une fenêtre dans laquelle 2 valeurs comparées (moyennes par exemple), si elles se retrouvent ensemble, seront considérées comme liées par une relation qui n’est pas due au hasard (par exempe due à un traitement médical). Et cette fenêtre, ben il faut la fixer de manière empirique.

En biologie on fixe 3 seuils de signification (appelé sigma): 5% (significatif), 1% (très significatif) et 0,1% (hautement significatif). Que veulent-ils dire ?
Ca veut dire que si on a un sigma <5% on a 95% de chances que la différence ne soit pas due au hasard (il reste 5% de chances qu’elle soit due au hasard, note).

Un exemple, avant que le cerveau ne commence à fumer :
Je prends 2 groupes de patients atteints de mélanome : un groupe va être traité avec un placebo et l’autre avec un médicament miracle. Je veux déterminer l’efficacité du médicament. Mon hypothèse 0 : tout différence entre les 2 groupes n’est pas due au médicament mais au hasard.
On va dire que je mesure la taille du mélanome, donc la croissance de la tumeur. Ça veut dire que si la valeur (taille) diminue, le traitement fonctionne.

En prenant les seuils ci-dessus et en faisant très simple, si le sigma est inférieur à 5%, on va dire que la différence est significative et que la diminution de la taille du melanome est probablement due au traitement (il reste moins de 5% de chance que ca soit dû au hasard quand même).

Voilà juste un petit aperçu du problème. Et je ne parle pas de signification biologique. Par exemple ta différence peut être significative mais si le mélanome n’a diminué que de 0,0001mm ça te fait une belle jambe !

Steph a écrit:

Voilà juste un petit aperçu du problème. Et je ne parle pas de signification biologique. Par exemple ta différence peut être significative mais si le mélanome n’a diminué que de 0,0001mm ça te fait une belle jambe !

Vous pourriez faire plus simple: si après 20 ans, le patient est toujours en vie, le résultat est positif, donc on peut poursuivre l'étude du médicament.
Certes, c'est long. Mais c'est validé par des données à la signification facile à justifier !

:-)

T'inquiète LGDA, un des "end points" les plus etudiés dans les études cliniques, notamment celles liées au cancer, est la survie des patients. On mesure aussi par exemple le temps pendant lequel le patient n'a pas de symptomes ou le temps pendant lequel la maladie ne progresse pas.

J'ai trouvé par hasard une page intéressante concernant les statistiques appliquées aux études cliniques:
http://scientific-european-federation-osteopaths.org/fr/les-statistiques
http://scientific-european-federation-osteopaths.org/fr/les-test-statistiques2

Par exemple ici on montre qu'un traitement prolonge la survie des patients de 2 mois (en moyenne):
http://www.cancer.gov/clinicaltrials/results/summary/2008/gemcitabine-pancreatic0608
Après cela on pèse les coûts, la charge pour la sécurité sociale et on estime si ca vaut la peine de prolonger la vie de ces patients. Cruel et froid mais les coûts ne peuvent pas être illimités.

Steph a écrit:

Et cette fenêtre, ben il faut la fixer de manière empirique.

Bonjour

C'est:"l'intervalle de confiance" qui dit mon homme.... 

J'préfére moi la fenêtre qu'il faut fixer  

Sérieusement

Steph a écrit:

si le sigma est inférieur à 5%

C A D :Si la somme est inférieur...???

Sinon j'ai compris  .....(m'enfin)

Merci

Blondie