La recherche a retourné 9 résultats

par Min
31 mai 2015 19:14
Forum : RCP216
Sujet : spark out of memory error
Réponses : 2
Vues : 1110

spark out of memory error

Bonjour, Je souhaite calculer l'ACP d'une matrice de 1500*10000. J'ai alloué 8g de mémoire (driver-memory=8g). Cependant j'ai l'erreur de out of memory. J'ai vu que la memory store est à 3.1g. J'ai vu sur le site de spark que "spark.storage.memoryFraction" est défini à 0.6. Voici mes questions: 1. P...
par Min
20 mai 2015 22:12
Forum : RCP216
Sujet : Question concernant le TP de KMeans
Réponses : 4
Vues : 957

Re: Question concernant le TP de KMeans

Merci !
par Min
20 mai 2015 11:12
Forum : RCP216
Sujet : Question concernant la correction de TP de KMeans
Réponses : 1
Vues : 631

Question concernant la correction de TP de KMeans

Bonjour, La correction pour la dernière question est la suivante: Les variables ne sont pas de variances comparables ; sans normalisation, les variables de variance très élevée auront un impact déterminant sur les résultats de la classification automatique. Il est donc envisageable de normaliser d’a...
par Min
20 mai 2015 10:29
Forum : RCP216
Sujet : Question concernant le TP de KMeans
Réponses : 4
Vues : 957

Re: Question concernant le TP de KMeans

Bonjour M. Crucianu,

Merci pour votre réponse !

Dans une réelle situation, comment on peut choisir utiliser KMeans ou SVM linéaire? Vous pouvez prendre l'example de Spambase Data Set issues de l’archive de l’UCI.

Merci par avance.

Cdt,
Min
par Min
17 mai 2015 1:25
Forum : RCP216
Sujet : Question concernant le TP de KMeans
Réponses : 4
Vues : 957

Question concernant le TP de KMeans

Bonjour, En réalité ma question concerne plutot la différence entre KMeans(clustering) et SVM(supervised classification). idée: Dans votre example(TP de KMeans), vous avez cité les données de Spambase Data Set issues de l’archive de l’UCI. Il s'agit des données de 2 groupes et 57 attributes(dimensio...
par Min
03 avr. 2015 0:24
Forum : RCP216
Sujet : Question concernant le TP6 la lemmatisation
Réponses : 2
Vues : 813

Re: Question concernant le TP6 la lemmatisation

Merci pour cette explication claire.
par Min
01 avr. 2015 17:02
Forum : RCP216
Sujet : Question concernant le TP6 la lemmatisation
Réponses : 2
Vues : 813

Question concernant le TP6 la lemmatisation

Bonjour, Pour la lemmatisation, dans le TP, vous proposez: scala> val lemmatized = plainText.mapPartitions(iter => { val pipeline = createNLPPipeline(); iter.map{ case(title, contents) => (title, plainTextToLemmas(contents, stopWords, pipeline))}; }) Pourquoi on ne fait pas directement map sans pass...
par Min
26 mars 2015 19:11
Forum : RCP216
Sujet : Chercher un Binôme idéalement un statisticien pour le projet
Réponses : 3
Vues : 986

Re: Chercher un Binôme idéalement un statisticien pour le pr

Bonjour, Je suis très intéressé. Je suis AMO dans le domaine décisionnel et je ne suis pas très callé dans l'installation des outils. De plus je possède un Mac. Si vous êtes OK, je veux bien travailler avec vous sur le sujet. Je suis très motivé. Philippe Bottier Bonjour Philippe, Merci pour votre ...
par Min
25 mars 2015 15:38
Forum : RCP216
Sujet : Chercher un Binôme idéalement un statisticien pour le projet
Réponses : 3
Vues : 986

Chercher un Binôme idéalement un statisticien pour le projet

Bonjour, Je suis à la recherche d'un binôme pour le projet de RCP216. Idéalement un statisticien H/F car je suis ingénieur en Informatique. Merci de me faire un retour si cela vous intéresse. PI, j'ai déjà tout l'environnement(CDH+Maven) installé sur mon laptop perso (Linux). Si vous avez des diffic...