NintendojoFR : Le forum

Code : Tout sélectionner

#!/usr/bin/python

import os, re, glob, string

## choix de la base
base = "CISI"
#base = "CACM"

# on verifie que la base est bien une de celles definies par l'enonce
if not base in ["CISI", "CACM"]:
	print "La base doit etre CISI ou CACM"
	raise BaseError, "La base specifiee n'est pas traitee, veuillez traiter la base CISI ou CACM"







# stop-list (dans le repertoire CACM)
# liste des mots trop frequents dans chaque document que l'on ne prendra pas en compte
fichierstoplist= open(os.path.join("CACM", "common_words"), "r")
lignes=fichierstoplist.readlines()
fichierstoplist.close()
# on repertorie la stop list dans un dictionnaire (table de hachage)
# pour que la recherche soit plus facile
stopdico = {}
compteur = 0
for mot in lignes:
	# on enleve les espaces et autres caracteres parasites comme \n
	mot2=mot.strip()
	if not stopdico.has_key(mot2):
		compteur+=1
		stopdico[mot2]=compteur

print "Taille de l'anti-dictionnaire =", compteur, "termes."









#############################################################
#############################################################
#############################################################









def compte_occurence_pour_chaque_mot_range(listedindex):
	"""Renvoie une liste comportant les index ranges des mots apparaissant au moins une fois dans la ligne 'ligne' ainsi que le nombre de fois qu'ils apparaissent."""
	dictionnairef, listef={}, []

	
	listedindex.sort()

	indiceprecedent=-1
	for mot in listedindex:
		if mot!=indiceprecedent:
			if indiceprecedent!=-1:
				listef.append((indiceprecedent,compteur))
			indiceprecedent=mot
			compteur=1
		else:
			compteur+=1
	if indiceprecedent!=-1:
		listef.append((indiceprecedent,compteur))
	return listef














# fonction de parsage de balises dans un fichier

def parsage_de_balise_dans_les_fichiers(nomdufichier, antidictionnaire, nomdufichiersortietf, nomdufichiersortieidf):
	"""fonction qui parse les balises : elimine les balises autres que .T, .A, .W, .B et .I"""

	# dictionnaire : des mots dans la base
	# dictionnaireidf : indique combien de fois un mot apparait dans un document
	# lignecorpus : liste des mots presents dans chaque document (mots d'un document presents dans les balises .T, .A, .V et .W)

	dictionnaire, dictionnaireidf, lignecorpus= {}, {}, []

	# ouverture et fermeture du fichier
	# on recupere seulement ses lignes sur lesquelles on travaillera

	fichier=open(nomdufichier, 'r')
	lignes=fichier.readlines()
	fichier.close()

	# ouverture du fichier qui comportera les mots presents dans un documents et leur occurence dans le document

	fichiersortie=open(nomdufichiersortietf,"w")

	# indicateur de la balise dans laquelle on se trouve
	# lignequifaitpartieducorpusdudocument == True equivaut a on est dans une balise .T, .A, .V ou .W

	lignequifaitpartieducorpusdudocument=False

	# compteur : index d'un mot dans le dictionnaire
	# compteur2 == True equivaut a 

	compteur=0
	compteur2=False

	# identifiant du document

	identifiant=""

	nombrededocs=0

	for ligne in lignes:
		# reperage d'une balise
		if ligne[:1] == ".":
			# on regarde si on sur une balise .T, .A, .V ou .W
			if ligne[:2] in [".T" , ".A" , ".W" , ".B"]:
				lignequifaitpartieducorpusdudocument=True
			else: 
				lignequifaitpartieducorpusdudocument=False
				# on se retrouve sur une balise .I
				if ligne[:2] == ".I":
					dicoligne={}
					nombrededocs += 1
					if compteur2:
						# On recupere l'identifiant du document et on imprime son contenu dans un fichier
						liste2=compte_occurence_pour_chaque_mot_range(lignecorpus)
						fichiersortie.write(identifiant + " " + str(len(lignecorpus)) + " ")
						for a1, a2 in liste2:
							fichiersortie.write(" " + str(a1) + ":" + str(a2))
						fichiersortie.write("\n")
						# on vide le corpus du document pour mettre celui du suivant
						lignecorpus=[]
					else:
						compteur2=True					
					# on recupere l'identifiant du document
					identifiant=ligne.split(" ")[1].strip()

		# on est dans une balise  .T, .A, .V ou .W
		elif lignequifaitpartieducorpusdudocument:
			# ligne.lower() : on transforme les majuscules en minuscules
			# re.sub("[^a-z0-9]"," ",ligne.lower()) : on ne conserve que les caracteres alphanumeriques
			# on decoupe les espaces avec un split qui transforme le tout en liste
			ligne = re.sub("[^a-z0-9]"," ",ligne.lower()).split()
			for mot in ligne:
				# si le mot n'est pas present dans la stop liste, on travaille dessus
				if not mot in antidictionnaire:
					# si le mot n'a pas deja ete visite, on l'ajoute au dictionnaire
					if not dictionnaire.has_key(mot):
						compteur += 1
						dictionnaire[mot]=compteur
						dictionnaireidf[mot]=1
					# si le mot n'a pas deja ete visite dans le document, on l'ajoute a dictionnaireidf
					elif not dicoligne.has_key(mot):
						dictionnaireidf[mot] += 1
					dicoligne[mot]=1
					lignecorpus.append(dictionnaire[mot])


	# impression pour le dernier document a la sortie de la bouche
	fichiersortie.write(identifiant + " " + str(len(lignecorpus)) + " ")
	for a1, a2 in liste2:
		fichiersortie.write(" " + str(a1) + ":" + str(a2))		

	fichiersortie.close()

	# on imprime les valeurs des idf

	fichiersortie=open(nomdufichiersortieidf,"w")
	fichiersortie.write(str(nombrededocs) + " = nombre de documents\n")
	for d1, d2 in dictionnaireidf.iteritems():
		# chaque ligne du document : (mot, index du mot dans le dictionnaire, nombre de documents dans lequel il apparait)
		fichiersortie.write(d1 + "," + str(dictionnaire[d1]) + "," + str(d2) + "\n")
	fichiersortie.close()


	print "Taille du dictionnaire =", compteur




##############################################################################
##############################################################################






# Recherche des fichiers ".ALL" ou ".all"

fichierall = glob.glob(base + "/*.ALL")
if not fichierall:
	fichierall = glob.glob(base + "/*.all")


parsage_de_balise_dans_les_fichiers(fichierall[0], stopdico, "documenttf", "documentidf")