Recursos semánticos

Modelos semanticos: word-embeddings regionales (fastText)

Más allá de la información léxica, es posible obtener información semántica. Para esto hacemos uso de modelos que capturan la semántica distribucional de las palabras. En particular, creamos embeddings de fastText usando las colecciones divididas por país. Creamos word embeddings para datos separados por región y uno que aglutina los datos de todas las regiones (27 modelos, 300d).

Por si mismo esto ya nos permité realizar modelos clustering y clasificación, o realizar búsquedas semánticas. Pero caben preguntas sobre la bondad de los modelos regionales, o si es mejor usar modelos que aglutinan datos.

Emoji-15: predicción de emojis, ejemplo de clasificación regional

Tarea: Predicción emojis que podrían estar asociados a un mensaje

Tomamos mensajes georeferenciados enero-febrero 2020.
Seleccionamos los emoji objetivos entre los más populares en español: 🥺, ❤, 👌, 👏, 💔, 😄, 😊, 😌, 😍, 😒, 😘, 😡, 😢, 😭, 🤔.
Para cada región seleccionamos mensajes con solo uno de estos emoji.
El emoji en cuestión se reemplaza por la cadena _emo y se usa como etiqueta.
Partición 50-50 por cada región, se reporta micro recall.
Usamos fastText supevisado con cada uno de los modelos regionales como preentrenados – all vs all.

distribución de ejemplos por región (train)

emoji	AR	BR	CA	CL	CO	CR	CU	DO	EC	ES	FR	GB	GT	HN	MX	NI	PA	PE	PY	SV	US	UY	VE
🥺	3,749	275	158	1,263	4,760	425	26	458	745	2,640	53	95	666	708	10,160	736	827	739	684	278	2,536	446	359
❤	18,454	1,775	124	2,911	6,237	821	41	348	1,123	8,394	153	255	653	609	9,508	491	880	968	1,800	219	3,216	1,478	784
👌	2,114	92	34	1,016	1,455	242	20	167	253	1,825	41	58	376	157	2,754	159	313	160	666	124	597	190	71
👏	6,785	433	80	2,995	2,486	159	33	369	886	7,061	64	105	197	159	4,175	52	388	577	761	222	1,281	1,248	530
💔	4,278	100	28	390	1,407	161	7	123	200	1,164	26	37	134	91	1,438	105	260	115	428	31	667	283	142
😄	798	26	8	301	300	42	3	56	83	776	4	18	48	48	549	17	58	115	92	53	192	85	120
😊	3,609	105	35	1,803	1,475	171	32	175	364	3,827	74	56	257	129	3,395	115	236	817	369	192	829	377	293
😌	1,184	70	30	827	986	132	44	280	238	1,017	23	23	123	163	2,011	151	293	248	377	78	608	167	110
😍	15,999	932	111	2,190	6,824	510	28	509	837	8,000	107	136	491	514	8,711	341	1,010	999	1,996	268	2,232	1,194	686
😒	3,081	89	24	920	1,718	155	50	316	291	780	18	22	163	124	2,185	175	322	213	259	127	738	359	236
😘	5,935	211	70	1,764	1,482	98	29	119	347	10,785	203	99	171	72	4,290	63	136	374	190	181	1,808	719	493
😡	2,777	136	60	1,098	1,412	150	5	110	291	1,320	12	25	158	52	2,428	59	155	227	250	90	769	301	252
😢	2,144	89	38	699	1,039	153	8	102	296	1,507	31	39	151	129	2,646	131	204	271	239	69	781	227	135
😭	13,873	436	125	1,967	4,461	581	25	604	787	3,935	157	135	388	364	6,752	321	1,057	979	1,832	200	2,799	939	530
🤔	6,751	275	154	2,756	4,173	440	47	614	771	4,781	99	111	421	339	7,380	211	741	1,135	937	384	1,941	951	734

algunas regiones se omiten por falta de ejemplos

Resultados

cc	minrecall	maxrecall	localrank	top5
AR	0.4777	0.49	3	UY,PY,AR,PE,CO
BR	0.4611	0.4879	1	BR,ALL,DO,PY,CR
CA	0.2934	0.3533	18	CL,ALL,CO,MX,US
CL	0.4257	0.4494	1	CL,US,MX,AR,ES
CO	0.4247	0.4365	2	US,CO,VE,EC,GT
CR	0.3689	0.388	9	US,VE,ALL,MX,CO
DO	0.3383	0.3813	13	US,CO,VE,CL,ALL
EC	0.3797	0.4138	9	MX,US,CL,ALL,CO
ES	0.4754	0.4855	1	ES,AR,MX,US,VE
FR	0.4187	0.4424	4	ALL,GT,EC,FR,PA
GB	0.3467	0.3756	23	ALL,AR,ES,VE,MX
GT	0.3489	0.3882	13	MX,US,ALL,CO,ES
HN	0.3354	0.3671	18	PE,EC,BR,CR,UY
MX	0.4233	0.4335	1	MX,GT,CR,US,CO
NI	0.3372	0.3718	18	VE,CO,CL,MX,US
PA	0.3658	0.3927	10	US,CL,VE,CO,PE
PE	0.3799	0.4196	9	MX,ALL,US,AR,CO
PY	0.4244	0.4417	1	PY,US,BR,PE,UY
SV	0.3226	0.3954	18	US,CO,MX,CL,VE
US	0.4041	0.4244	1	US,MX,CO,ES,CL
UY	0.4351	0.4572	1	UY,US,CO,CL,VE
VE	0.3848	0.4338	4	MX,CO,ES,VE,US

@show describe(D.localrank)

Summary Stats:
Length:         22
Missing Count:  0
Mean:           8.090909
Minimum:        1.000000
1st Quartile:   1.000000
Median:         6.500000
3rd Quartile:   13.000000
Maximum:        23.000000
Type:           Int64
describe(D.localrank) = nothing

Promedio de ranks - qué tan bueno es cada modelo

Apariciones en el top-5

cc	freq
US	17
CO	15
MX	13
VE	10
ALL	9
CL	9
ES	6
AR	5

...

average rank de modelos

model	voc-size	avg. model rank
US	292,465	4.23
CO	324,635	6.05
MX	438,136	6.27
CL	282,737	6.91
VE	271,924	7.0
ALL	1,696,232	8.45
PE	178,113	8.64
UY	200,032	8.73
EC	147,560	8.95
AR	673,424	9.41
ES	571,196	10.95
PY	124,162	11.14
BR	127,205	11.27
CR	103,086	12.5
PA	111,635	13.36
GT	95,252	13.64
DO	108,655	14.91
GB	82,418	18.0
NI	68,605	18.18
FR	69,843	18.91
CA	63,161	19.0
SV	73,833	19.14
HN	60,580	20.36

Llegados a este punto deberíamos tener cierta idea de la bondad de los modelos semánticos regionalizados, sin embargo, hay problemas en las distribuciones de los datos, algunas regiones tienen corpus enormes mientras que otros son relativamente pequeños. ¿Qué hacer?

Similitud entre regiones

Necesitamos una matriz de afinidad, como lo hicimos con el caso léxico, pero los embeddings de diferentes regiones no son comparables entre sí.

Representación de las regiones Para calcular la similitud usamos una representación que extrae información semántica basada en el grafo de los $k$ vecinos cercanos. Esto soluciona el problema de comparación, pero introduce diferentes problemas relacionados con los recursos ya que el tamaño del vocabulario es relativamente grande.

Recordando, cada palabra es un punto en $300$ dimensiones.
La distancia entre puntos se mide usando $1 - cos(u, v)$ .
Cada región es una nube de puntos (palabras).
Uso de un vocabulario restringuido (preservar tokens que aparecen en al menos 10 regiones); esto también reduce el problema de la disparidad de datos entre diferentes corpus.
Uso de herramientas especiales para la construcción de la gráfica de $k$ vecinos ( $k=33$ ).
Cada región se representa en un vector disperso de muy alta dimensión, i.e., $10^{10}$ componentes con $\approx{}3.8$ millones de componentes diferentes de zero. Se mide nuevamente con distancia coseno, pero con los vectores resultantes.

Tokens comunes: ¿En cuántas regiones aparece un token?

Matriz de afinidad por embeddings

Similitud semántica entre regiones -- UMAP

Mapa colorizado con la proyección semántica 3D

Ejemplos de $k$ vecinos

Notebook ejemplos

println(read("ejemplos-palabras-knn.md", String))

Iglesia

AR	CL	CO	ES	MX	US	VE
catolica	sacerdotes	catolica	catolica	catolica	evangelica	catolica
evangelica	evangelica	congregacion	apostolica	congregacion	catolica	apostolica
apostolica	curas	evangelica	clero	misa	evangeliza	catolicas
curia	curia	catolicos	eclesial	apostolica	apostolica	feligresia
catolicos	congregacion	catolico	catolicas	religioso	evangelicas	misa
curas	eclesiastica	sacerdotes	curia	catolicos	misa	catolicos
clero	sacerdotal	catolicas	eclesiastica	catolicas	igle	catolico
catolicismo	igle	iglesias	vaticano	catolico	evangelizar	evangelica
catolicas	feligreses	cristiana	sacerdotes	eucaristia	cristiana	homilia
evangelicas	diocesis	apostolica	vaticana	parroco	catolicos	sacerdotes
sacerdotes	eclesiastico	catolicismo	obispos	sacerdotes	pentecostal	eclesiastica
eclesiastica	catolicos	evangeliza	eclesiasticos	catedral	pentecostes	apostolico
apostolicos	clero	misa	feligresia	clero	sacerdotes	apostolicos
vaticano	pentecostal	clero	apostolicos	evangelicos	congregacion	feligres
evangelicos	obispos	parroquia	curas	sacerdote	judeocristiana	congregacion
sinagoga	vaticano	religiosa	catolicos	religiosos	evangelizando	episcopal
religiosa	eclesiasticos	feligresia	eclesiastico	congrega	sacerdote	feligreses
feligresia	laicos	evangelicas	episcopado	⛪	sacerdotal	evangelizacion
parroquia	sacerdote	judeocristiana	basilica	congregaciones	catolicas	evangelizar
catolico	pentecostales	pastores	clerical	evangelico	pastoral	evangeliza
basilica	vaticana	sacerdote	religiosa	cristianos	excomunion	parroco
apostolico	evangelicas	evangelicos	episcopal	vaticano	apostolicos	eclesial
misa	pedofilos	jerarca	religiosos	cristiana	catolicismo	catolicismo
excomulgar	clerigos	jerarcas	catolicismo	evangelicas	pastores	diocesis
eclesiastico	iglesias	feligreses	conventos	evangelica	evangelizacion	pastores
feligreses	karadima	cristianas	apostolico	sacerdotal	cristiandad	episcopado
eclesiasticos	eclesiasticas	apostolicos	arzobispado	apostolicos	evangelico	arquidiocesis
congregacion	eclesial	evangelizar	congregacion	pentecostes	adventista	eclesiastico
parroquias	apostolica	anticristiana	clerigos	parroquia	evangelicos	congrega
cristianismo	sacerdocio	congregaciones	laicos	sacramentos	evangelios	evangelicas
evangelico	pederastia	pentecostes	religiosidad	religion	capilla	sacerdotal
bergoglio	arquidiocesis	sacerdotal	parroquia	congrego	pentecostales	obispos
anticristiana	evangelista	curas	aconfesional	basilica	evangelista	sacerdocio

América

AR	CL	CO	ES	MX	US	VE
america0	america0	america0	sudamerica	america0	sudamerica	suramerica
merica	sudamerica	merica	americas	americanismo	suramerica	merica
americas	americaa	americaa	norteamerica	atlas	centenario	latinoamerica
suramerica	americalatina	suramerica	americalatina	tigres	ameri	americalatina
sudamerica	suramerica	mechita	suramerica	chivas	latina	sudamerica
americalatina	americas	sudamerica	centroamerica	xolos	americanismo	latina
continente	merica	americalatina	americo	pumas	continente	continente
latina	latina	americanos	latinoamerica	merica	centenarios	america0
latinoamerica	latinoamerica	ameri	america0	necaxa	norteamerica	centroamerica
continentales	centenario	latina	latina	piojo	americans	hispanoamerica
hispanoamerica	continente	centenario	sudamericana	americanista	americas	latinoamericanos
sudamericanas	suramericana	americo	hispanoamerica	monarcas	latinoamerica	latinoamericana
suramericana	copa	mecha	continente	americanistas	centroamerica	latinoamericano
continental	confederaciones	cortulua	mexico	rayados	conca	continental
sudamericano	sud	ascenso	centroamericanos	ameri	chivas	norteamerica
sudamericanos	centroamerica	suramericana	iberoamerica	marchesin	hispanoamerica	continentales
suramericano	sudamericano	suramericanos	sudamericano	suramerica	tigres	suramericana
suramericanos	sudamericanos	ascendio	centroamericano	libertadores	necaxa	continentes
sudamericana	continentes	suramericano	centroamericana	sambueza	concacaf	latino
concacaf	sudamericana	americanismo	americanismo	🦅	sudamericana	suramericanos
centroamerica	sudamericanas	americano	oceania	sudamerica	libertadores	centenario
iberoamerica	latinoamericana	jaguares	americanos	oribe	copa	latinoamericanas
europa	suramericano	ascender	sudamericanos	concachampions	concachampions	americanos
norteamerica	suramericanos	cuadrangular	asia	concacaf	continental	americas
eurocopas	recopa	dim	eeuu	centenario	sudamericanos	region
libertadores	americanos	ascienda	suramericana	atlante	centenaria	europa
americanos	latinoamericano	descendido	bolivia	americalatina	xolos	centenaria
continentes	latinoamericanos	cali	chile	tuzos	continentes	hispanoamericanos
mundiales	latinoamericanas	descender	sudamericanas	aguilucho	americanistas	sudamericanos
ecuador	continentales	sudamericanos	colombia	equipillo	americanista	latam
rusia	mundiales	continente	suramericanos	saprissa	suramericana	centroamericana
concachampions	continental	quindio	americano	tigueres	sudamericano	iberica
region	bicampeon	erica	latinoamericano	aguilas	continentales	libertadores

Chile

AR	CL	CO	ES	MX	US	VE
ecuador	chiles	uruguay	chile0	chile0	chilen	argentina
peru	chilee	argentina	argentina	chilee	chilee	peru
chile0	chilito	peru	paraguay	piquin	chilenos	ecuador
uruguay	pais	bolivia	mexico	chilito	chile0	chile0
mexico	latinoamerica	chilen	uruguay	chilensis	chileno	chiles
chilen	chile0	ecuador	peru	habanero	chilena	paraguay
brasil	chil	paraguay	bolivia	morron	uchile	chilena
bolivia	america0	brasil	colombia	uchile	shile	bolivia
colombia	🇨	chilenos	brasil	chiles	chilito	uruguay
paraguay	suramerica	mexico	chilenos	verdolagas	chilenito	brasil
chiles	sudamerica	chiles	chilen	jalapeno	argentina	chilen
chilee	🇱	honduras	ecuador	pimiento	chilenas	chilenos
rusia	argentina	chile0	chileno	chil	chiles	chilensis
chilenos	chileno	uchile	chilee	habanera	pinera	guatemala
brazil	america	brazil	nicaragua	uruguay	uruguay	mexico
espana	colombia	suramerica	sudamerica	peru	paraguay	honduras
chiloe	peru	chileno	honduras	tajin	🇱	chileno
mexico0	iberoamerica	chilensis	latinoamerica	pica	sudamerica	chilenito
brasil0	mexico	chilena	uchile	sofrito	bolivia	panama
chileno	venezuel	hahati	chiles	jamaica	brazil	pinera
polonia	chilenos	alemania	bancolombia	argentina	antofagasta	chilenas
uchile	antofagasta	chil	brasil0	pepino	pinochet	nicaragua
portugal	shile	sudamerica	mejico	pepinos	peru	colombia
alemania	latinoamericano	zelanda	brasilia	chipotle	ecuador	brasil0
honduras	ecuador	chilenito	suramerica	uruguayas	uruguasho	pinochet
sudamerica	venezula	boliviatv	uruguayas	honduras	chilensis	chil
canada	nuestro	francia	chilenito	brasil	brasil	brazil
australia	mexico0	montevideo	paraguayas	picante	carabineros	argentinaa
eeuu	chilena	polonia	guatemala	picadito	colombia	hondura
francia	latinoamericana	brasil0	centroamerica	jalapenos	chiloe	paraguaya
inglaterra	mundial0	suecia	montevideo	ecuador	alemania	paraguayos
chilenas	venezuela	argetina	arg	uruguaya	cl	hahati
russia	_htag	pinera	boliviana	picao	weon	paraguayas

Inseguridad

AR	CL	CO	ES	MX	US	VE
delincuencia	inseguridades	atracos	inseguridades	delincuencia	inseguridades	delincuencia
delicuencia	inseguros	delincuencia	desconfianza	ingobernabilidad	bioseguridad	escasez
segurida	inseguro	segurida	inseguras	secuestros	delincuencia	inseguridades
desidia	insegura	hurtos	inseguros	violencia	seguridad	escacez
desocupacion	incertidumbre	desempleo	insegura	delicuencia	inseguros	escaces
seguridades	seguridad	seguridad	inseguro	delincuencial	segurida	desabastecimiento
inoperancia	bioseguridad	inseguros	seguridad	delincuencias	insegura	escases
seguridad	segurida	informalidad	intranquilidad	asaltos	seguridades	delicuencia
narcotrafico	desconfianza	robos	seguridades	delincuenciales	delincuenciales	escazes
delincuenciales	incertidumbres	seguridas	segurida	feminicidios	delincuencial	carestia
delincuencias	intranquilidad	criminalidad	insalubridad	impunidad	insalubridad	insalubridad
delicuencial	inestabilidad	desigualdad	indefension	segurida	violencia	criminalidad
delincuencial	seguridades	zozobra	delincuencia	corrupcion	criminalidad	galopante
marginalidad	insertidumbre	sosobra	bioseguridad	desempleo	desconfianza	hampa
seguridas	indefension	bioseguridad	desidia	femicidios	incertidumbres	inflacion
criminalidad	delincuencia	militarizacion	inestabilidad	delicuencial	delincuencias	inseguras
desigualdad	incomodidad	insalubridad	vulnerabilidad	desigualdad	desabastecimiento	segurida
robos	temor	subempleo	incomodidad	seguridad	incertidumbre	desbordada
inflacion	desesperanza	hacinamiento	conflictividad	gobernabilidad	desigualdad	inseguro
indigencia	impulsividad	microtrafico	incertidumbre	criminalidad	pobreza	delincuencias
inaccion	angustia	delicuencia	desafeccion	marginacion	escacez	desabastecidos
homicidios	desproteccion	percepcion	dejadez	inseguro	escasez	ciberseguridad
pobreza	permisividad	ineficiencia	ineficiencia	homicidios	carencia	desabastecido
combatan	vulnerabilidad	indigencia	ansiedad	inpunidad	delicuencia	atracos
femicidios	seguridas	desconfianza	fragilidad	ineptitud	precariedad	delincuenciales
conflictividad	precariedad	inoperancia	despreocupacion	asesinatos	indigencia	salubridad
violencia	paranoia	inequidad	preocupacion	indices	inflacion	seguridad
corrupcion	frustracion	homicidios	inoperancia	robos	inestabilidad	hiperinflacion
desconfianza	desmoralizacion	intranquilidad	irritabilidad	ineficacia	probreza	bioseguridad
corrupccion	hostilidad	galopante	criminalidad	incompetencia	pobredumbre	anarquia
ineptitud	certidumbre	ineficacia	suciedad	carestia	hiperinflacion	desatada
estigmatizacion	agresividad	drogadiccion	infelicidad	ineficiencia	ineptitud	hambruna
alarmante	polaridad	intolerancia	salubridad	inseguridades	ciberseguridad	carencia

Violencia

AR	CL	CO	ES	MX	US	VE
violencias	violencias	violencias	violencias	violencias	violencias	violencias
agresion	vandalismo	violentos	violente	feminicidios	violenten	violentos
denigracion	agresion	estigmatizacion	intrafamiliar	femicidios	violente	violenten
agresiones	represion	violente	represion	violentas	violentos	violente
verbal	bandalismo	intrafamiliar	violenten	vandalismo	violentas	violenta
violecia	agresiones	violenten	violecia	femicidio	violentar	confrontacion
discriminacion	violenten	bandalismo	violentos	violente	violentan	violentas
violentos	violente	agresiones	violentas	bandalismo	delincuencia	terrorismo
misoginia	vandalismos	violentas	violenta	feminicidio	violentada	intolerancia
vandalismo	violentos	represion	violentar	agresion	violenta	violecia
revictimizacion	violenta	vandalismo	terrorismo	intrafamiliar	feminicidios	vandalismos
amedrentamiento	violentas	intolerancia	criminalizacion	asesinatos	violentado	represion
genero	incitacion	incitacion	violentada	agresiones	vandalismo	confrontaciones
intolerancia	intrafamiliar	intimidacion	agresiones	delincuencia	violentando	vandalismo
intimidacion	violentar	vandalismos	violentan	desigualdad	violentados	violento
represion	destruccion	violenta	agresion	violecia	discriminacion	desestabilizacion
incitacion	reprension	discriminacion	violentados	inseguridad	agresiones	agrecion
desigualdad	agresividad	confrontacion	violentado	feminicidas	femicidios	incitacion
delincuencia	represiones	barbarie	violentadas	violentos	intrafamiliar	agresion
provocacion	ejercida	agresion	violento	violenten	violecia	bandalismo
violentas	violent	violentados	discriminacion	feminicida	feminicidio	amedrentamiento
feminicidios	militarizacion	descriminacion	violentando	criminalidad	agresion	golpismo
naturalizacion	anarquia	violentan	amedrentamiento	criminalizacion	vandalismos	represiones
hostigamiento	violecia	desigualdad	xenofobia	violaciones	delincuencias	conflictividad
estigmatizacion	polarizacion	polarizacion	descriminacion	misoginia	bandalismo	intimidacion
machismo	violentan	terrorismo	genero	represion	delincuenciales	criminalidad
ejercida	saqueos	represiones	vandalismo	vandalismos	criminalizacion	agresiones
prepotencia	violentarla	anarquia	criminalidad	terrorismo	represion	criminalizacion
violentar	violentando	criminalizacion	represiones	revictimizacion	intolerancia	guarimba
violenten	violento	criminalidad	incitacion	barbarie	intimidacion	agresividad
victimizacion	barbarie	incitadores	feminicidio	polarizacion	anarquia	criminalizar
vandalismos	delincuencia	incitar	intimidacion	machismo	violentadas	violentan
descriminacion	vandalicos	violentada	ejercida	discriminacion	violentaron	anarquia

Naco

AR	CL	CO	ES	MX	US	VE
nacos	anaco	nacos	nacos	naca	nacos	nacos
chilote	nacos	naca	pendejo	nacos	naca	traficante
anaco	malayo	culero	wey	guarro	culero	caco
provinciano	escuincla	nacas	pendejazo	nacas	mamon	sidoso
guanaco	flaite	joto	mamagueva	mamador	nacas	narcotraficante
tucumano	escuincle	corroncho	vato	nero	mugroso	cocainomano
weon	guarro	mames	marico	poser	qlero	patotero
flaite	shileno	guiso	pendejete	mugroso	pendejete	narco
huevon	verraco	asqueroso	culiao	freson	chaharo	vaco
culero	mexicanito	frijolero	verga	piojoso	wey	caliche
chileno	chayo	culera	pendejito	caco	joto	malandro
chingon	pedo	ario	conchudo	meco	mexicanito	periquero
mexicanito	chingado	pinche	weon	buchon	putito	cuatrero
shileno	culero	chupeton	pendeja	vulgar	pendejazo	pobreton
aweonao	pinche	mane	mamaguevo	inculto	vato	mamerto
ediondo	gafe	guey	mamaguebo	joto	pinche	macaco
mexicano	zapo	fachero	chingon	mamon	mamador	mafioso
paraguayo	frijolero	feo	pendeje	pendejo	culera	geton
falopero	gringo	ordinario	mmgvo	asqueroso	malinche	malparido
mariguano	caraqueno	concho	pendej	corrientazo	guey	colombiano
hueon	sadboy	bodorrio	awebo	arrabalero	chafa	hijuelagranputa
mariguanero	cuico	mexicano	mamawebo	pendejazo	freson	otaco
mamahuevo	guaro	traqueto	putazo	clasista	buchon	paraco
descarao	atorrante	malhablado	conchetumadre	reguetonero	chilango	chaburro
costeno	tero	conchetumadre	pendejada	misogino	chido	barrigon
coquero	canero	qlero	careverga	regetonero	chingon	balurdo
parcero	regetonero	novelero	chingadera	imbecil	mamona	tumaco
chilo	choro	rapero	gonorrea	culero	jote	maricon
guero	wero	travesti	webon	reggaetonero	gangoso	drogadicto
wevon	chingamo	chilango	culiado	irrespetuoso	pendejo	mamaguevo
ctm	wuacho	chandal	sifrino	fantoche	miado	choro
frijolero	uruguasho	wuey	gonorreas	pretencioso	mamila	pudrete
mongolito	reguetonero	sidoso	guebon	maricon	sangron	mariguanero

Búsqueda por similitud

SimilaritySearch.jl es un paquete para Julia que resuelve de manera eficiente búsquedas de vecinos cercanos usando una noción de distancia.

Multitarea (CPU)
Altamente eficiente para cálculo de las gráficas de $k$ vecinos
Amplia flexibilidad en funciones de distancias:
- Viene con distancias Minkowski, distance de ángulo/coseno, distancias cadenas (Levenshtein), distancias entre conjuntos, distancias Hamming a nivel de bits, distancia de Hausdorff.
- Aquellas definidas en https://github.com/JuliaStats/Distances.jl.
- Las funciones especificadas por el usuario veloces.
Con calidad controlada: mejor tradeoff costo de construcción, tiempo de búsqueda, memoria: Similarity search on neighbor's graphs with automatic Pareto optimal performance and minimum expected quality setups based on hyperparameter optimization. Eric S. Tellez, Guillermo Ruiz https://arxiv.org/abs/2201.07917

Para las proyecciones se uso el paquete de Julia

SimSearchManifoldLearning.jl hace uso de SimilaritySearch.jl y soporta proyecciones UMAP y otras relacionadas con manifold learning.

Proyección 2D y 3D (color) de los vocabularios semánticos de la región ALL -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región AR -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región BO -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región BR -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región CA -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región CL -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región CO -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región CR -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región CU -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región DO -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región EC -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región ES -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región FR -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región GB -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región GQ -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región GT -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región HN -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región MX -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región NI -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región PA -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región PE -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región PR -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región PY -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región SV -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región US -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región UY -- palabras comunes (qué aparecen en al menos 10 regiones)

Proyección 2D y 3D (color) de los vocabularios semánticos de la región VE -- palabras comunes (qué aparecen en al menos 10 regiones)

Introducción - Corpus - Recursos léxicos - Word embeddings - Modelos de lenguaje - Conclusiones

CC BY-SA 4.0 Eric S. Tellez . Last modified: January 26, 2023. Website built with Franklin.jl and the Julia programming language.

Regional Spanish Resources

Eric S. Téllez – CONACyT - CICESE - INFOTEC email:eric.tellez@ieee.org