Coggle数据科学 | 科大讯飞AI大赛：人岗匹配挑战赛 赛季3
本文来源公众号“Coggle数据科学”，仅用于学术分享，侵权删，干货满满。
原文链接：科大讯飞AI大赛：人岗匹配挑战赛 赛季3
-
赛题名称：人岗匹配挑战赛 赛季3
-
赛题类型：自然语言处理、文本匹配
-
赛题任务：基于提供的样本构建模型，预测简历与岗位匹配与否。
报名链接：https://challenge.xfyun.cn/topic/info?type=match-challenge-s3&ch=dw24_AtTCK9
赛事背景
讯飞智聘是一款面向企业招聘全流程的智能化解决方案。运用科大讯飞先进的智能语音、自然语言理解、计算机视觉等AI技术及大数据能力，具备业界领先的简历解析、人岗匹配、AI面试、AI外呼等产品功能，助力企业提升招聘效率，降低招聘成本。
人岗匹配是企业招聘面临一个重大挑战，尤其在校园招聘等集中招聘的场景下，面对海量的简历，如何快速分类筛选出最适合招聘岗位的简历，以及在内推和猎头场景下，如何为一份简历找到合适的岗位，做到人适其岗、岗适其人，提升人岗匹配的效率和准确度，是困扰每一个HR和面试官的难题。
赛事任务
智能人岗匹配需要强大的数据作为支撑，本次大赛提供了大量的岗位JD和求职者简历的加密脱敏数据作为训练样本，参赛选手需基于提供的样本构建模型，预测简历与岗位匹配与否。
数据说明
本次比赛为参赛选手提供训练集与测试集，数据包含数据结构为：
岗位JD数据包含4个特征字段：positionName, positionDescription, positionRequirements, positionID，对应含义分别为：岗位名称、岗位介绍、岗位要求、岗位ID。
求职者简历数据包含如下字段：
出于数据安全保证的考虑，所有数据均为脱敏处理后的数据。
评估指标
本模型依据提交的结果文件，采用macro-F1 score进行评价。
赛题 Baseline
-
读取比赛数据
import pandas as pd
import numpy as np
import json
import re
from tqdm import tqdm
train = json.load(open('dataset/train.json'))
test = json.load(open('dataset/test.json'))
job_list = json.load(open('dataset/job_list.json'))
-
人工特征工程
-
简历部分单词与岗位名称、描述和要求中单词的交集的大小。
-
简历部分单词与岗位名称、描述和要求中单词交集的大小，除以岗位名称、描述和要求中单词的数量，得到匹配比例。
-
简历部分单词与岗位名称、描述和要求中单词交集的大小，除以简历部分单词的数量加一，得到匹配比例的另一种计算方式。
-
对于简历中的每个关键部分（如教育经历、社会经验等），使用正则表达式模式
\b\w+\b提取单词，并存储在cv_sample_word字典中。 -
遍历岗位列表（
job_list），对于每个岗位样本，使用相同的正则表达式模式提取岗位名称、岗位描述和岗位要求中的单词。 -
对于简历中的每个关键部分，计算以下特征：
-
# 正则表达式模式，匹配单词，其中单词由空格、标点符号或字符串的开始和结束进行分割
pattern = re.compile(r'\b\w+\b')
train_feat = []
for train_sample in tqdm(train):
cv_sample_word = {}
for key in ['profileEduExps', 'profileSocialExps', 'profileLanguage', 'profileProjectExps', 'profileSkills', 'profileAwards', 'profileWorkExps', 'profileDesire']:
cv_sample_word[key] = pattern.findall(str(train_sample['resumeData'][key]))
for job_sample in job_list:
positionName_word = re.findall(pattern, job_sample['positionName'])
positionDescription_word = pattern.findall(job_sample['positionDescription'])
positionRequirements_word = pattern.findall(job_sample['positionRequirements'])
feat = [
len(train_sample['resumeData']['profileEduExps']),
]
for key in ['profileEduExps', 'profileSocialExps', 'profileLanguage', 'profileProjectExps', 'profileSkills', 'profileAwards', 'profileWorkExps', 'profileDesire']:
feat.append(len(set(cv_sample_word[key]) & set(positionName_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionDescription_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionRequirements_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionName_word)) / len(set(positionName_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionDescription_word)) / len(set(positionDescription_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionRequirements_word)) / len(set(positionRequirements_word)))
feat.append(len(set(cv_sample_word[key]) & set(positionName_word)) / (len(set(cv_sample_word[key])) + 1))
feat.append(len(set(cv_sample_word[key]) & set(positionDescription_word)) / (len(set(cv_sample_word[key])) + 1))
feat.append(len(set(cv_sample_word[key]) & set(positionRequirements_word)) / (len(set(cv_sample_word[key])) + 1))
if train_sample['positionID'] == job_sample['positionID']:
feat.append(1)
else:
feat.append(0)
train_feat.append(feat)
-
模型训练
from lightgbm import LGBMClassifier
model = LGBMClassifier()
model.fit(train_feat[:-20000, :-1], train_feat[:-20000, -1])
model.score(train_feat[-20000:, :-1], train_feat[-20000:, -1])完整代码见：
https://github.com/datawhalechina/competition-baseline/tree/master/competition/%E7%A7%91%E5%A4%A7%E8%AE%AF%E9%A3%9EAI%E5%BC%80%E5%8F%91%E8%80%85%E5%A4%A7%E8%B5%9B2024
THE END !
文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。