当前位置: 首页 > article >正文

羲和小医生0.1

创建一个名为“羲和小医生”的医学类问答机器人,我们使用Python和一些常用的库来实现。这个项目将包括以下几个部分:
数据处理:准备和处理训练数据。
模型训练:使用bert-base-chinese模型进行微调。
GUI开发:使用tkinter库创建图形用户界面。
项目结构

羲和小医生/
│
├── 羲和小医生.py
├── README.md
└── data/
    └── train_data.json

README.md

# 羲和小医生

这是一个基于BERT的医学类问答机器人,旨在帮助用户获取医学相关问题的解答。本项目使用`bert-base-chinese`模型进行微调,并通过`tkinter`库创建了一个简单的图形用户界面(GUI)。

## 目录结构

- `羲和小医生.py`: 主程序文件,包含数据处理、模型训练和GUI开发。
- `README.md`: 项目说明文档。
- `data/`: 存放训练数据的目录。
  - `train_data.json`: 训练数据集。

## 运行环境

- Python 3.7+
- PyTorch 1.7+
- Transformers 4.0+
- Tkinter

## 安装依赖
pip install torch transformers
使用方法
将训练数据集放入data/train_data.json。
运行羲和小医生.py。
python 羲和小医生.py
训练数据格式
训练数据集应为JSON格式,示例如下:
[
    {
        "instruction": "大肠癌能治愈吗?有什么好的治疗方法?",
        "input": "无",
        "output": "根据你的描述属于恶性肿瘤有关,需要增加营养补充维生素微量元素,易消化易吸收饮食,保持心情舒畅注意休息,需要综合治疗放化疗中药调理生物靶向治疗。",
        "history": null
    },
    {
        "instruction": "外阴脂肪瘤怎样治疗",
        "input": "患者 女50岁,外阴一侧有一个3*5厘米瘤子,约六七年了,以前小,不疼不痒,请问怎样治疗、",
        "output": "你说的症状建议去外科就诊,应该通过手术切除治疗配合抗消炎的药物治疗,平时饮食以清淡为主忌辛辣刺激食物,注意卫生。",
        "history": null
    }
]
作者
作者:yehaiwz
邮箱:554687453@qq.com

羲和小医生.py

import json
import torch
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
import tkinter as tk
from tkinter import messagebox

# 加载数据
def load_data(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        data = json.load(f)
    return data

# 数据预处理
def preprocess_data(data, tokenizer, max_length=128):
    inputs = []
    labels = []
    for item in data:
        instruction = item['instruction']
        input_text = item['input']
        output = item['output']
        text = f"{instruction} {input_text}"
        inputs.append(text)
        labels.append(output)
    encodings = tokenizer(inputs, truncation=True, padding=True, max_length=max_length, return_tensors='pt')
    return encodings, labels

# 自定义数据集
class MedicalDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels

    def __getitem__(self, idx):
        item = {key: val[idx] for key, val in self.encodings.items()}
        item['labels'] = self.labels[idx]
        return item

    def __len__(self):
        return len(self.labels)

# 模型训练
def train_model(data, model, tokenizer, output_dir):
    encodings, labels = preprocess_data(data, tokenizer)
    dataset = MedicalDataset(encodings, labels)
    
    training_args = TrainingArguments(
        output_dir=output_dir,
        num_train_epochs=3,
        per_device_train_batch_size=8,
        warmup_steps=500,
        weight_decay=0.01,
        logging_dir='./logs',
        logging_steps=10,
    )
    
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=dataset,
    )
    
    trainer.train()

# 模型推理
def predict(model, tokenizer, instruction, input_text):
    text = f"{instruction} {input_text}"
    inputs = tokenizer(text, return_tensors='pt')
    outputs = model(**inputs)
    logits = outputs.logits
    predicted_label = torch.argmax(logits, dim=-1).item()
    return predicted_label

# GUI
def create_gui(model, tokenizer):
    def on_query():
        instruction = entry_instruction.get()
        input_text = entry_input.get() if var_input.get() == 1 else "无"
        output = predict(model, tokenizer, instruction, input_text)
        entry_output.delete(0, tk.END)
        entry_output.insert(0, output)

    root = tk.Tk()
    root.title("羲和小医生")

    # 问题输入框
    label_instruction = tk.Label(root, text="问题:")
    label_instruction.grid(row=0, column=0, padx=10, pady=10)
    entry_instruction = tk.Entry(root, width=50)
    entry_instruction.grid(row=0, column=1, padx=10, pady=10)

    # 补充输入框
    var_input = tk.IntVar()
    check_input = tk.Checkbutton(root, text="有补充", variable=var_input)
    check_input.grid(row=1, column=0, padx=10, pady=10)
    entry_input = tk.Entry(root, width=50)
    entry_input.grid(row=1, column=1, padx=10, pady=10)

    # 查询按钮
    button_query = tk.Button(root, text="查询", command=on_query)
    button_query.grid(row=2, column=0, columnspan=2, pady=10)

    # 输出框
    label_output = tk.Label(root, text="羲和回答:")
    label_output.grid(row=3, column=0, padx=10, pady=10)
    entry_output = tk.Entry(root, width=50)
    entry_output.grid(row=3, column=1, padx=10, pady=10)

    root.mainloop()

# 主函数
def main():
    data_path = 'data/train_data.json'
    output_dir = 'output'

    data = load_data(data_path)
    tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
    model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=1)

    train_model(data, model, tokenizer, output_dir)
    create_gui(model, tokenizer)

if __name__ == "__main__":
    main()

说明
数据加载和预处理:load_data函数读取JSON文件中的数据,preprocess_data函数对数据进行预处理,将其转换为模型可以接受的格式。
自定义数据集:MedicalDataset类用于封装预处理后的数据。
模型训练:train_model函数使用Trainer类进行模型训练。
模型推理:predict函数用于根据输入的问题和补充信息生成回答。
GUI开发:create_gui函数使用tkinter库创建图形用户界面,包括输入框、按钮和输出框。
运行羲和小医生.py文件后,将弹出一个窗口,用户可以在窗口中输入问题和补充信息,点击“查询”按钮后,程序将显示模型生成的回答。


http://www.kler.cn/a/398704.html

相关文章:

  • 如何用python将pdf转换为json格式
  • 深入理解 C++ 二叉树
  • C语言剖析:srand()/rand()/time()
  • 01.02、判定是否互为字符重排
  • Unity 2022 Nav Mesh 自动寻路入门
  • 谷粒商城のRedisESRabbit MQ集群
  • ASP.NET 部署到IIS,访问其它服务器的共享文件 密码设定
  • Executor和Service
  • 跨平台WPF框架Avalonia教程 九
  • 如何让手机ip变成动态
  • 【论文复现】基于扩散模型的无载体图像隐写术
  • 关于linux中strip去除相关符号表的问题
  • 受害者缓存(Victim Cache)
  • ffmpeg 遇见错误
  • 机器学习—再次决定下一步做什么
  • Layer1公链介绍:Solana
  • MCU中的定时器
  • MySQL数据库2——SQL语句
  • 化工防爆巡检机器人:在挑战中成长,为化工安全保驾护航
  • [AI] 从“进取号”到现代 NLP:机器语言理解的挑战与未来
  • HTTP/2新型DDoS攻击:技术深度剖析与防御指南
  • Python | Leetcode Python题解之第564题寻找最近的回文数
  • 腾讯云内容合规基于springboot架构设计
  • 如何给openshift 单节点集群配置hugepage
  • 基于Java Springboot电商个性化推荐系统
  • c++数字雨实现