讲师中心 微信公众号
AI工具推荐 视频效率加速

如何读取CSV文件并合并内容并计算出现比例?

冬浩小哥_7388

冬浩小哥_7388

发布时间:2024-10-29 13:25:22

|

835人浏览过

|

来源于php中文网

原创

如何读取csv文件并合并内容并计算出现比例?

如何读取csv文件后合并内容

在读取csv文件后,可以通过以下步骤合并内容:

1. 获取主键列和待合并列
使用pd.read_csv()读取csv文件,并获取主键列(cmd)和待合并列(opt)。

2. 删除重复主键
使用set()和sorted()删除cmd列中的重复元素,得到不重复的主键列表。

3. 计算主键出现次数
使用counter()计算每个主键出现的次数,得到一个词频字典。

4. 初始化合并后的结果
创建一个文件来保存合并后的结果。

5. 遍历主键
对于每个主键,执行以下操作:

  • 获取该主键对应的opt列索引。
  • 创建一个新的列表来存储opt列中的值。
  • 遍历opt列索引,将值添加到新列表中。
  • 将新列表转换为字符串,再转换为列表。

6. 计算并输出每个opt的出现比例
遍历不重复的opt值,计算每个opt在该主键下出现的次数与主键出现次数的比值,并将其写入结果文件中。

示例代码:

import pandas as pd
import os

data = pd.read_csv('test.csv')
useRateF = 'test_new.csv'

index_list_cmd = sorted(set(list(data.cmd.values)), key=list(data.cmd.values).index)
cntLst = []
for lst_i in range(len(index_list_cmd)):
    cntLst.append(data.cmd.value_counts()[index_list_cmd[lst_i]])

if os.path.isfile(useRateF):
    os.remove(useRateF)

for cmd_i in range(len(index_list_cmd)):
    index_list_opt_idx = list(data.opt[data.cmd == index_list_cmd[cmd_i]].index.values)
    index_list_opt = []

    for opt_i in range(len(index_list_opt_idx)):
        try:
            index_list_opt.append(data.loc[int(index_list_opt_idx[opt_i]), 'opt'])
        except:
            print(index_list_cmd[cmd_i])
            print(index_list_opt_idx[opt_i])
            print(opt_i)

    str_idxLstOpt = ' '.join(index_list_opt)
    lst_idxLstOpt = str_idxLstOpt.split(' ')

    for tag in sorted(set(lst_idxLstOpt), key=lst_idxLstOpt.index):
        with open(useRateF, 'a', encoding='utf-8_sig') as uf:
            uf.writelines(str(index_list_cmd[cmd_i]) + ',' + tag + ',' + str(lst_idxLstOpt.count(tag)/cntLst[cmd_i]))
            uf.writelines('\n')

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1618

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2424

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5904

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5189

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

6894

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

9574

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

4859

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

5147

2025.08.07

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn