• 签到
  • bob投注下载之家

    苹果/安卓/wp

  • Peixun.net

    苹果/安卓/wp

  • 客户端
  • bob投注下载大学堂
  • 人工智能
  • CDA数据分析研究院
  • 统计软件培训
  • 金融学院
  • 量化投资学院
  • 培训证书查询
  • 成为签约讲师
  • bob投注下载题库
  • 网络课堂
  • 就业指导一对一
  • bob投注下载大学堂
  • 现金交易
  • 求职招聘
  • 3关注
  • 24粉丝
  • 运营管理员

    学科带头人

    33%

    还不是VIP/贵宾

    -

    威望
    2
    论坛币
    124391 个
    通用积分
    101.1860
    学术水平
    66 点
    热心指数
    69 点
    信用等级
    57 点
    经验
    32126 点
    帖子
    591
    精华
    4
    在线时间
    817 小时
    注册时间
    2019-9-11
    最后登录
    2020-7-16

    签到天数: 1 天

    连续签到: 1 天

    [LV.1]初来乍到

    AIU人工智能学院 学生认证  发表于 2020-6-29 10:44:05 |显示全部楼层
  • 词库
  • 工具包
  • 学习资料

  • 在入门到熟悉NLP的过程中,用到了很多github上的包,遂整理了一下,分享在这里。

    很多包非常有趣,值得收藏,满足大家的收集癖!



    1. textfilter: 中英文过滤observerss/textfilter

    1. >>> f = DFAFilter() >>> f.add("sexy") >>> f.filter("hello sexy baby") hello **** baby
    复制代码

    2. langid:97种语言检测 https://github.com/saffsd/langid.py

    1. pip install langid
    2. >>> import langid>>> langid.classify("This is a test")('en', -54.41310358047485)
    复制代码

    3. langdetect:另一个语言检测https://code.google.com/archive/p/language-detection/

    1. pip install langdetect

    2. from langdetect import detect
    3. from langdetect import detect_langs
    4. s1 = "本篇博客主要介绍两款语言探测工具,用于区分文本到底是什么语言,"
    5. s2 = 'We are pleased to introduce today a new technology'
    6. print(detect(s1))
    7. print(detect(s2))
    8. print(detect_langs(s3))   
    9. # detect_langs()输出探测出的所有语言类型及其所占的比例
    复制代码

    输出结果如下:

    注:语言类型主要参考的是ISO 639-1语言编码标准,详见ISO 639-1百度百科

    跟上一个语言检测比较,准确率低,效率高。


    4. phone 中国手机归属地查询: ls0f/phone

    已集成到 python package cocoNLP中,欢迎试用

    1. from phone import Phone
    2. p  = Phone()
    3. p.find(18100065143)
    4. #return {'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}
    复制代码


    支持号段: 13*,15*,18*,14[5,7],17[0,6,7,8]

    记录条数: 360569 (updated:2017年4月)

    作者提供了数据phone.dat 方便非python用户Load数据。

    5. phone国际手机、电话归属地查询:AfterShip/phone

    1. npm install phone

    2. import phone from 'phone';
    3. phone('+852 6569-8900');
    4. // return ['+85265698900', 'HKG']phone('(817) 569-8900');
    5. // return ['+18175698900, 'USA']
    复制代码


    6. ngender 根据名字判断性别:observerss/ngender 基于朴素贝叶斯计算的概率

    1. pip install ngender

    2. >>> import ngender
    3. >>> ngender.guess('赵本山')('male', 0.9836229687547046)
    4. >>> ngender.guess('宋丹丹')('female', 0.9759486128949907)
    复制代码

    7. 抽取email的正则表达式

    已集成到 python package cocoNLP中,欢迎试用

    email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'emails = re.findall(email_pattern, text, flags=0)

    8. 抽取phone_number的正则表达式

    已集成到 python package cocoNLP中,欢迎试用

    cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'
    phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

    9. 抽取身份证号的正则表达式

    IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'
    IDs = re.findall(IDCards_pattern, text, flags=0)

    10. 人名语料库: wainshine/Chinese-Names-Corpus

    人名抽取功能 python package cocoNLP,欢迎试用

    中文(现代、古代)名字、日文名字、中文的姓和名、称呼(大姨妈、小姨妈等)、英文->中文名字(李约翰)、成语词典

    (可用于中文分词、姓名识别)


    11. 中文缩写库:github

    全国人大: 全国/n 人民/n 代表大会/n
    中国: 中华人民共和国/ns
    女网赛: 女子/n 网球/n 比赛/vn

    12. 汉语拆字词典:kfcd/chaizi

    1. 漢字        拆法 (一)        拆法 (二)        拆法 (三)拆        手 斥        扌 斥        才 斥
    复制代码

    13. 词汇情感值:rainarch/SentiBridge

    1. 山泉水        充沛        0.400704566541        0.370067395878
    2. 视野                宽广        0.305762728932        0.325320747491
    3. 大峡谷        惊险        0.312137906517        0.378594957281
    复制代码

    14. 中文词库、停用词 dongxiexidian/Chinese

    15. 汉字转拼音:mozillazg/python-pinyin

    文本纠错会用到

    16. 中文繁简体互转:skydark/nstools

    17. 英文模拟中文发音引擎 funny chinese text to speech enginee:tinyfool/ChineseWithEnglish

    1. say wo i ni
    2. #说:我爱你
    复制代码

    相当于用英文音标,模拟中文发音。

    18. 汪峰歌词生成器:phunterlau/wangfeng-rnn

    1. 我在这里中的夜里
    2. 就像一场是一种生命的意旪
    3. 就像我的生活变得在我一样
    4. 可我们这是一个知道
    5. 我只是一天你会怎吗
    复制代码

    19. 同义词库、反义词库、否定词库:guotong1988/chinese_dictionary

    20. 无空格英文串分割、抽取单词:wordninja

    1. >>> import wordninja
    2. >>> wordninja.split('derekanderson')
    3. ['derek', 'anderson']
    4. >>> wordninja.split('imateapot')
    5. ['im', 'a', 'teapot']
    复制代码

    21. IP地址正则表达式:

    1. (25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)
    复制代码

    22. 腾讯QQ号正则表达式:

    1. [1-9]([0-9]{5,11})
    复制代码

    23. 国内固话号码正则表达式:

    1. [0-9-()()]{7,18}
    复制代码

    24. 用户名正则表达式:

    1. [A-Za-z0-9_\-\u4e00-\u9fa5]+
    复制代码

    25. 汽车品牌、汽车零件相关词汇:

    见本repo的data文件 [data](https://github.com/fighting41love/funNLP/tree/master/data)

    26. 时间抽取:

    已集成到 python package cocoNLP中,欢迎试用

    1. 在2016年6月7日9:44执行測試,结果如下Hi,all。下周一下午三点开会
    2. >> 2016-06-13 15:00:00-false周一开会
    3. >> 2016-06-13 00:00:00-true下下周一开会
    4. >> 2016-06-20 00:00:00-true
    复制代码

    java version

    python version

    27. 各种中文词向量: github repo

    中文词向量大全


    一共300个,这里只展示部分。

    关注公 众 号,获取全部内容


    关注“CDA人工智能学院”,回复“NLP”获取更多中文NLP资源库!




    关键词:NLP 资源库 Technology Dictionary detection 数据分析 分词 资源库 NLP 数据分析 分词 资源库 NLP 数据分析 分词 资源库 NLP 数据分析 分词 资源库 NLP

    已有 1 人评分威望 收起 理由
    + 1
    精彩帖子

    总评分: 威望 + 1   查看全部评分

    本帖被以下文库推荐

  • · Text Mining NewOccidental|主题: 201, 订阅: 43

  • CDA人工智能学院http://edu.cda.cn)专注于数据科学与人工智能技术的在线教育平台。内容涵盖数据分析、机器学习、深度学习、人工智能、TensorFlow、PyTorch、知识图谱等众多核心技术及其行业案例,自由灵活的在线学习方式,让每一个学员快速掌握AI时代最前沿的技术!PS:今日私信我即有机会获取《银牌会员》1个月
    redflame 发表于 2020-6-29 23:52:40 |显示全部楼层
    支持并学习!
    回复

    使用道具 举报

    HappyAndy_Lo 发表于 2020-6-30 11:09:58 |显示全部楼层
    回复

    使用道具 举报

    shjrxytjyb 发表于 2020-7-1 08:40:09 |显示全部楼层
    回复

    使用道具 举报

    snzpro 发表于 2020-7-2 06:56:08 |显示全部楼层
    回复

    使用道具 举报

    三重虫 发表于 2020-7-2 11:09:43 |显示全部楼层
    回复

    使用道具 举报

    返回列表 发帖 回复
    您需要登录后才可以回帖 登录 | 我要注册

    京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

    GMT+8, 2020-7-16 07:21