New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关于total_word_feature_extractor_zh.dat文件 #13
Comments
这个文件是给rasa nlu做词向量支持的,应该是mitie自己的binary格式。请问你打开的需求是想做什么? |
我是看了你的文章,也关注了公众号,现在主要目的是想获得一些语料做知识库,另外貌似也有看到有知识图谱API可以调用,想自己跟着搜集到的资料或者论文试着实现一个问答机器人 |
total_word_feature_extractor_zh.dat只是词向量,和知识库没有关系的。 |
明白,谢谢! |
你好,我这里现在有一批影片名称和相关预料。如何在你训练的 total_word_feature_extractor_zh.dat 基础上继续训练利用这一批出书? 还是只能用 wordrep 重新训练? |
@BrikerMan 我所知道的只能重新训练(如果影片语料不够多,你可以wikipedia dump之类的语料一起训练),而且应该用同一个带自己词库的jieba做分词预处理。 |
@crownpku 了解了。谢谢~。我试试看。 |
@crownpku 有尝试过训练 spacy 模型么,MITIE 训练只能单线程,太慢了。而且以后电影名称库更新又得重来这个步骤。 |
spacy对中文的支持也只是调用了jieba做分词部分... MITIE我的训练需要2天左右的时间,其实也还好。 |
恩,看样子只能这样了。此外我的 MITIE 模型训练完后,训练 rasa nlu 也非常慢,目前只有 30 个 sample,似乎跟这个 mit-nlp/MITIE#11 (comment) issue 一个问题。你的 nlu 大概多少个数据,训练要多久? |
我们用 MITIE 只做了词向量,那么可以用 gensim 做 word2vec 来替代这个词向量么?还是两者有本质区别? |
用MITIE的classfier会比较慢,用sklearn做分类会快很多,30个sample应该一分钟内可以训练完。 |
中文 nlu 用了 MITIE 的话没办法用 sklearn 做分类器吧?我这个配置,30 个 sample 大概需要 40 来分钟 。
|
这个就是intent_classifier_sklearn,MITIE只是用来生成feature. |
这个分词器跟你的基本一致,就加了个自定义字点的加载。我把我的数据共享给你,你跑一下看看可以么。数据在这里, https://github.com/BrikerMan/rasa-demo/blob/master/data.json |
@BrikerMan 可以的,发我邮箱吧 crownpku@gmail.com |
我这里换成 'tokenizer_jieba' 也一样。似乎是这个问题,RasaHQ/rasa#260 (comment) |
@crownpku 有结果么? |
@BrikerMan 我没有收到你的sample数据啊... |
直接放在 github 了,上面有提到。 https://github.com/BrikerMan/rasa-demo/blob/master/data.json。 |
用你的数据在跑了,跑到classification那一步确实很慢....
还在跑中,是卡在了ner_mitie这里。我想下怎么回事。 |
@crownpku 嗯嗯,谢谢啦,我也在考虑为啥这么慢。 |
有什么进展么? |
我有178个samples,加不加自定义词典,都很慢。 |
total_word_feature_extractor_zh.dat,你好,这个文件现在下载不到了,有什么地方可以下载吗? |
这个文件我这边有,可以共享给你,https://pan.baidu.com/s/1gXDVzVSqsfYQhwxCjvr8iw,oigf
在 2018-05-18 10:43:46,"cloudskyme" <notifications@github.com> 写道:
total_word_feature_extractor_zh.dat,你好,这个文件现在下载不到了,有什么地方可以下载吗?
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub, or mute the thread.
|
这个文件下载了,放到哪儿哦? 我放到 每次运行需要输入 --path ./models/default.data 然后提示
|
@kevinsay 你好,请问还能分享total_word_feature_extractor_zh.dat这个文件吗,为什么我下载下来使用显示 |
@kevinsay 谢谢! |
total_word_feature_extractor_zh.dat,有谁知道这个文件的数据长什么样吗? |
@yuxuan2015 |
@crapthings 那知道怎么换成word2vec词向量吗? |
你好,这个文件已经没有了,能共享一份吗?@KevinZhou92 |
您好,上面BrikerMan 提出的训练58个数据很慢的原因找到了吗,我训练90个sample也很慢,好几个小时了,都没有训练完 |
你好! |
有好心人可以分享一下文件包嗎? 我找了好久, 鏈結都失效了, 感謝. |
@KevinZhou92 謝謝妳的分享, 可是我點進去, 第一次看到網頁, 輸入密碼後說網頁不存在, 後來再進去 就都說網頁不存在了, 請問是我哪裡操作有問題嗎? |
很久以前我曾经下载过该文件. 不懂是不是一样的文件. 我将文件上传到MEGA了. 下载速度可能慢一点. 链接: https://mega.nz/#!EWgTHSxR!NbTXDAuVHwwdP2-Ia8qG7No-JUsSbH5mNQSRDsjztSA |
謝謝檔案分享, 已經下載了 |
MITIE的wordrep训练非常耗时,我使用约1G的Wiki中文语料训练,需要64G内存,而且它只用了CPU的一个核,从开始到训练出word_vects.dat需要56小时。再从word_vects.dat训练得到total_word_feature_extractor.dat又需要7小时。 |
同样遇到了为什么这麽慢的问题, 现在有解决办法了吗? |
一个是训练时间长的问题,还有我用了一个118M大小的训练数据,直接训练挂了,8核的cetos ,内存500G以上, 训练了几个小时之后直接显示killed了,有没有遇到这方面的问题,我google查说可能是用了mitile_classifier。中文这方面资料比较少,还希望大神指点 |
Running coloredlogs-10.0/setup.py -q bdist_egg --dist-dir /tmp/easy_install-tkWOQ3/coloredlogs-10.0/egg-dist-tmp-Bmzmr6 |
@BrikerMan 我问下你们是怎么训练自己需要的语句啊 |
我还在学习 是新手 帮不了你哦
shengyaokai <notifications@github.com> 于 2020年6月4日周四 上午9:48写道:
… @BrikerMan <https://github.com/BrikerMan> 我问下你们是怎么训练自己需要的语句啊
—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
<#13 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AI4XRNSASHYNXKPSRAPCYZTRU34QDANCNFSM4EC7BSXQ>
.
|
我问一下你是怎么训练自己需要的语句的啊 |
Rasa NLU version (e.g.
0.7.3
):Used backend / pipeline (
mitie
,spacy_sklearn
, ...):Operating system (windows, osx, ...):
Issue:
Content of configuration file (if used & relevant):
```你好我在百度网盘下载了这个文件,但打开后是乱码,我encoding用utf-8并把文件也另存为utf-8了
The text was updated successfully, but these errors were encountered: