JarCasting
JarCasting JarCasting

yido-tokenizer

korean tokenizer

Лицензия

Лицензия
Категории

Категории

MOA Прикладные библиотеки Machine Learning
Группа

Группа

org.moara.yido
Идентификатор

Идентификатор

tokenizer
Последняя версия

Последняя версия

0.1.2
Дата

Дата
Тип

Тип

jar
Описание

Описание

yido-tokenizer
korean tokenizer
Ссылка на сайт

Ссылка на сайт

https://github.com/wigoAI/yido
Система контроля версий

Система контроля версий

https://github.com/wigoAI/yido

Скачать tokenizer

Имя Файла Размер
tokenizer-0.1.2.pom
tokenizer-0.1.2.jar 10 KB
tokenizer-0.1.2-sources.jar 10 KB
tokenizer-0.1.2-javadoc.jar 75 KB
Обзор

Как подключить последнюю версию

<!-- https://jarcasting.com/artifacts/org.moara.yido/tokenizer/ -->
<dependency>
    <groupId>org.moara.yido</groupId>
    <artifactId>tokenizer</artifactId>
    <version>0.1.2</version>
</dependency>
// https://jarcasting.com/artifacts/org.moara.yido/tokenizer/
implementation 'org.moara.yido:tokenizer:0.1.2'
// https://jarcasting.com/artifacts/org.moara.yido/tokenizer/
implementation ("org.moara.yido:tokenizer:0.1.2")
'org.moara.yido:tokenizer:jar:0.1.2'
<dependency org="org.moara.yido" name="tokenizer" rev="0.1.2">
  <artifact name="tokenizer" type="jar" />
</dependency>
@Grapes(
@Grab(group='org.moara.yido', module='tokenizer', version='0.1.2')
)
libraryDependencies += "org.moara.yido" % "tokenizer" % "0.1.2"
[org.moara.yido/tokenizer "0.1.2"]

Зависимости

compile (5)

Идентификатор библиотеки Тип Версия
ch.qos.logback : logback-core jar 1.2.3
ch.qos.logback : logback-classic jar 1.2.3
ch.qos.logback : logback-access jar 1.2.3
com.seomse.commons : seomse-commons jar 1.2.3
org.chasen.mecab : mecab-java jar 0.993

test (1)

Идентификатор библиотеки Тип Версия
com.seomse.api : seomse-api jar 1.0.6

Модули Проекта

Данный проект не имеет модулей.

yido

modules

splitter (문단 문장 구분기)

  • 문단구분과 문장구분등에 사용 됨
  • 구분기는 이전 룰베이스 방식의 구분기가 성능이 좋은것을 확인함
    • 구분 데이터 정확도와 구분속도 등 모두 우수한 성능을 나타냄
    • 이전 방식을 관리방안이 쉽게 더 잘구성하여 관리하는 프로젝트로 진행함
    • 이전에는 문장 구분기 였는데 구분기로 잡아서 문단 구분에도 활용할 수 있게 함

tokenizer

문서 및 연구 내역

모듈 설명 및 소스

text-mining

  • text mining 방법의 클래스 제공

신조어

오탈자교정

전처리기

  • 전반각
  • 개인정보 처리 (삭제, 블라인드)
  • 특수문자 변환

STT 한글형 기호

  • 날짜 ( 7일전 1시간 등, 한글형 날짜)
  • 한글형 금액
  • 한글형 자동차번호

communication

blog, homepage

slack

  • moaara.slack.com
  • wigoailab.slack.com

main developer

Версии библиотеки

Версия
0.1.2
0.1.1
0.1.0