Brown Corpus
Download 23.42 Kb.
|
Браун корпус
|
https://wiki5.ru/wiki/Brown_Corpus Brown Corpus - Brown Corpus Перейти к навигацииПерейти к поиску Набор данных американского английского в 1961 году Стандартный корпус современного американского английского Университета Брауна (или просто Brown Corpus ) - это электронная коллекция текстовых образцов o f Американский английский, первый крупный структурированный корпус различных жанров. Этот корпус впервые установил планку для научного изучения частоты и распределения категорий слов в повседневном использовании языка. Составлено Генри Кучера и У. Нельсон Фрэнсис в Брауновском университете в Род-Айленде , это общий языковой корпус, содержащий 500 образцов английского языка, в общей сложности около миллиона слов, составленный из работ, опубликованных в США. Штаты в 1961 году. Содержание 1 История 2 Пример распределения 3 Используемые теги части речи 4 См. Также 5 Ссылки 6 Внешние ссылки История
Коричневый корпус. представлял собой тщательно подобранную подборку современного американского английского языка, насчитывающую около миллиона слов, взятых из самых разных источников. Кучера и Фрэнсис подвергли ее множеству компьютерных анализов, на основе которых они составили богатый и разнообразный труд, сочетающий элементы лингвистики, психологии, статистики и социологии. Он очень широко использовался в компьютерной лингвистике и в течение многих лет был одним из наиболее цитируемых ресурсов в этой области. Вскоре после публикации первого лексикостатистического анализ, Бостон издатель Houghton-Mifflin обратился к Кучере с просьбой предоставить трехстрочную базу цитирования из миллиона слов для своего нового Словаря американского наследия . Этот новаторский словарь, впервые появившийся в 1969 году, был первым словарем, составленным с использованием корпусной лингвистики для определения частоты слов и другой информации. В первоначальном Коричневом Корпусе были только сами слова плюс идентификатор местоположения для каждого. В течение следующих нескольких лет были применены теги части речи. Программа создания тегов Greene and Rubin (см. Раздел тегов речи ) значительно помогла в этом, но высокий уровень ошибок означал, что требовалась обширная ручная корректура. Маркированный Коричневый Корпус использовал выборку из примерно 80 частей речи, а также специальные индикаторы для сложных форм, сокращений, иностранных слов и некоторых других явлений и сформировал модель для многих более поздних корпусов, таких как Lancaster-Oslo-Bergen Corpus (британский английский с начала 1990-х) и Freiburg-Brown Corpus американского английского языка (FROWN) (американский английский с начала 1990-х). Добавление тегов к корпусу позволило провести более сложный статистический анализ, такой как работа, запрограммированная Эндрю Маки и описанная в книгах по грамматике английского языка. Один интересный результат заключается в том, что даже для довольно больших выборок отображение слов в порядке убывания частота появления показывает гиперболу : частота n-го наиболее часто встречающегося слова примерно пропорциональна 1 / n. Таким образом, «the» составляет почти 7% Brown Corpus, «к» и «из» - более чем еще по 3% каждое; в то время как около половины всего словарного запаса, составляющего около 50 000 слов, составляют hapax legomen : слова, которые встречаются в корпусе только один раз. Эта простая зависимость ранга от частоты была отмечена для необычайного разнообразия явлений Джорджем Кингсли Зипфом (например, см. Его Психобиология языка) и известна как закон Ципфа . Хотя Brown Corpus был пионером в области корпусной лингвистики, к настоящему времени типичные корпуса (такие как Corpus of Contemporary American English , British National Corpus или International Corpus of English ), как правило, намного больше, порядка 100 миллионов слов. Распределение семплов
Каждая выборка начинается со случайной границы предложения в статье или другой выбранной единице и продолжается до границы первого предложения после 2000 слов. В очень немногих случаях неправильный подсчет приводил к тому, что образцы составляли чуть менее 2000 слов. Исходные данные вводились только на машинах с вводом верхнего регистра keypunch ; заглавные буквы были обозначены предшествующей звездочкой, и различные специальные элементы, такие как формулы, также имели специальные коды. Первоначально (1961 г.) корпус содержал 1014312 слов, взятых из 15 категорий текстов: A. ПРЕССА: Репортаж (44 текста)
Тег Определение . предложение (.; ? *) ( левая скобка ) правая скобка * нет, n't -- тире , запятая : двоеточие ABL предварительный квалификатор (вполне, скорее ) ABN пре-квантификатор (половина, все) ABX пре-квантификатор (оба) AP пост-определитель (много, несколько, следующий) AT статья (a, the, no) BE be BED была BEDZ была BEG была BEM am BEN был BER ар, статья BBB является CC координационным соединением (и, или) CD кардинальное число (один, два, 2 и т. д.) CS подчиненное соединение (если, хотя) DO do DOD did DOZ выполняет DT определитель / квантификатор единственного числа (это, то) DTI определитель / квантор единственного или множественного числа (некоторые, любые) DTS определитель множественного числа (эти , те) DTX определитель / двойное соединение (либо) EX экзистенциальное там FW иностранное слово (hy перед обычным тегом) HL слово в заголовке (переносится после обычного тега) HV имеет HVD имеет (прошедшее время) HVG имеет HVN имело (причастие прошедшего времени) HVZ имеет IN предлог JJ прилагательное JJR сравнительное прилагательное JJS прилагательное в семантической превосходной степени (главный, верхний) JJT морфологически превосходное прилагательное (наибольшее) MD модальное вспомогательное (может, должно, будет) NC процитированное слово (через дефис после обычного tag) NN единственное или неисчисляемое существительное NN$ притяжательное существительное единственного числа NNS существительное множественного числа NNS$ притяжательное множественное число существительное NP имя собственное или часть именной фразы NP$ притяжательное имя собственное NPS существительное множественное число NPS$ притяжательное множественное число собственное существительное NR наречие существительное (дом, сегодня, запад) NRS множественное число наречий существительное OD порядковое числительное (первое, второе) PN именное местоимение (все, ничего) PN $ притяжательное именное местоимение P P $ притяжательное личное местоимение (мое, наше) PP$$ второе (номинальное) притяжательное местоимение (мое, наше) PPL единственное число возвратное / интенсивное личное местоимение (я) PPLS рефлексивное / интенсивное личное местоимение множественного числа (мы) PPO объективное личное местоимение (я, он, он, они) PPS 3-й. местоимение именительного падежа единственного числа (he, she, it, one) PPSS другое именительное падежное местоимение (I, we, they, you) QL квалификатор (очень, справедливо) QLP пост-квалификатор (действительно, достаточно) RB наречие RBR сравнительное наречие RBT превосходное наречие RN именное наречие (здесь, тогда, в помещении) RP наречие / частица (about, off, up) TL слово, встречающееся в заголовке (через дефис после обычного тега) TO маркер инфинитива на UH междометие, восклицательный знак VB глагол, основная форма VBD глагол, прошедшее время VBG глагол, причастие настоящего / герундий VBN глагол, причастие прошедшего времени VBP глагол, не 3-е лицо, единственное число, настоящее VBZ глагол, 3-е. настоящее WDT wh- определитель (что, какой) WP$ притяжательное wh- местоимение (чье) WPO цель wh - местоимение (who, which, that) WPS именительный падеж wh- местоимение (who, which, that) WQL wh- квалификатор (как) WRB wh- наречие (как, где, когда) Обратите внимание, что некоторые версии помеченного корпуса Brown содержат комбинированные теги. Например, слово «хочу» помечено как VB + TO, поскольку это сокращенная форма двух слов: want / VB и to / TO. Также некоторые теги могут быть инвертированы, например, «не» будет помечено как «BER *», где * означает отрицание. Кроме того, теги могут иметь перенос: тег -HL переносится к обычным тегам слов в заголовках. Тег -TL переносится через дефис к обычным тегам слов в заголовках. Перенос -NC означает выделенное слово. Иногда тег имеет префикс FW-, что означает иностранное слово.Википедия site:wiki5.ru Download 23.42 Kb. Do'stlaringiz bilan baham: 
|