Для VladDick. Франциска Вудворт – это псевдоним. Автор из Подмосковья.

Читать Как приручить кентавра, или Дневник моего сна — Вудворт Франциска — Страница 1

Франциска Вудворт

Как приручить кентавра, или Дневник моего сна

© Ф. Вудворт, 2015

© ООО «Издательство АСТ», 2015

* * *

Глава 1

– Госпожа! Госпожа! – услышала я причитания.

«Да кто же эта госпожа, что о ней так убиваются? Неужели по телевизору сериал начался?..»

Ох, и крепко же я приложилась, до сих пор слабость во всём теле. Что может быть проще, чем встать на стул и заменить перегоревшую лампочку в люстре? Только это производство мебельной промышленности подо мной подломилось, и я, потеряв равновесие, красиво взмахнула руками и грохнулась на пол, хорошо так стукнувшись затылком.

Странно, вроде бы я на ковре лежать должна, а тут по всем ощущениям перина. Я даже поёрзала для проверки. Было действительно мягко, и я, в недоумении открыв глаза, сощурилась от яркого света.

Причитания прекратились, а передо мной появилось лицо незнакомой женщины, и я от неожиданности заорала. Но услышав свой голос, тут же закрыла рот рукой. Или я голову повредила, или голос не мой. Может, со страху изменился?

Ой, а что с рукой? Я покрутила перед глазами кистью, рассматривая тонкие изящные пальчики, с белоснежной кожей и красивыми отполированными ноготками. Они-то откуда взялись? Насколько я помнила, еще с утра хотела лак облупившийся стереть, да решила это сделать после уборки.

– Госпожа! Вы живы?! – Меня схватили за ладонь, которую я поспешила вырвать.

– Вы кто? – спросила я, рассматривая немолодую женщину в тёмных одеждах.

Откуда взялась эта ворона в моей квартире?!

«Ой, да что-то в моей квартире и кровати с балдахином не наблюдалось», – отметила ещё одно несоответствие я.

Повертев головой по сторонам, я осмотрелась и была вынуждена признать: где бы я ни находилась, но то, что не в своей квартире, – это факт! На больничную палату эта шикарно обставленная комната тоже не походила.

Я опять посмотрела на женщину, но она лишь разевала рот, не издавая ни звука.

– Вы кто? – вновь потребовала я ответа, надеясь получить хоть какие-то объяснения.

– Я?! – задохнулась она. – А вы не помните?!

– Я вас впервые в жизни вижу! – искренне ответила я.

– Что же он с вами сделал?! – заверещала она.

– А ну-ка цыц! – рявкнула я, и та заткнулась, лишь удивлённо заморгала. Чего орать-то?! У меня голова разламывается, а она тут голос разрабатывать решила.

– Со мной никто и ничего не делал! – заявила я. – Сама упала. Лучше скажите, где я?

– Как где?! – еще больше удивилась женщина. – В своих покоях.

– Не знаю, чьи это покои, но точно не мои! Как я сюда попала?

– В-в-ас п-п-ринесли… – начала чуть заикаться она.

– Откуда принесли?!

– Из п-п-окоев в?вашего с-с-супруга, – доложила женщина.

– Откуда?! – опешила я. – Милочка, да я не замужем! – Чего греха таить – этого мне хотелось, но ещё не сложилось.

И тут эта ненормальная заголосила. И что мне делать?! Со вздохом я начала выбираться из удобной постели. Встав на ноги, покачнулась и чуть не упала от потери равновесия. Да что же это со мной такое?!

Я обнаружила, что на мне розовое платье в пол, из воздушного материала. Какой идиот нацепил на меня эту тряпку? Да я же розовый терпеть не могу! К тому же, признайте, что тридцатилетняя особа в таком цвете выглядит глуповато.

Скривившись и не обращая внимания на ненормальную, которая перестала лить слёзы и настороженно следила за моими передвижениями, я прошествовала к зеркалу, испытывая странное чувство нереальности происходящего.

Хотелось посмотреть, не набила ли я себе синяков, когда падала, да и оценить, насколько нелепо выгляжу в этом наряде.

Перед зеркалом я замерла. Помахала рукой, потом второй. Даже попрыгала! Что происходит?! Юная незнакомка в зеркале исправно повторяла за мной все движения. Я дотронулась до лица, и она тоже. Обвела по контуру губы, и она собезьянничала, обведя свои пухлые губки кончиком пальца. Я внезапно показала язык, и эта бестия передразнила мой жест.

У девушки были белокурые длинные волосы до талии. Сама я брюнетка, и волосы мои чуть ниже плеч. Я поднесла к глазам собственную прядь и… закричала. Теряя сознание, я сжимала в кулаке белокурый шелковистый локон.

Пришла в себя от резкого запаха, который мне поднесли под нос. Я раздраженно отвернула голову, фыркнув.

– Это всё ваша вина! – Слова женщины были полны яда. – Девочка даже меня не узнала от потрясения! Я же говорила вам, что она ещё юна!

Открыв глаза, я даже несколько раз моргнула, решив, что брежу. Рядом со мной на постели сидел шикарный мужчина. Я даже сглотнула, такой он был красавец. Брюнет лет тридцати пяти, со светло-карими глазами, смуглой кожей и скульптурными чертами лица, заставившими мои гормоны завопить от восторга.

– Вы кто? – прохрипела я севшим от обуреваемых эмоций голосом.

– Муж ваш! – заявили мне. – Даже не мечтайте забыть об этом, изображая потерю памяти!

– Я согласна! – тут же ляпнула я.

– На что? – опешил он, не ожидавший такой реакции.

– На мужа! – Его бровь удивлённо поползла вверх, а суровый взгляд смягчился. – Я вас, извините, не помню, но если говорите, что муж, то я ничего против не имею.

Я еще с ума не сошла отказываться от таких красавцев!

Ой, судя по реакции мужчины, я озвучила свои мысли.

Меня внимательно изучали, сканируя взглядом.

– А вас можно потрогать? – спросила я, привстав. А что? Я явно сплю. Сон начинает из кошмарного перетекать в эротический. Чего зря время терять? Может, сейчас сестра придёт, увидит на полу моё тело, да и начнёт водицей поливать, приводя в сознание. Так и испарится моя горячая фантазия, поминай как звали.

Не дождавшись разрешения, я привстала и дотронулась до его сильной руки с длинными красивыми пальцами. Надо же, тёплая! Я перевернула ладонь и провела по жесткой коже. Интересно, от чего она загрубела? Моя фантазия навевала мысли о рукояти меча. Ну не от шариковой же ручки?

– Упражняетесь с мечом? – тут же спросила я и получила кивок-подтверждение. Мужчина напряженно следил за мной. Осмелев, мои пальцы заскользили по его предплечью, ощущая под одеждой стальные мускулы. Вот это тело! Жаль, что на нём что-то вроде камзола.

– А можно его снять? – спросила я. Мужчина не шевелился, позволяя до себя дотрагиваться. Я специально не стала прикасаться к его лицу, оставив это на сладкое.

– Ауэрия! – взвизгнула женщина, до этого молчавшая. – Ты как себя ведешь?!

Это она ко мне, что ли?! Вот наградила же имечком.

– Если вы мне, то нечего орать! – раздраженно ответила я. – Коль я правильно всё поняла, то он мой муж, значит, вам надо выйти и не мешать супругам!

Женщина задохнулась от злости и пошла красными пятнами.

– До чего вредная баба, – поделилась я со своим мужем. – Вы раздеваться будете?

Он не выдержал и издал смешок.

– Теперь я вижу, что вы не притворяетесь, – проговорил он. Какой же приятный тембр голоса. Слушала бы и слушала. А вот то, что он начал отодвигаться, мне не понравилось, и я схватила его за руку. Пусть объяснит, что происходит.

– Вы куда? – возмутилась я.

– Малышка, боюсь, если я останусь, то не сдержу своего слова, – вздохнул он.

– Какого слова?!

– Я обещал не трогать тебя, до твоего восемнадцатилетия, – огорошил меня он.

– Мне уже давно не восемнадцать! – успокоила его я.

– А сколько?

– У женщин о таком не спрашивают, – с достоинством ответила я. От улыбки его черты лица смягчились, и я им залюбовалась.

– Вы действительно обещали ко мне не прикасаться? – переспросила я, и благоверный кивнул.

– А когда мой день рождения?

– Через два месяца и восемь дней.

Что тут скажешь… Не думаю, что здесь задержусь так надолго. Жаль.

– А я могу к вам прикасаться? – решила уточнить я.

Краем глаза заметила, что при этом вопросе женщина, стоящая в стороне, чуть не свалилась в обморок. Надо же, какая впечатлительная. Может, монашка?

Франциска Вудворт — Как приручить кентавра, или Дневник моего сна

Для VladDick. Франциска Вудворт – это псевдоним. Автор из Подмосковья.

Франциска Вудворт — Как приручить кентавра, или Дневник моего сна

Для VladDick. Франциска Вудворт – это псевдоним. Автор из Подмосковья.

Франциска Вудворт — Как приручить кентавра, или Дневник моего сна

Для VladDick. Франциска Вудворт – это псевдоним. Автор из Подмосковья.

Centaur Don’ts Tutorial от Gwennafran на DeviantArt

Но хотя я люблю классических кентавров из людей и лошадей, я бы сказал, что некоторая мера очеловечивания нижней части тела кентавров не обязательно должна быть проклятой. Когда я смотрю на фотографии кентавров, я особенно ценю те, которые выглядят действительно естественно, я имею в виду как правдоподобные существа, как единое целое, которое хорошо сочетается друг с другом.Я не слишком увлекаюсь какими-то псевдонаучными «объяснениями» того, как кентавры могли биологически развиваться и функционировать как реальный вид, я предпочитаю думать о кентаврах как о мифологических / фантастических / магических существах. Но все-таки мне очень не нравятся такие кентавры, которые выглядят как случайно склеенные верхняя часть человека и нижняя часть лошади.

Более естественный вид кентавров, несомненно, может быть достигнут многими простыми способами, такими как подбор цвета волос и хвоста, тщательный подбор пропорций, подбор позы верхней и нижней части и т. Д.Но другой возможный способ, который я видел на некоторых рисунках, — это нарисовать кентавра целиком особым кентаврическим способом, который подчеркивает, что кентавр — это одно тело, одно существо, а не просто отдельные части тела, заимствованные у других видов.
Некоторые художники выбирают верхнюю часть тела кентавра (я придумал это слово, но вы понимаете, что я имею в виду) верхнюю часть тела кентавра, включая окраску кожи, гриву, уши лошади и даже черты лица. Мне лично не очень нравится этот подход (за исключением, возможно, некоторых незначительных деталей), поскольку я нахожу персонажей кентавров более привлекательными, когда они имеют в основном человеческие черты, но я понимаю причину, по которой кентавры выглядят более интегрированными.И по аналогии с уравновешиванием верхней части тела кентавра, гуманизация нижней части могла бы служить той же цели, чтобы показать, что это не просто лошадь, у которой каким-то образом человеческий торс вместо головы, а другой вид существ, который присутствует во многих уважает гораздо больше людей, чем лошадей. Я не говорю о перестановке анатомии или о том, чтобы поставить человеческие ноги вместо ног лошади, но я думаю, что изменение некоторых пропорций и изгибов тела лошади, о которых вы упомянули в уроке, может быть оправдано при рисовании кентавра.

Надеюсь, что выразил свои мысли понятно.

Кентавр | Crowfall Wiki | Видья

Кентавров в Crowfall относятся к игровым расам, которые были представлены вместе с недавно добавленными классами в массовом открытии 18 мая -го , 2017.

Фон

Кентавры — гордая и воинственная раса, которая на протяжении многих поколений, казалось, стремилась завоевать все известные миры. Эта кампания по созданию империи могла бы быть успешной, если бы не появление Голод, который испортил (и в конечном итоге поглотил) родной мир кентавров Пелион.Экспансионистская империя, возглавляемая сенатом, воины-кентавры с рождения обучаются искусству войны, а магистраты-кентавры обучаются навыкам, необходимым для управления огромной и постоянно растущей империей.

У кентавров есть история происхождения, которую часто (и с гордостью) неоднократно рассказывают.

Когда миры были молоды, боги устроили состязание. Ставка заключалась в том, чтобы увидеть, кто сможет создать самых великолепных существ. Каждый бог сформировал одного зверя и наделил его определенными талантами.

Аркон даровал людям речь. Залина наделила своих Змей сообразительностью. Малекей наделил эльфов их красотой, а Д’Орион дал силу и скорость зверям поля и леса. И это продолжалось: каждый бог по очереди даровал по одному таланту каждому тупому лесному существу, которое они могли найти.

Валкин, Отец Богов, прибыл последним. Он посмотрел на то, что сделали его дети, и сказал им: «Вы хорошо поработали, дети мои, но я могу сделать лучше.”

И он взял лучшее из этих талантов — язык, ум, элегантность, силу, ловкость — и вложил их в одно единственное существо. Он назвал это благородное существо Кентавром и поставил его выше меньших зверей, чтобы использовать или править по своему усмотрению.

Все боги согласились с тем, что Валкин выиграл конкурс, ведь его творение действительно было величайшим.

Силы

Доступные классы

Подробнее : Комбинации расы / класса

Концепции

Концепт: индивидуализация кентавров женского и мужского пола с помощью оружия

Концепт:
Женщина-кентавр

Концепт: мужчина-кентавр

Как обучить модель word2vec. Пример реализации | Андреа Капитанелли

Обучающие образцы

Первое, что нужно сделать, — это сгенерировать обучающие данные. Возвращаясь к нашему тексту, нам нужно:

• пропустить каждое слово текста: это наше центральное слово
• выбрать его соседние слова на заданном расстоянии: это контекстные слова

• генерирует пары данных, причем каждая выборка состоит из центрального слова и контекстного слова

Мы также принимаем во внимание общее количество уникальных слов, прочитанных из нашего текста (ов), потому что этот параметр определит размер нашего вложения словаря .

На этом этапе генерация данных завершена, и настала очередь построения и обучения нейронной сети.

Нейронная сеть

Архитектура NN, используемая для обучения модели, довольно проста. Это сеть с прямой связью, которая в своей основной форме состоит из:

• входного уровня . Он берет слово w и возвращает его горячее закодированное векторное представление x . Векторы с горячим кодированием — это векторы со всеми нулями, кроме единицы 1 , и они используются для обозначения одного члена, выбранного из набора.Для каждой пары из обучающих данных центральным словом является w . Размер входного вектора В , размер словаря. В этом слое нет функции активации.
• a скрытый слой . Это матрица с V строк и E столбцов, которая назначает каждому входному слову x его встроенное представление h . Как и на картинке, каждая строка i-я представляет i-е вложение , и на выходе будет вектор размером E. Если непонятно почему, попробуйте сами, транспонировав вектор с горячим кодированием и умножив его на небольшую матрицу. В этом слое тоже нет функции активации.
• выходной слой . Этот слой противоположен предыдущему. Это как матрица с E строк и V столбцов, в которой i-й столбец содержит вложение i-го контекстного слова . Итак, учитывая вложение h, , умножение на эту матрицу возвращает вектор размера V y .В качестве функции активации к y применяется функция softmax . Генерируется вектор z , в , где k-й элемент представляет вероятность того, что k-е слово находится в контексте w .

Выражения для z и y, применительно к j-му слову в W ‘, соответственно:

Для каждой обучающей пары , вектор t размера V является базовой истиной, связанной с парой.Это также вектор с горячим кодированием, который равен 1 в контекстном слове и 0 в другом месте. Другими словами, это индикаторная функция для выходной метки.

Обучение сети

Чтобы обучить нейронные сети таким образом, мы выполняем следующие шаги:

• мы берем обучающую выборку и генерируем выходное значение nework
• мы оцениваем потери , сравнивая прогнозирование модели с истинной выходной меткой
• мы обновляем веса сети, используя технику градиентного спуска на оцененных потерях
• затем берем другой образец и начинаем заново

Эти шаги повторяются для всего обучающего набора и затем вся процедура повторяется несколько раз, которые называются эпохами.

Выполнение математических расчетов

Чтобы обновить веса нейронной сети (матрицы W и W ’), нам необходимо оценить производную потерь относительно них. Вычисление производных не так сложно, потому что выходные данные в основном являются результатом матричных операций, которые являются линейными функциями. Не считая функции активации и проигрыша, конечно. Основные подводные камни заключаются в правильном управлении весовыми показателями.

Инструмент, который поможет нам в расчетах, тоже довольно прост: правило цепочки.В нем говорится, что производная композиции двух или более функций может быть вычислена как произведение их производных.

Начнем с производной потери по элементам вектора z , что будет полезно для обоих вычислений, чтобы осуществляться. Я не описываю все шаги, но, используя свойства softmax , можно показать, что:

Забегая вперед, производная выходной матрицы W ’ будет:

Еще немного нужно сделать для матрицы скрытого слоя. Прежде всего, давайте расширим вектор h , полученный матрицей W :

Затем, запомнив производную потерь , показанную ранее, и что z является произведением вектора h с колонками W ‘, получаем:

Наконец, объединяя последнюю производную с производной h w.r.t. W , получаем:

Обновление весов

После вычисления производных уравнения обновления становятся каноническими:

Шаг обновления контролируется коэффициентом eta , который обычно уменьшается в эпоху тренировок по мере приближения веса к своему оптимальному значению.

Немного векторизации

Теперь, когда мы определили точечные производные по элементам W и W ‘, мы можем расширить определения, данные непосредственно на матрицы, используя тензорное произведение, чтобы иметь более простая и компактная запись:

В последнем случае x — это вектор с горячим кодированием, у которого только один элемент равен 1, а все остальные равны нулю.Следовательно, его роль здесь — выбрать только строку, относящуюся к представлению входного слова. Другими словами, обновляются только веса входного слова в W .

Как обучить пользовательские вложения Word с помощью графического процессора на AWS | автор Sanket Gupta

Как правило, в большинстве задач обработки естественного языка слова преобразуются в простых векторов , где каждое слово получает уникальный индекс в векторе. Таким образом, в словаре из трех слов яблок, апельсина и сока мы можем сделать [1 0 0], [0 1 0] и [0 0 1] для представления этих трех слов. Для небольших языковых задач эти векторы весьма полезны. Однако у них есть 2 основных недостатка:
a) Для обучающих данных с n слов нам потребуется n размерных векторов.Итак, вы можете представить 1000000 размерных векторов, которые довольно велики и будут разреженных .
б) Нет смысла контекста в горячих векторах — каждое слово полностью уникально. Таким образом, если модель выучила «яблочный сок», она не может передать обучению, чтобы заполнить «апельсин ___». Вложения слов следуют принципу «вы должны сказать слово компании, которую оно хранит», поэтому каждое измерение в векторе встраивания слов может представлять «особенность», такую ​​как еда, пол, капитал и т. Д. — как можно увидеть ниже:

Хорошо обученные вложения слов можно использовать для перевода, обобщения текста, анализа настроений и задач аналогии, таких как мужчина> женщина, значит король> королева. Word2Vec и Glove — это два популярных предварительно обученных вложения слов, доступных в виде открытого исходного кода — они довольно эффективны для начала работы с общими языковыми задачами. Но в этом руководстве мы узнаем, как создавать вложения слов для наших собственных данных в определенной нише. Я работаю над созданием встраивания слов для электронных данных, таких как микропроцессоры, конденсаторы, ОЗУ, источники питания и т. Д.

Итак, давайте начнем путешествие по встраиванию слов, которое мы будем тренировать на графическом процессоре AWS!

1. Выберите тип экземпляра P2 или P3
   Во-первых, вам необходимо выбрать тип экземпляра EC2.Недавно AWS выпустила инстансы p3 на EC2, но они стоят ~ 3 доллара в час, что довольно много. Поэтому я собираюсь использовать экземпляр p2 , который может быть не таким быстрым, но более дешевым (около 1 доллара в час). В этом блоге для сравнения приведены более подробные сведения. После того, как вы выбрали экземпляр p2, вам может потребоваться запросить увеличение лимита для вашей учетной записи, чтобы использовать его.
2. Настройка AMI для глубокого обучения и групп безопасности
   Если вы создавали собственное оборудование графического процессора, вам нужно было бы самостоятельно настроить драйверы CUDA, но использование экземпляров EC2 на AWS дает нам преимущество использования предварительных версий. построенный AMI или образ машины Amazon.Я выбрал Deep Learning AMI с исходным кодом (CUDA 8, Ubuntu). ОБНОВЛЕНИЕ
   (июнь 2018 г.): Последние библиотеки TensorFlow не совсем совместимы с CUDA 8, используйте AMI, который обеспечивает поддержку CUDA 9, например этот.

Если мы хотим использовать записную книжку Jupyter в нашем экземпляре EC2, нам нужно изменить группы безопасности, чтобы разрешить доступ к EC2 через порт 8888. Это можно сделать, создав новую группу безопасности и используя Custom TCP Rule и Диапазон портов как 8888 , а в источнике выберите Anywhere. Теперь вы можете запустить экземпляр. Затем создайте новую пару ключей и сохраните ее локально на своем компьютере. Мне пришлось повторить эти шаги снова, когда я потерял этот файл .pem, поэтому убедитесь, что он в надежном месте! Измените разрешения на чтение и запись на только чтение, используя chmod 400 YourPEMFile.pem . Затем запустите свой графический процессор, щелкнув правой кнопкой мыши состояние экземпляра> Пуск.

3. Войдите в систему и настройте среду Conda на экземпляре EC2
Вы можете войти в свой графический процессор с помощью ssh -i path / YourPEMFile.pem [email protected] , где X.X.X.X представляет собой общедоступный IP-адрес вашего графического процессора, а путь / YourPEMFile.pem — это путь к вашему файлу .pem , созданному на предыдущем шаге.
После входа в экземпляр EC2 вы можете настроить собственную среду Conda. Зачем тебе это? Хорошо прочитайте этот ответ, в котором обсуждается, чем Conda лучше, чем virtualenv.
Ввод conda -V приведет к ошибке, поскольку переменные PATH еще не установлены. Нам нужно перейти на .bash_profile и добавьте PATH.

Вот шаги , чтобы заставить conda работать с новым экземпляром EC2
a. Создайте или отредактируйте файл с помощью vim ~ / .bash_profile и
b. Добавить export PATH = ”/ home / ubuntu / src / anaconda2 / bin: $ PATH” PATH указывает каталоги, в которых есть исполняемые программы, которые можно запустить, не зная полного пути в командной строке.
г. Запустите исходный код ~ / .bash_profile , чтобы получить этот файл.
г. Теперь вы можете запустить conda -V и не увидите ошибки.
e. Создайте новую среду с помощью conda create -n embeddings python = 3 Это создаст новую среду conda с последней версией Python 3.
f. Запустите исходный код , активируйте вложения , чтобы запустить среду conda.

4. Установите Tensorflow-GPU, Jupyter notebook и другие пакеты
После настройки и активации среды conda теперь вы можете установить Tensorflow и другие пакеты.
a) Мы можем использовать pip install tensorflow-gpu jupyter notebook nltk scikit-learn pandas , чтобы установить все необходимые пакеты для встраивания слов. Нам нужно использовать tensorflow-gpu , а не tensorflow , поскольку первый оптимизирован для использования в графическом процессоре. Все эти требования можно сохранить в файл с помощью pip freeze> requirements.txt

б) Теперь мы можем запустить блокнот jupyter, используя блокнот jupyter --ip = 0.0.0.0 --no-browser Перейти к X ,X.X.X: 8888 /? Token = , где X.X.X.X — это IP-адрес вашего компьютера EC2, а — это токен, который появляется, когда мы запускаем приведенную выше команду.

c) Запустите следующий код, чтобы проверить версию TensorFlow и убедиться, что TensorFlow правильно работает на GPU.

 импортировать тензорный поток как tf 
 print ('TensorFlow Version: {}'. Format (tf .__ version__)) 
 print ('Устройство GPU по умолчанию: {}'. Format (tf.test.gpu_device_name ())) 

вывод, который я получаю:
TensorFlow Version: 1.3.0
Устройство графического процессора по умолчанию: / gpu: 0

Чтобы быть абсолютно уверенным, что графический процессор действительно используется, запустите
sessions = tf.Session (config = tf.ConfigProto (log_device_placement = True)) , и вы должны что-то увидеть оканчивается на / gpu: 0 , что также предлагается в официальной документации. Недавно это помогло мне настроить фактическое использование графического процессора.

5. Создание корпуса текста, который будет использоваться для обучения встраиванию слов
Вы можете использовать набор данных IMDB или Wikipedia, но поскольку цель этого блога — работать с пользовательскими встраиваниями слов, мы собираемся создать наш собственный корпус ,Если у вас много текстовых файлов, вы можете читать их один за другим и создавать корпус. Здесь я предполагаю, что у вас есть PDF-файлы, с которыми немного сложнее работать. Для этого я использую библиотеку PyPDF2 . Я использовал следующий код:

 import PyPDF2def read_pdf (fname): 
 pdfFileObj = open (fname, 'rb') 
 pdfReader = PyPDF2.PdfFileReader (pdfFileObj) 
 print («ВСЕГО СТРАНИЦ) в файле 
Pages», pdfReader pageObj = pdfReader.getPage (0) 
 text = pageObj.extractText () 
 return ''.join (text.split ()) 

Я запустил приведенный выше код над кучей файлов PDF, хранящихся локально. Я объединил строки, возвращаемые из вышеуказанной функции, и записал их в текстовый файл. Наш корпус текста готов!

6. Предварительная обработка текста и создание таблиц поиска
Теперь давайте предварительно обработаем текст, чтобы подготовить его для обучения встраиванию слов. В Обработке естественного языка перед запуском классификатора или алгоритма является обычной практикой переводить все слова в нижний регистр и удалять некоторые стоп-слова.Мы собираемся использовать библиотеку re (библиотека регулярных выражений в Python) для выполнения некоторых из этих задач.

 text = text.lower () 
 text = text.replace ('.', '__PERIOD__') 
 text = text.replace ('-', '') 
 # Удалить 'и точки и скобки 
 text = re.sub (r '[{} () \'] ',' ', text) 
 # Заменить запятые, тире, двоеточия и @ пробелами 
 text = re.sub (r' [;,: - @ #] ',' ', text) 

При необходимости мы можем выполнить дополнительную предварительную обработку, например изменить аббревиатуры на полные формы, заменить числа на токен __NUMBER__ и так далее.Выше я меняю точку на __PERIOD__ , которую можно использовать как токен для тренировки. Важно понимать динамику словесного контекста в предложении, и __PERIOD__ поможет нам в этом.

Далее, давайте создадим пару хеш-таблиц, которые мы можем использовать для поиска словаря как из индекса> словаря, так и из словаря> индекса.
Следующий код делает это:

 word_counts = Счетчик (слова) 
 sorted_vocab = sorted (word_counts, key = word_counts.get, reverse = True) 
 int_to_vocab = {ii: word for ii, word in enumerate (sorted_vocab)} 
 vocab_to_int = {word: ii for ii, word in int_to_vocab.items ()} 

7. Выполнить подвыборку
Часто встречающиеся слова, такие как «то», «есть» и т. Д., Не очень полезны для предоставления контекста соседним словам. Если мы удалим все из них, мы фактически удалим любой информации, которую они предоставляют. Лучший подход, предложенный Миколовым и соавт. состоит в том, чтобы удалить некоторые из этих слов, чтобы убрать некоторый шум из наших данных.Для каждого слова в обучающем наборе мы отбрасываем его с вероятностью: